خط پایه: مدل را با چه مقایسه کنیم

فردا هم مثل امروز

یه برنامه‌ی هواشناسی می‌گه «پیش‌بینی‌های من ۷۰ درصد درسته». خوبه؟ پیش از جواب، یه آدم رو در نظر بگیرید که هیچی از هواشناسی نمی‌دونه و همیشه می‌گه «فردا هم مثل امروزه»:

توی این هفته، از شش تا حدسش چهار تاش درست بود. هوا معمولا یهو عوض نمی‌شه، پس این حدس ساده خیلی وقت‌ها درست درمیاد. به همین روش می‌گن «ماندگاری»، و ساده‌ترین روش پیش‌بینی هواست.

حالا اگه این آدم هم توی یه سال ۷۰ درصد درست بگه، اون برنامه‌ی هواشناسی با همه‌ی کامپیوترهاش هیچ کاری نکرده. به همین حدس ساده می‌گن خط پایه.

خط پایه یعنی چی

خط پایه ساده‌ترین حدسیه که بدون هیچ یادگیری‌ای می‌شه زد. هر مدلی که می‌سازیم باید ازش بهتر باشه؛ و مهم‌تر از خود عدد مدل، فاصله‌ش با خط پایه‌ست.

توی هواشناسی به همین فاصله می‌گن «مهارت»: یه پیش‌بینی چقدر از یه خط پایه‌ی ساده بهتره. توی این ایستگاه هم بارها دیدیمش، فقط با اسم‌های دیگه: مدل تنبل درس دقت، حدس تنبل هندونه‌ها، و شیر یا خط منحنی ROC.

خط پایه‌های آماده

برای بیشتر کارها، یکی از این سه تا یه خط پایه‌ی خوبه:

• دسته‌بندی: همیشه دسته‌ی پرتکرار رو بگو. مثل مدلی که همیشه می‌گفت «پرتقال سالمه».
• پیش‌بینی عدد: همیشه میانگین رو بگو. مثل «همه‌ی هندونه‌ها ۸ کیلو».
• چیزهای روز به روز: فردا رو مثل امروز بگیر. مثل هوا، یا فروش فردای نونوایی که شبیه همون روز هفته‌ی پیشه.

گاهی سخت شکست می‌خوره

خط پایه ساده‌ست، ولی ضعیف نیست. مثلا برای پیش‌بینی برق نیروگاه بادی توی چند دقیقه‌ی بعد، همون «مثل الان» خیلی خوب کار می‌کنه، و گاهی حتی پیش‌بینی هواشناسی هم ازش جلو نمی‌زنه.

پس اگه یه مدل پیچیده ساختید و فقط یه ذره از خط پایه بهتر بود، باید فکر کنید: این همه پیچیدگی و هزینه می‌ارزه؟ گاهی جواب درست، همون خط پایه‌ست.

اول خط پایه، بعد مدل

1. پیش از هر کاری، ساده‌ترین خط پایه رو بسازید.
2. عددش رو روی داده‌ی آزمون بنویسید.
3. بعد مدل بسازید و همیشه کنار همین عدد گزارشش کنید.

این عادت ساده جلوی خیلی از گول خوردن‌ها رو می‌گیره: «دقت ۹۹ درصد» کنار «خط پایه ۹۹ درصد» دیگه هیچ هیجانی نداره.

ایستگاه بعد

با این درس ایستگاه ارزیابی تموم شد: دقت، ماتریس درهم‌ریختگی، صحت و بازخوانی، F1، ROC، سنجه‌های عددی و خط پایه. حالا می‌دونیم چطور یه مدل رو بسنجیم. ایستگاه بعد درباره‌ی مهم‌ترین خطر یادگیری ماشینه: مدلی که مثال‌ها رو حفظ می‌کنه و توی دنیای واقعی شکست می‌خوره. اولین درسش، تعمیم.