میانگین مربع خطا (MSE)

کاشی‌های خطا

توی درس تابع هزینه مدل بستنی‌فروش سه روز اشتباه کرد: ۴ تا، ۶ تا و ۲ تا. حالا هر خطا رو یه کاشی مربعی بکشید که ضلعش همون خطاست:

مساحت هر کاشی می‌شه خطای اون روز به توان دو: ۱۶، ۳۶ و ۴. میانگین این مساحت‌ها، یعنی ۵۶ تقسیم بر ۳، حدود ۱۸٫۷، همون میانگین مربع خطاست؛ به انگلیسی MSE.

ببینید کاشی خطای ۶ چقدر از کاشی خطای ۲ بزرگ‌تره: خطاش سه برابره، ولی مساحتش نه برابر. نکته‌ی اصلی این درس همینه.

سه قدم

1. برای هر مثال، خطا رو حساب کنید: جواب واقعی منهای پیش‌بینی.
2. هر خطا رو به توان دو برسونید (در خودش ضرب کنید).
3. میانگین همه رو بگیرید.

توان دو منفی‌ها رو هم مثبت می‌کنه؛ خطای منفی ۴ هم می‌شه ۱۶. پس لازم نیست جدا حواسمون به علامت باشه. MSE همیشه مثبته، و هر چی خطاها به صفر نزدیک‌تر، کمتر. ولی تقریبا هیچ‌وقت دقیقا صفر نمی‌شه، چون دنیا همیشه یه کم تصادف داره و مدل همه‌ی اطلاعات رو نداره.

یه ده، یا دو تا پنج

دو تا مدل رو مقایسه کنید. هر دو روی هم ده تا بستنی اشتباه کردن؛ ولی یکی یه روز ده تا اشتباه کرده، اون یکی دو روز، هر روز پنج تا:

MSE اولی رو خیلی بدتر می‌دونه: ۱۰۰ در برابر ۵۰. یعنی MSE به مدل می‌گه «اشتباه‌های کوچیک زیاد، بهتر از یه اشتباه گنده». یادتونه پیتزای سی دقیقه دیر؟ برای خیلی از کارها همین درسته.

این همون حسابیه که توی کمترین مربعات دیدیم؛ بهترین خط، خطیه که MSE کمتری داره. استفاده از مربع خطا رو گاوس باب کرد، و خودش هم می‌دونست این انتخاب یه جور قراره، نه تنها راه ممکن.

برگشتن به واحد

یه مشکل کوچیک: واحد MSE عجیبه. اگه خطا «بستنی» باشه، MSE می‌شه «بستنی ضرب در بستنی»، که معنی نداره. برای همین خیلی وقت‌ها ریشه‌ش رو می‌گیرن: ریشه‌ی ۱۸٫۷ حدود ۴٫۳ بستنیه.

به این می‌گن RMSE، یعنی «ریشه‌ی میانگین مربع خطا». درست مثل رابطه‌ی واریانس و انحراف معیار. اگه یه گزارش گفت «خطای مدل حدود ۴ بستنیه»، احتمالا RMSE رو گفته.

یه اشتباه تایپی

فرض کنید یه روز فروشنده به جای ۷۶ اشتباهی نوشته ۷۶۰. مدل گفته ۸۰، پس خطای اون روز ۶۸۰ می‌شه، و مربعش بیشتر از چهارصد و شصت هزار! این یه کاشی آنقدر بزرگه که بقیه کنارش دیده نمی‌شن. حالا مدل همه‌ی تلاشش رو می‌ذاره که این یه روز رو درست کنه، و بقیه‌ی روزها رو خراب می‌کنه.

بزرگ‌ترین ضعف MSE همینه: داده‌ی پرت رو خیلی سنگین حساب می‌کنه. دو تا کار می‌شه کرد: اول، داده رو تمیز کنید. دوم، جاش میانگین قدر مطلق خطا (MAE) بذارید: خطاها رو بی توان دو، فقط اندازه‌شون، میانگین بگیرید. MAE با یه اشتباه گنده اینقدر به‌هم نمی‌ریزه.

کجا به کار می‌ره

MSE معروف‌ترین تابع هزینه برای وقتیه که مدل یه عدد پیش‌بینی می‌کنه: قیمت، دما، زمان رسیدن پیک. برای دسته‌بندی، که جواب «این یا اون» داره، معمولا یه تابع دیگه به اسم کراس‌انتروپی به کار می‌ره.

حالا یه مدل داریم و یه عدد که می‌گه چقدر بده. درس بعد، مدل رو راه می‌ندازیم که این عدد رو کم کنه: پایین رفتن از دره‌ی خطا.