سوگیری و واریانس
جواب کوتاه
خطای هر مدل روی داده‌ی تازه از سه جا میاد: سوگیری، واریانس و نویز. سوگیری خطای فرض‌های اشتباهه؛ مثل تفنگی که مگسکش کجه و همه‌ی تیرها یه طرف می‌خوره، هر چقدر هم دقت کنی. سوگیری زیاد یعنی کم‌برازش. واریانس خطای حساسیت زیاد به داده‌ی آموزشه؛ مثل دستی که می‌لرزه و هر تیر یه جا می‌خوره. واریانس زیاد یعنی بیش‌برازش. مدل پیچیده‌تر سوگیری کمتر و واریانس بیشتری داره؛ مدل ساده‌تر برعکس. کار ما پیدا کردن تعادله. نویز خود مسئله هم کف خطاست و با هیچ مدلی از بین نمی‌ره.
چهار تیرانداز
توی شهربازی چهار نفر با تفنگ بادی به سیبل زدن. هر کدوم شش تا تیر:
اولی عالیه: تیرها کنار هم و وسط. دومی تیرهاش کنار همن، ولی همه یه کم پایین و چپ؛ مگسک تفنگش کجه. سومی تیرهاش دور وسط پخشن؛ دستش می‌لرزه. چهارمی هم تفنگش کجه هم دستش می‌لرزه.
مدل‌ها هم همین دو جور خطا رو دارن. به اولی می‌گن سوگیری، به دومی واریانس.
مگسک کج
سوگیری یعنی خطایی که از یه فرض اشتباه میاد و همیشه یه طرفه. تفنگ مگسک‌کج هر چقدر هم با دقت نشونه بگیری، همون‌قدر کنار می‌زنه.
توی درس کم‌برازش، مدلی که فقط بلد بود خط صاف بکشه، «فرض» کرده بود دمای سال یه خط صافه. این فرض اشتباه بود، و هر چقدر داده می‌دادیم، باز همون اشتباه رو می‌کرد. یعنی سوگیری زیاد همون کم‌برازشه.
این کلمه با سوگیری درس هوش مصنوعی پایه هم‌خانواده‌ست؛ اونجا هم مدل همیشه به یه طرف کج می‌شد.
دست لرزون
واریانس یعنی مدل به تغییرهای کوچیک داده‌ی آموزش خیلی حساسه. یه مدل پیچ‌درپیچ رو دو بار، روی دو نمونه‌ی مختلف از همون داده، آموزش بدیم:
دو تا منحنی خیلی با هم فرق دارن، با اینکه روند واقعی (خط کم‌رنگ) یکیه. هر بار نویز اون نمونه رو هم یاد گرفته، پس هر بار یه جور می‌گه. مثل دست لرزون: هر تیر یه جا. یعنی واریانس زیاد همون بیش‌برازشه.
بده‌بستون
معمولا نمی‌شه هر دو رو با هم کم کرد. هر چی مدل پیچیده‌تر (پیچ بیشتر)، انعطاف بیشتری داره، پس سوگیریش کم می‌شه؛ ولی حساس‌تر هم می‌شه، پس واریانسش زیاد:
خطای کل جمع این‌هاست، و شکلش مثل حرف U می‌شه: سمت چپ مدل خیلی ساده‌ست و سوگیری غالبه؛ سمت راست مدل خیلی پیچیده‌ست و واریانس غالبه. پایین‌ترین جای U همون تعادلیه که دنبالشیم. به این می‌گن «بده‌بستون سوگیری و واریانس».
خطایی که هیچ‌وقت نمی‌ره
یه تیکه‌ی سوم هم هست: نویز خود مسئله. حتی اگه تفنگ بی‌نقص باشه و دست محکم، باد یه کم تیر رو جابه‌جا می‌کنه. توی داده هم همیشه بالا و پایین‌های اتفاقی هست که هیچ مدلی نمی‌تونه پیش‌بینیشون کنه.
به این می‌گن خطای کاهش‌ناپذیر؛ کف خطاست. پس خطای هر مدل روی داده‌ی تازه سه تیکه داره: سوگیری، به‌علاوه‌ی واریانس، به‌علاوه‌ی همین نویز. فقط دو تای اول دست ماست.
چطور تعادل پیدا کنیم
- پیچیدگی رو با داده‌ی اعتبارسنجی انتخاب کنید: چند اندازه مدل رو امتحان کنید و اونی رو بردارید که خطای داده‌ی تازه‌ش کمتره.
- داده‌ی بیشتر: واریانس رو کم می‌کنه، چون نویز یه نمونه کمتر دیده می‌شه.
- منظم‌سازی: یه مدل پیچیده رو کمی آروم‌تر می‌کنه؛ درس بعد.
جمع‌بندی. آنچه از این درس با خودتان می‌برید.
- سوگیری: فرض اشتباه، همیشه یه طرف.
- واریانس: حساس به داده، هر بار یه جور.
- سوگیری زیاد: کم‌برازش.
- واریانس زیاد: بیش‌برازش.
- نویز: کفی که هیچ‌وقت نمی‌ره.
خودتون رو بسنجید
۱۵ پرسش، هر بار تازه از میان ۳۰ پرسش این درس. آخرش فقط کارنامه رو می‌بینید: چند تا درست، چند تا نادرست.