داده‌ی آموزش، اعتبارسنجی و آزمون

کتاب تست، آزمایشی، کنکور

کنکور رو یادتونه؟ یه کتاب تست داشتید که هر چقدر می‌خواستید تمرین می‌کردید؛ چند تا آزمون آزمایشی؛ و آخرش خود کنکور.

هر کدوم یه کاری داشت. با کتاب تست یاد می‌گرفتید. آزمون آزمایشی بهتون می‌گفت روش درس خوندنتون جواب می‌ده یا باید عوضش کنید. و کنکور نمره‌ی واقعی بود، با سوال‌هایی که هیچ‌وقت ندیده بودید. یادگیری ماشین دقیقا همین سه تا رو داره.

سه تیکه

داده رو پیش از هر کاری سه تیکه می‌کنیم:

1. داده‌ی آموزش: مدل با این یاد می‌گیره. جوابش رو با برچسب مقایسه می‌کنه و پیچ‌هاش رو یه کم می‌چرخونه؛ همون چرخه‌ی درس دوش.
2. داده‌ی اعتبارسنجی: مدل با این یاد نمی‌گیره؛ ما باهاش تصمیم می‌گیریم. مثلا مدل چند لایه داشته باشه، یا آموزش رو کِی قطع کنیم. اگه خطای این تیکه شروع کرد به بالا رفتن، یعنی مدل داره حفظ می‌کنه. بیش‌برازش.
3. داده‌ی آزمون: تا آخر کار قایمش می‌کنیم. وقتی همه‌ی تصمیم‌ها گرفته شد، یه بار مدل رو روش امتحان می‌کنیم. این نمره‌ی واقعیه.

یه نکته: گاهی، وقتی داده فقط دو تیکه شده، به تیکه‌ی دوم هم «اعتبارسنجی» می‌گن. اسم‌ها رو دربست نگیرید؛ ببینید با هر تیکه چی کار می‌کنن.

اگه سوال‌ها لو بره

فرض کنید سوال‌های کنکور یه شب قبل لو رفته. یکی همه رو حفظ کرده و بیست می‌گیره. این بیست می‌گه اون آدم چقدر بلده؟ نه؛ فقط می‌گه سوال‌ها رو دیده.

مدل هم همینه. اگه حتی یه کم از داده‌ی آزمون، یه جوری، توی آموزش یا تصمیم‌گیری ما بیاد، نمره‌ی آزمون الکی خوب می‌شه و روز واقعی مدل خراب درمیاد. برای همین:

• داده‌ی آزمون رو اول از همه جدا کنید و تا آخر دست نزنید.
• با نمره‌ی آزمون مدل رو «بهتر» نکنید؛ اون کار اعتبارسنجیه. وگرنه آزمون هم کم‌کم می‌شه آزمایشی.
• حواستون به ستون تقلب هم باشه. درس ویژگی و برچسب.

اول قاطی، بعد جدا

اگه داده به ترتیب تاریخ چیده شده باشه و همین‌طوری از آخرش جدا کنیم، ممکنه آزمون همه‌ش مال یه فصل بشه:

مدلی که با بهار و تابستون یاد گرفته، با زمستون امتحان می‌شه؛ نمره‌ش بد درمیاد ولی تقصیر مدل نیست. پس معمولا اول داده رو قاطی می‌کنیم، بعد جدا؛ تا هر تیکه شبیه کل داده باشه.

یه استثنای مهم: اگه مدل قراره آینده رو حدس بزنه، مثلا فروش ماه بعد، اون وقت باید با گذشته یاد بده و با بعدش امتحان کنه؛ وگرنه انگار از آینده تقلب کرده.

هر تیکه چقدر

اندازه‌ی هر تیکه یه جواب ثابت نداره؛ خیلی به مسئله و به اینکه چقدر داده دارید بستگی داره. یه حس کلی ولی کمک می‌کنه: بیشتر داده برای آموزش، و برای اعتبارسنجی و آزمون اون‌قدر که نمره‌شون قابل اعتماد باشه. مثلا اگه آزمون فقط ده تا نمونه داشته باشه، یه اشتباه یعنی ده درصد نمره؛ خیلی لرزونه.

وقتی داده کمه، یه راه زرنگ‌تر هست که همه‌ی داده هم آموزش ببینه هم آزمون بده، به نوبت. اعتبارسنجی متقابل. درس بعد ولی برمی‌گرده سراغ خود برچسب‌ها: اونا رو کی می‌نویسه؟ برچسب زدن داده.