منظم‌سازی: L1 و L2

جریمه‌ی اضافه‌بار

با هواپیما سفر می‌رید و هر کیلو اضافه‌بار جریمه داره. اگه جریمه نبود، هر چی دم دستتون بود رو می‌ریختید توی چمدون. با جریمه چی؟

با جریمه، هر چیزی رو برمی‌دارید یه سوال می‌پرسید: «اینقدر لازمه که پولش رو بدم؟». چیزهای لازم می‌مونن، چیزهای «شاید به درد بخوره» جا می‌مونن. چمدون سبک‌تر و مرتب‌تر می‌شه.

مدل هم همین‌طوره. اگه جریمه نباشه، پیچ‌هاش رو هر قدر لازم باشه بزرگ می‌کنه تا روی داده‌ی آموزش هیچ اشتباهی نکنه؛ حتی برای یاد گرفتن نویز. به اضافه کردن این جریمه می‌گن منظم‌سازی.

منظم‌سازی یعنی چی

یادتونه تابع هزینه یه عدد بود که می‌گفت مدل چقدر اشتباه می‌کنه؟ منظم‌سازی یه تیکه بهش اضافه می‌کنه:

هزینه‌ی کل = خطای مدل + جریمه‌ی بزرگی پیچ‌ها

حالا مدل موقع آموزش دو تا چیز رو با هم کم می‌کنه: هم اشتباهش، هم بزرگی پیچ‌هاش. نتیجه یه جواب ساده‌تره، که معمولا روی داده‌ی تازه بهتر کار می‌کنه. به زبان سوگیری و واریانس: یه کم سوگیری می‌دیم، تا واریانس خیلی کمتر بشه.

L2: همه یه کم کوچیک‌تر

توی L2 جریمه مربع هر وزنه. چون مربع بزرگ‌ها رو خیلی بیشتر جریمه می‌کنه، مدل هیچ وزنی رو خیلی بزرگ نگه نمی‌داره:

همه‌ی وزن‌ها یه کم کوچیک‌تر شدن، ولی هیچ‌کدوم صفر نشد. یعنی مدل هنوز از همه‌ی ویژگی‌ها استفاده می‌کنه، فقط با احتیاط بیشتر. به این روش «ریج» یا «منظم‌سازی تیخونوف» هم می‌گن. وقتی ویژگی‌ها خیلی به هم شبیهن، L2 خیلی کمک می‌کنه.

L1: بعضی‌ها صفر

توی L1 جریمه خود اندازه‌ی هر وزنه، بی مربع. اثرش جالبه:

وزن‌های کوچیک دقیقا صفر شدن؛ یعنی مدل اون ویژگی‌ها رو کلا کنار گذاشته. مثل چمدونی که به جای کم کردن از همه‌چی، چند تا چیز رو کامل جا گذاشتید. به این روش «لاسو» می‌گن.

پس L1 خودش یه جور انتخاب ویژگی هم هست: آخر کار می‌بینید کدوم ویژگی‌ها واقعا به درد خوردن. مدل ساده‌تر و قابل فهم‌تری می‌گیرید.

چقدر جریمه

اندازه‌ی جریمه یه عدده که ما انتخاب می‌کنیم؛ یه ابرپارامتر.

• جریمه‌ی خیلی کم: انگار نیست؛ بیش‌برازش سر جاشه.
• جریمه‌ی خیلی زیاد: مدل از ترس جریمه همه‌ی پیچ‌ها رو تقریبا صفر می‌کنه و حتی الگو رو هم نمی‌گیره؛ کم‌برازش.
• اندازه‌ی درست: با امتحان چند عدد و دیدن خطا روی داده‌ی اعتبارسنجی پیدا می‌شه.

منظم‌سازی‌های پنهان

همه‌ی منظم‌سازی‌ها جریمه‌ی آشکار نیستن. هر کاری که جواب رو ساده‌تر کنه، یه جور منظم‌سازیه:

• توقف زودهنگام: پیش از اینکه مدل شروع به حفظ کردن کنه، می‌ایستیم؛ همون «اینجا بایست».
• کنار گذاشتن داده‌ی پرت: مدل دنبال یه اشتباه تایپی نمی‌دوه.
• روش‌های آموزش شبکه‌های عمیق: خیلی‌هاشون خودشون یه جور منظم‌سازی پنهان دارن.

درس بعد یه راه می‌گه که بفهمیم همه‌ی این انتخاب‌ها واقعا بهتر شدن یا از شانس بوده: اعتبارسنجی متقابل.