تقطیر: مدل کوچک از مدل بزرگ

معلم و شاگرد

مدل بزرگ گرونه. یه مدل کوچیک بسازید که از بزرگه تقلید کنه.

توی درس پارامتر دیدیم مدل هر چی بزرگ‌تر باشه، اجراش گرون‌تره: حافظه‌ی بیشتر، سخت‌افزار قوی‌تر، صبر بیشتر برای هر جواب. ولی خیلی وقت‌ها برای یه کار مشخص، این همه بزرگی لازم نیست.

تقطیر یعنی یه مدل کوچیک‌تر بسازیم که دانش مدل بزرگ رو بگیره. به مدل بزرگ می‌گن معلم و به مدل کوچیک شاگرد. ویکی‌پدیا می‌گه مدل کوچیک‌تر ارزون‌تر اجرا می‌شه و حتی روی سخت‌افزار ضعیف‌تر، مثل گوشی، جا می‌شه. سوال اصلی اینه: شاگرد دقیقا چی رو از معلم یاد بگیره؟

سخت یا نرم

فرض کنید معلم جمله‌ی «صبح ___» رو دیده. بعدش با ۹۴٫۶ درصد «چای» می‌گه، با ۴٫۷ درصد «قهوه»، با ۰٫۶ درصد «شیر»، و تقریبا هیچ‌وقت «میز». این عددها رو برای این درس ساختیم.

شاگرد اول فقط جواب آخر رو می‌بینه: «چای». به این می‌گن برچسب سخت. یاد می‌گیره ۹۹٫۹ درصد چای بگه و به بقیه صفر بده؛ یعنی از نظرش «قهوه» همون‌قدر بی‌ربطه که «میز».

شاگرد دوم همه‌ی احتمال‌های معلم رو می‌بینه. به این می‌گن هدف نرم. اون یاد می‌گیره که قهوه هم شدنیه، شیر یه کم، و میز اصلا. همون چیزی که معلم بلده. هر دو شاگرد مدل کوچیک ما بودن و فقط چیزی که بهشون نشون دادیم فرق داشت.

درس جواب غلط

پژوهش ۲۰۱۵ که اسم این روش رو «تقطیر» گذاشت، یه مثال خیلی خوب داره: عکس یه ماشین سواری شاید احتمال خیلی کمی داشته باشه که با کامیون زباله اشتباه گرفته بشه؛ ولی این اشتباه هنوز خیلی محتمل‌تر از اشتباه گرفتنش با هویجه.

یعنی احتمال‌هایی که معلم به جواب‌های غلط می‌ده، نشون می‌ده توی ذهنش چه چیزهایی به هم شبیهن. همون پژوهش می‌گه هدف نرم برای هر نمونه خیلی بیشتر از برچسب سخت اطلاعات داره؛ برای همین شاگرد معمولا با داده‌ی خیلی کمتری از معلم یاد می‌گیره.

یه آزمایش جالبش: همه‌ی عکس‌های رقم «۳» رو از داده‌ی شاگرد برداشتن. شاگرد هیچ‌وقت یه «۳» ندید. با این حال، بعد از یه تنظیم کوچیک، ۹۸٫۶ درصد «۳»های آزمون رو درست تشخیص داد؛ چون از احتمال‌های معلم فهمیده بود «۳» به چه چیزهایی شبیهه.

دما

یه مشکل: معلم خیلی وقت‌ها خیلی مطمئنه. احتمال «میز» صفر و خرده‌ایه و شاگرد تقریبا چیزی ازش نمی‌بینه. چاره همون دماست که قبلا دیدیم: امتیازها پیش از سافت‌مکس بر دما تقسیم می‌شن.

با دمای ۴، «چای» از ۹۴٫۶ به ۵۴٫۳ می‌رسه و «میز» از تقریبا صفر به ۴٫۵. ترتیب عوض نمی‌شه، فقط فاصله‌ها کمتر می‌شن و احتمال‌های کوچیک دیدنی می‌شن. موقع تقطیر، هم معلم و هم شاگرد با همین دمای بالا حساب می‌کنن؛ وقتی کار شاگرد تموم شد، دوباره با دمای عادی جواب می‌ده.

نتیجه‌ها

توی همون پژوهش ۲۰۱۵، یه شبکه‌ی بزرگ روی تشخیص ارقام دست‌نویس ۶۷ خطا داشت. یه شبکه‌ی کوچیک‌تر با آموزش معمولی ۱۴۶ خطا. همون شبکه‌ی کوچیک، وقتی از شبکه‌ی بزرگ تقلید کرد، ۷۴ خطا؛ تقریبا هم‌اندازه‌ی معلم.

توی مدل‌های زبانی هم همین کار شده. یه مدل زبانی ۲۰۱۹ با تقطیر ۴۰ درصد کوچیک‌تر و ۶۰ درصد سریع‌تر شد و ۹۷ درصد توانایی فهم زبان مدل اصلی رو نگه داشت.

تقطیر از روی متن

امروز یه جور ساده‌تر از تقطیر خیلی رایجه: شاگرد به احتمال‌های نرم معلم دسترسی نداره، فقط جواب‌هایی که معلم نوشته رو می‌بینه.

یعنی یه مدل بزرگ برای کلی سوال جواب می‌نویسه، و مدل کوچیک روی همین جواب‌ها تنظیم با دستور می‌شه. یه پژوهش ۲۰۲۵ نشون داد الگوهای استدلال یه مدل استدلالی بزرگ رو می‌شه این‌طوری به مدل‌های کوچیک‌تر منتقل کرد و اون‌ها رو بهتر کرد.

ولی یه پژوهش ۲۰۲۳ هشدار داد: مدل‌های بازی که از روی جواب‌های یه دستیار پولی تقلید کرده بودن، سبک اون دستیار رو خوب یاد گرفتن، و آدم‌هایی که جواب‌ها رو داوری کردن، فکر کردن تقریبا هم‌سطحن؛ ولی آزمون‌های دقیق نشون داد روی کارهایی که توی داده‌ی تقلید زیاد نبودن، تقریبا هیچ چیزی از فاصله‌ی توانایی کم نشده بود. نتیجه‌شون: برای مدل بهتر، مدل پایه‌ی بهتر لازمه، نه فقط تقلید. یعنی شاگرد می‌تونه لحن معلم رو بگیره، بی اینکه دانشش رو گرفته باشه.

فرقش با فشرده‌سازی

تقطیر با فشرده‌سازی مدل یکی نیست. فشرده‌سازی خود همون مدل بزرگ رو کم‌حجم‌تر می‌کنه، مثلا هر عدد رو با بیت کمتری نگه می‌داره، ولی تعداد پارامترهاش همونه. تقطیر یه مدل تازه و کوچیک‌تر آموزش می‌ده.

و با فاین‌تیون هم فرق داره: فاین‌تیون یه مدل رو برای یه کار تنظیم می‌کنه؛ تقطیر یه مدل کوچیک می‌سازه که مثل یه مدل بزرگ فکر کنه. داده‌ای که شاگرد باهاش یاد می‌گیره هم لازم نیست برچسب داشته باشه؛ برچسبش رو معلم می‌ده. یه جورایی شبیه جنگل تصادفی هم هست: پژوهش ۲۰۱۵ از اینجا شروع کرد که دانش یه گروه از مدل‌ها رو توی یه مدل تنها جا بده.

چند نکته

• شاگرد احتمال‌ها رو تقلید می‌کنه. نه فقط جواب آخر رو.
• جواب‌های غلط معلم هم دانشن. می‌گن چی به چی شبیهه.
• دمای بالا موقع یاد دادن. تا احتمال‌های کوچیک دیده بشن.
• نتیجه کوچیک‌تر و سریع‌تره. با بخش بزرگی از توان معلم.

با این درس ایستگاه فاین‌تیون تموم شد. ایستگاه بعد سراغ کاری می‌ره که هر روز با مدل‌ها می‌کنیم: پرامپت چیه و چرا کار می‌کنه.