تنظیم با دستور (SFT)
جواب کوتاه
تنظیم با دستور (Instruction Tuning)، که بهش SFT، کوتاه‌شده‌ی Supervised Fine-Tuning، هم می‌گن، اولین قدم ساختن دستیار از مدل پایه‌ست. آدم‌ها برای یه سری دستور و سوال، جواب نمونه‌ی خوب می‌نویسن، و مدل پایه روی همین نمونه‌ها یه کم دیگه آموزش می‌بینه؛ با همون تمرین حدس کلمه‌ی بعد، فقط این بار روی جواب‌های خوب. نتیجه اینه که مدل یاد می‌گیره به‌جای ادامه دادن متن، جواب بده. این آموزش بیشتر شکل و رفتار جواب رو یاد می‌ده؛ دانش از قبل، از پیش‌آموزش، توی مدل بوده.
نمونه‌ی خوب نشون بده
توی درس مدل پایه دیدیم مدل خام فقط متن رو ادامه می‌ده. چطور یادش بدیم جواب بده؟ ساده‌ترین راه: بهش نمونه نشون بدیم.
یه پژوهش ۲۰۲۲ که یه دستیار ساخت، قدم اولش این بود: آدم‌ها برای کلی درخواست، جواب خوب نوشتن؛ همون جوابی که دلشون می‌خواست یه دستیار خوب بده. بعد مدل پایه روی این نمونه‌ها آموزش دید. به این می‌گن تنظیم با دستور، یا SFT، کوتاه‌شده‌ی Supervised Fine-Tuning، یعنی «تنظیم دقیق نظارت‌شده».
«نظارت‌شده» چون این بار هر دستور یه جواب درست کنارش داره؛ مثل داده‌ی برچسب‌خورده توی یادگیری ماشین. ولی خود تمرین همونه: حدس کلمه‌ی بعد. فقط این بار، کلمه‌های جواب‌های خوب. مستندات Claude هم تنظیم دقیق رو همین می‌گه: ادامه‌ی آموزش یه مدل پیش‌آموزش‌دیده با داده‌ی بیشتر، تا الگوهای اون داده رو بگیره.
آزمایش ما
بیاید همین کار رو با مدل کوچیک خودمون بکنیم. به ۱۲ جمله‌اش، ۶ نمونه‌ی سوال و جواب اضافه کردیم، مثل «سوال: چای چیه؟ جواب: یه نوشیدنی داغه» و «سوال: شب چی می‌خوری؟ جواب: شیر می‌خورم». بعد دوباره شمردیم.
قبل: بهش دادیم «سوال: چای چیه؟ جواب:». هیچی نتونست بگه؛ اصلا «جواب:» رو هیچ‌وقت ندیده بود و نمی‌دونست بعدش چی میاد.
بعد: حالا بعد از «جواب:» یه چیزی می‌گه. نصف وقت‌ها با «یه» شروع می‌کنه، مثل جواب‌های نمونه، و جمله‌هایی مثل «یه نوشیدنی تلخه» یا «یه نوشیدنی سفیده» می‌سازه. یعنی با فقط ۶ نمونه، یاد گرفت که بعد از «جواب:» باید یه جواب کوتاه بیاد.
شکل، نه دانش
ولی یه چیز جالب: پرسیدیم «چای چیه؟» و گاهی جواب داد «یه نوشیدنی تلخه» یا «سفیده»، که مال قهوه و شیر بود. چرا؟
چون مدل کوچیک ما فقط کلمه‌ی قبلی رو می‌بینه. بعد از «نوشیدنی»، «داغه» و «تلخه» و «سفیده» هر کدوم ۳۳ درصدن؛ اون یادش نیست سوال درباره‌ی چای بود. یه مدل زبانی واقعی کل متن رو می‌بینه و جواب رو به سوال وصل می‌کنه؛ ولی درسی که از آزمایش ما درمیاد، توی مدل‌های واقعی هم دیده شده: این آموزش بیشتر شکل جواب رو یاد می‌ده.
یه پژوهش ۲۰۲۳ همین رو صریح گفت: یه مدل ۶۵ میلیاردی رو فقط با ۱۰۰۰ نمونه‌ی با دقت انتخاب‌شده تنظیم کردن، و مدل خیلی قوی شد و قالب جواب‌ها رو از چند نمونه یاد گرفت. نتیجه‌شون این بود که تقریبا همه‌ی دانش مدل توی پیش‌آموزش یاد گرفته می‌شه، و برای جواب خوب دادن، داده‌ی کمی لازمه.
چند نمونه
چند تا نمونه لازمه؟ خیلی کمتر از اونی که فکر می‌کنید:
پژوهش ۲۰۲۲ برای قدم اول دستیارش حدود ۱۳ هزار درخواست به کار برد. پژوهش ۲۰۲۳ با ۱۰۰۰ نمونه‌ی خیلی باکیفیت به نتیجه‌ی خیلی خوبی رسید. این‌ها رو مقایسه کنید با صدها میلیارد توکن داده‌ی پیش‌آموزش. یعنی بخش بزرگ کار، قبلا انجام شده؛ تنظیم با دستور فقط یه لایه‌ی نازک رفتار روش می‌کشه. و توی این لایه‌ی نازک، کیفیت نمونه‌ها خیلی مهمه، چون مدل دقیقا همون رو تقلید می‌کنه.
کار ندیده
سوال مهم اینه: مدل فقط کارهایی رو بلد می‌شه که نمونه‌شون رو دیده؟
نه. یه پژوهش ۲۰۲۱ یه مدل ۱۳۷ میلیاردی رو روی بیش از ۶۰ کار مختلف تنظیم کرد که هر کدوم با یه دستور ساده به زبان آدم نوشته شده بود. بعد روی کارهایی آزمایشش کرد که اصلا ندیده بود. روی ۲۰ تا از ۲۵ کار، از یه مدل پایه‌ی ۱۷۵ میلیاردی که هیچ مثالی ندیده بود، بهتر شد.
خودشون گفتن سه چیز کلید موفقیت بود: تعداد زیاد کارهای مختلف توی نمونه‌ها، بزرگ بودن مدل، و اینکه دستورها به زبان طبیعی نوشته شده باشن. یعنی مدل از نمونه‌ها یه مهارت کلی یاد می‌گیره: «وقتی یه دستور دیدی، انجامش بده».
نمونه‌هایی که خود مدل می‌نویسه
نوشتن هزاران نمونه‌ی خوب کار سخت و گرونیه. یه راه میونبر هم پیدا شده.
یه پژوهش ۲۰۲۲ به اسم Self-Instruct، یعنی «خودآموز»، از خود مدل خواست دستورهای تازه، ورودی و جوابشون رو بسازه. نمونه‌های بد یا خیلی شبیه به هم کنار گذاشته شدن، و بعد همون مدل روی بقیه آموزش دید. نتیجه: مدل پایه‌ی ۲۰۲۰ توی یه آزمون بزرگ دستورها ۳۳ درصد بهتر شد و به یه مدل دستیار هم‌دوره‌اش رسید؛ هر چند توی داوری آدم‌ها روی کارهای تازه هنوز حدود ۵ درصد عقب‌تر بود.
چرا واقعیت تازه اینجا یاد نمی‌گیره
گفتیم این مرحله شکل یاد می‌ده، نه دانش. یه پژوهش ۲۰۲۴ نشون داد اگه بخواید اینجا دانش تازه یاد بدید، چه اتفاقی میفته.
اون پژوهش مدل‌ها رو روی سوال و جواب‌هایی آموزش داد که بعضی‌هاشون واقعیت‌هایی داشتن که مدل توی پیش‌آموزش ندیده بود. دو چیز دید. اول، مدل این واقعیت‌های تازه رو خیلی کندتر از چیزهایی که از قبل می‌دونست یاد گرفت. دوم، وقتی بالاخره یادشون گرفت، تمایلش به توهم تقریبا خطی بیشتر شد. شاید چون مدل این‌طوری یاد می‌گیره «حتی وقتی نمی‌دونی، با اطمینان جواب بده». اون پژوهش نتیجه گرفت که مدل‌ها دانش رو بیشتر توی پیش‌آموزش می‌گیرن، و تنظیم بعدی بهتره بهشون یاد بده از همون دانش بهتر استفاده کنن. برای دانش تازه، راه بهتر RAGه.
کی نمونه می‌نویسه
اگه مدل دقیقا از نمونه‌ها تقلید می‌کنه، پس اینکه کی اون نمونه‌ها رو نوشته خیلی مهمه. توی پژوهش ۲۰۲۲، یه تیم ۴۰ نفره نمونه‌ها رو نوشتن و جواب‌ها رو برچسب زدن.
خود نویسنده‌های مقاله صادقانه نوشتن که این کار، رفتار مدل رو با سلیقه‌ی یه گروه مشخص، یعنی بیشتر همین برچسب‌زن‌ها و پژوهشگرها، هم‌سو می‌کنه؛ نه با یه «ارزش انسانی» کلی که همه قبولش داشته باشن. برای همین لحن و طول جواب‌های یه دستیار، می‌تونه تا حدی ردپای کسانی باشه که نمونه‌هاش رو نوشتن.
چند نکته
- نمونه‌ی خوب، رفتار خوب. مدل همون رو تقلید می‌کنه.
- همون تمرین قبلی. حدس کلمه‌ی بعد، این بار روی جواب‌های خوب.
- شکل یاد می‌گیره، نه دانش. دانش از پیش‌آموزش میاد.
- کم ولی باکیفیت. هزار نمونه‌ی خوب، کار بزرگی می‌کنه.
- سلیقه‌ی نویسنده‌ها توشه. لحن دستیار، ردپای اون‌هاست.
درس بعد نشون می‌ده یه گفت‌وگو چطور برای مدل به یه متن پیوسته تبدیل می‌شه: نقش‌ها در گفت‌وگو.
جمع‌بندی. آنچه از این درس با خودتان می‌برید.
- نمونه‌ی «دستور و جواب خوب»، نوشته‌ی آدم‌ها.
- مدل پایه روی همین‌ها یه کم دیگه آموزش می‌بینه.
- شکل جواب رو یاد می‌گیره، دانش از قبل بوده.
- چند هزار نمونه، گاهی هزار تا، کافیه.
- به کارهای ندیده هم تعمیم می‌ده.
خودتون رو بسنجید
۱۵ پرسش، هر بار تازه از میان ۳۰ پرسش این درس. آخرش فقط کارنامه رو می‌بینید: چند تا درست، چند تا نادرست.