داده برای فاین‌تیون

آینه

مدل دقیقا همون چیزی رو یاد می‌گیره که بهش نشون می‌دید. اگه نمونه‌هاتون قاطی باشن، مدل هم قاطی جواب می‌ده.

مستندات Claude درباره‌ی فاین‌تیون می‌گه مدل، الگوها و ویژگی‌های داده‌ی فاین‌تیون رو یاد می‌گیره و تقلید می‌کنه. این یعنی مدل مثل یه آینه‌ست: هر چی جلوش بذارید، همون رو پس می‌ده؛ خوبش رو و بدش رو.

توی تصویر، مدل کوچیکمون رو یه بار با چهار جمله‌ی یکدست آموزش دادیم و یه بار با چهار جمله‌ی قاطی. با جمله‌های یکدست، بعد از «سنگک» همیشه «تازه» میاد. با جمله‌های قاطی، نصف وقت‌ها «تازه» و نصف وقت‌ها «داریم»؛ و بعد از «بربری»، نصف وقت‌ها «تازه» و نصف وقت‌ها «تموم». یعنی مدل نمی‌دونه بالاخره نون هست یا نیست.

یکدست یا قاطی

«قاطی» فقط یعنی غلط نیست؛ یعنی ناهماهنگ. توی جمله‌های قاطی ما، هیچ جمله‌ای واقعا غلط نبود. یکی گفته بود «تموم شده»، یکی «داریم آره»، یکی «تازه هست». ولی چون هر کدوم یه جور بود، مدل نتونست یه الگوی روشن یاد بگیره.

برای فاین‌تیون یه کار واقعی، این یعنی همه‌ی نمونه‌ها باید یه لحن، یه طول تقریبی، و یه قالب داشته باشن. اگه نصف نمونه‌ها رسمی‌ان و نصف خودمونی، مدل یاد می‌گیره گاهی رسمی باشه و گاهی خودمونی؛ و شما نمی‌دونید کدوم. توی مسیر یادگیری ماشین، درس داده‌ی کثیف هم همین رو می‌گفت.

کم ولی خوب

چند تا نمونه لازمه؟ احتمالا کمتر از اونی که فکر می‌کنید.

پژوهش ۲۰۲۳ که توی درس تنظیم با دستور دیدیم، با فقط ۱۰۰۰ نمونه یه مدل خیلی قوی ساخت: ۷۵۰ تا از بهترین سوال و جواب‌های انجمن‌های پرسش و پاسخ، که برای کیفیت و تنوع انتخاب شده بودن، و ۲۵۰ تا که خودشون با یه سبک یکدست نوشتن.

بعد آزمایش کردن: اگه داده رو بیشتر کنیم چی؟ دو برابر کردنش کیفیت رو بهتر نکرد؛ و تا ۱۶ برابر هم کارایی تقریبا صاف موند. ولی وقتی ۲۰۰۰ نمونه‌ی بی فیلتر رو با نمونه‌های فیلترشده مقایسه کردن، فیلترشده‌ها به‌وضوح بهتر بودن. پس اگه وقت دارید، خرج کیفیت کنید، نه تعداد.

تنوع

«یکدست» با «تکراری» فرق داره. همون پژوهش دید بیشتر کردن تعداد، بی بیشتر کردن تنوع درخواست‌ها، بازده خیلی کمی داره؛ ولی تنوع بیشتر، با جواب‌های باکیفیت، اثر مثبت قابل اندازه‌گیری داشت.

یعنی جواب‌ها باید یه سبک داشته باشن، ولی درخواست‌ها باید از همه جور باشن: کوتاه و بلند، ساده و سخت، سوال و دستور. اگه همه‌ی نمونه‌هاتون یه سوال با کلمه‌های فرق‌دار باشن، مدل فقط همون یه کار رو خوب یاد می‌گیره. و یادتون باشه که توی درس داده‌ی آموزش دیدیم تکراری‌ها حفظ کردن رو بیشتر می‌کنن.

شکل هر نمونه

هر نمونه دو بخش داره: یه درخواست، و جوابی که دلتون می‌خواد مدل بده.

مهم اینه که نمونه‌ها دقیقا همون شکلی باشن که بعدا موقع استفاده میان. اگه قراره مدل توی یه چت جواب بده، نمونه‌ها هم باید شکل گفت‌وگو داشته باشن؛ راهنمای قالب گفت‌وگو هم می‌گه مدل‌های چت روی داده‌ای آموزش می‌بینن که شکل یه دنباله‌ی پیامه (درس نقش‌ها در گفت‌وگو). و جواب نمونه باید همونی باشه که واقعا می‌خواید: طولش، لحنش، قالبش. مدل از جواب نمونه کپی می‌کنه، نه از توضیحی که درباره‌اش بدید.

پیش از آموزش

چهار تا چیز رو پیش از شروع چک کنید:

تکراری‌ها: پژوهش ۲۰۲۱ دید حذفشون حفظ کردن متن رو ده برابر کم کرد. اطلاعات شخصی و رمزها: توی درس پارامتر دیدیم از مدل‌ها می‌شه متن عینی داده‌ی آموزش، حتی اطلاعات شخصی، بیرون کشید؛ پس چیزی که نباید بیرون بیاد، اصلا نباید توی داده بره. شکل یکدست: همه‌ی نمونه‌ها یه قالب. نمونه‌ی آزمون: چند نمونه رو کنار بذارید که مدل هیچ‌وقت نبینه، تا بعدا بتونید ببینید واقعا یاد گرفته یا فقط حفظ کرده؛ همون کاری که توی درس آموزش، اعتبارسنجی، آزمون دیدیم.

چند تا رو کنار بذارید

یه کار ساده که خیلی‌ها فراموشش می‌کنن: پیش از آموزش، چند تا نمونه رو کنار بذارید.

همون کاری که توی درس داده‌ی آموزش، اعتبارسنجی و آزمون دیدیم. بیشتر نمونه‌ها برای آموزشن، ولی چند تا رو جدا نگه دارید که مدل هیچ‌وقت توی آموزش نبینه. بعد از فاین‌تیون، هم مدل اول و هم مدل تازه رو روی همین نمونه‌ها امتحان کنید و جواب‌ها رو مقایسه کنید. بدون این کار، نمی‌دونید فاین‌تیون واقعا بهتر کرده، یا مدل فقط نمونه‌های آموزش رو حفظ کرده.

یه نکته‌ی دیگه درباره‌ی چیزی که توی داده می‌ذارید: توی درس پارامتر دیدیم یه پژوهش ۲۰۲۰ تونست تکه‌هایی از داده‌ی آموزش رو عینا از مدل بیرون بکشه. پس اسم، شماره‌ی تلفن یا هر اطلاعات خصوصی دیگه‌ای که نباید یه روز توی جواب مدل بیاد، از داده‌ی فاین‌تیون پاک کنید.

چند نکته

• مدل آینه‌ست. هر چی نشونش بدید، همون رو پس می‌ده.
• جواب‌ها یکدست، درخواست‌ها متنوع. یه سبک، همه جور سوال.
• کیفیت، نه تعداد. هزار نمونه‌ی خوب کار بزرگی می‌کنه.
• شکل واقعی استفاده. نمونه همون شکلی که بعدا میاد.
• رمز و اطلاعات شخصی، هیچ‌وقت. ممکنه بیرون بیاد.

درس بعد خطر اصلی فاین‌تیون رو باز می‌کنه: فراموشی فاجعه‌بار.