داده‌ی آموزش از کجا می‌آید

سبد داده

مدل زبانی همون چیزیه که خونده. پس بیاید سبد غذاش رو باز کنیم ببینیم توش چیه.

توی درس پیش‌آموزش دیدیم یه خانواده‌ی مدل ۲۰۲۰ روی ۳۰۰ میلیارد توکن آموزش دید. مقاله‌شون دقیق گفته این توکن‌ها از کجا اومدن. ۶۰ درصد از یه بایگانی بزرگ از صفحه‌های وب، که چند سال صفحه‌های اینترنت رو جمع کرده بود. ۲۲ درصد از صفحه‌هایی که آدم‌ها توی یه سایت گفت‌وگو بهشون لینک داده بودن. ۸ درصد از یه مجموعه کتاب، ۸ درصد از یه مجموعه کتاب دیگه، و ۳ درصد از ویکی‌پدیای انگلیسی.

پس وقتی یه مدل زبانی چیزی می‌دونه، بیشترش رو از همین وب عمومی یاد گرفته؛ با همه‌ی خوبی‌ها و بدی‌هاش.

غربال

نویسنده‌های همون مقاله می‌گن نسخه‌ی پالایش‌نشده‌ی وب کیفیت پایین‌تری داره. برای همین قبل از آموزش، غربال می‌شه.

اون بایگانی وب، ۴۱ بخش ماهانه از ۲۰۱۶ تا ۲۰۱۹ بود: ۴۵ ترابایت متن فشرده. بعد از غربال، ۵۷۰ گیگابایت موند، حدود ۴۰۰ میلیارد توکن. یعنی بخش خیلی بزرگی دور ریخته شد.

غربال چطور کار می‌کرد؟ با یه مدل یادگیری ماشین ساده. یه رگرسیون لجستیک آموزش دادن که متن‌های باکیفیت، مثل ویکی‌پدیا و کتاب، رو از وب خام تشخیص بده. بعد به هر صفحه‌ی وب یه نمره داد، و صفحه‌هایی که شبیه متن‌های خوب بودن، شانس بیشتری داشتن که بمونن. یعنی یه مدل کوچیک، غذای یه مدل بزرگ رو انتخاب کرد.

تکراری‌ها

کار دوم، حذف تکراری‌هاست. وب پر از متن‌هاییه که عینا یا تقریبا عینا، هزاران بار تکرار شدن.

یه پژوهش ۲۰۲۱ توی یکی از مجموعه‌داده‌های رایج، یه جمله‌ی ۶۱ کلمه‌ای پیدا کرد که بیش از ۶۰ هزار بار تکرار شده بود. نتیجه‌ی این تکرارها؟ بیش از یک درصد متنی که مدل‌های آموزش‌دیده روی این داده‌ها می‌ساختن، عینا از خود داده کپی بود. یادتونه از درس پارامتر که مدل‌ها گاهی متن رو کلمه‌به‌کلمه حفظ می‌کنن؟ تکرار، این رو خیلی بیشتر می‌کنه.

وقتی تکراری‌ها رو حذف کردن، مدل‌ها ده برابر کمتر متن حفظی بیرون دادن، و با قدم‌های آموزش کمتر به همون دقت یا بهتر رسیدن. یعنی تکراری‌زدایی هم ارزون‌تره، هم بهتر.

کیفیت یا حجم

یه چیز جالب توی همون مدل ۲۰۲۰: سهم هر منبع به اندازه‌اش نبود، به کیفیتش بود.

ویکی‌پدیا کوچیک‌ترین منبع بود، فقط ۳ میلیارد توکن، ولی چون باکیفیت بود، توی آموزش ۳٫۴ بار تکرار شد. بایگانی وب ۴۱۰ میلیارد توکن داشت، ولی فقط ۰٫۴۴ بارش دیده شد؛ یعنی مدل حتی نصفش رو هم ندید.

خود نویسنده‌ها گفتن این کار یه کم بیش‌برازش رو قبول می‌کنه، چون متن‌های باکیفیت چند بار تکرار می‌شن، ولی در عوض کیفیت داده بالاتر می‌ره. پس کیفیت، حداقل گاهی، از حجم مهم‌تره.

چه زبانی

و یه نکته که برای ما فارسی‌زبان‌ها خیلی مهمه:

داده‌ی آموزش اون مدل، بر اساس تعداد کلمه، ۹۳ درصد انگلیسی بود. همه‌ی زبان‌های دیگه دنیا، با هم، ۷ درصد. فارسی فقط یه تکه‌ی کوچیک از همین ۷ درصده.

این دو تا اثر داره. یکی اینکه مدل درباره‌ی چیزهایی که بیشتر به انگلیسی نوشته شده، بیشتر می‌دونه. دوم اینکه واژه‌نامه‌اش هم بیشتر برای انگلیسی ساخته می‌شه و فارسی توکن بیشتری می‌گیره؛ درس چرا فارسی توکن بیشتری می‌خواد همین رو با عدد نشون داد.

آزمون لو رفته

یه مشکل ظریف دیگه هم هست. مدل‌ها رو با آزمون‌های استاندارد می‌سنجن: مجموعه‌هایی از سوال که جوابشون معلومه. ولی این آزمون‌ها هم خودشون جایی روی وب‌ان. اگه سوال‌های آزمون توی داده‌ی آموزش هم باشن، مدل ممکنه جوابشون رو حفظ کرده باشه، نه فهمیده باشه؛ مثل دانش‌آموزی که سوال‌های امتحان رو از قبل دیده.

نویسنده‌های همون مقاله‌ی ۲۰۲۰ سعی کردن این هم‌پوشانی‌ها رو پیدا و حذف کنن؛ ولی خودشون نوشتن یه اشکال توی کدشون باعث شد بعضی‌ها بمونن، و چون آموزش دوباره خیلی گرون بود، دیگه تکرارش نکردن. پژوهش ۲۰۲۱ هم دید توی بعضی مجموعه‌های رایج، بیش از ۴ درصد سوال‌های سنجش، توی داده‌ی آموزش هم بودن. برای همین عدد آزمون‌ها رو همیشه با کمی شک بخونید.

متن ساختگی و کپی از کپی

وقتی متن آدم‌ها کم بیاد، سازنده‌ها سراغ متنی می‌رن که خود مدل‌ها ساختن. این راه یه خطر پنهان داره.

ویکی‌پدیا می‌گه وقتی داده‌ی طبیعی کافی نیست، از داده‌ی ساختگی، یعنی متن ساخته‌ی مدل‌ها، هم استفاده می‌شه؛ و هم‌زمان، متن‌های ساخته‌ی مدل که الان توی وب پخشن، غربال داده رو سخت‌تر کردن. یه پژوهش ۲۰۲۳ نشون داد اگه مدل‌ها نسل به نسل روی متن ساخته‌ی مدل‌های قبلی آموزش ببینن، یه خرابی برگشت‌ناپذیر پیش میاد که اسمش رو گذاشتن «فروپاشی مدل» (Model Collapse): چیزهای کمیاب، همون دو سر نمودار، کم‌کم گم می‌شن و مدل فقط چیزهای معمولی رو یادش می‌مونه؛ مثل کپی گرفتن از کپی، که هر بار جزئیات بیشتری از دست می‌ره.

نتیجه‌ی اون پژوهش این بود که هر چی وب از متن ساخته‌ی مدل‌ها پرتر بشه، متن واقعی آدم‌ها برای آموزش باارزش‌تر می‌شه. ویکی‌پدیا یه پیامد دیگه هم می‌گه: ربات‌هایی که برای جمع کردن داده سایت‌ها رو می‌خونن، گاهی اون‌قدر درخواست می‌فرستن که سایت‌ها کند یا از دسترس خارج می‌شن، و توی بعضی سایت‌ها بیشتر بازدیدها مال همین ربات‌هاست.

چند نکته

• مدل همون چیزیه که خونده. بیشترش وب عمومی.
• بیشتر متن خام دور ریخته می‌شه. غربال کیفیت و تکراری‌زدایی.
• کیفیت گاهی از حجم مهم‌تره. منبع خوب، بیشتر دیده می‌شه.
• فارسی سهم کمی داره. دانش و توکن‌ها هر دو اثر می‌گیرن.
• عدد آزمون رو با کمی شک بخونید. شاید سوال‌ها رو از قبل دیده.

درس بعد یه یادآوری از مسیر یادگیری ماشینه، چون پیش‌آموزش با همین خطا کار می‌کنه: کراس‌انتروپی. بعدش، هزینه‌ی این همه آموزش: هزینه‌ی آموزش: GPU، زمان و برق.