فقط رمزگشا: مدل‌هایی که می‌نویسند

یعنی چی

فقط نیمه‌ی نوشتن رو نگه می‌داریم؛ مدلی که فقط کلمه‌ی بعد رو حدس می‌زنه.

توی درس قبل، فقط رمزگذار، نیمه‌ی فهمیدن رو نگه داشتیم. حالا برعکس: فقط رمزگشا. ولی رمزگشای ترنسفورمر اصلی به خروجی رمزگذار نگاه می‌کرد؛ اینجا رمزگذاری نیست، پس اون توجه متقابل هم حذف می‌شه. چیزی که می‌مونه خیلی ساده‌ست، و جالب اینه که همین شکل ساده، پایه‌ی بیشتر مدل‌های زبانی امروزه.

حلقه‌ی نوشتن

هر بلوک فقط دو بخش داره: خودتوجهی با ماسک و پیش‌خور. متن تا اینجا، مثلا «گربه روی فرش»، از بلوک‌ها رد می‌شه و آخرش مدل حدس می‌زنه کلمه‌ی بعد چیه؛ مثلا «نشست». بعد همون کلمه می‌ره ته متن، و حالا «گربه روی فرش نشست» دوباره از بلوک‌ها رد می‌شه تا کلمه‌ی بعدی دربیاد. همین حلقه اون‌قدر تکرار می‌شه تا جواب تموم بشه. درس حلقه‌ی ساختن متن این رو از نزدیک‌تر دیده.

کلمه‌ی بعد

آموزش این مدل‌ها از همه ساده‌تره. یه متن رو برمی‌داری و برای هر جا می‌پرسی: کلمه‌ی بعدی چیه؟ بعد از «گربه»، «روی»؛ بعد از «روی»، «فرش»؛ و همین‌طور. یه پژوهش ۲۰۱۸ دقیقا همین کار رو با یه ترنسفورمر فقط‌رمزگشا کرد. چون ماسک نمی‌ذاره هیچ جایی آینده رو ببینه، همه‌ی این حدس‌ها با هم، توی یه بار حساب، تمرین می‌شن. و هیچ برچسب انسانی لازم نیست؛ هر متنی که روی اینترنت هست، خودش تمرینه. درس پیش‌بینی تکه‌ی بعد این ایده رو کامل گفته.

یه متن پیوسته

این مدل ورودی جدا و خروجی جدا نداره؛ همه‌چی یه متنه. پس اگه بخوایم ترجمه کنه، کار رو به شکل شروع متن می‌دیم: «ترجمه کن: سلام ←» و مدل فقط ادامه‌ش رو می‌نویسه. پژوهش ۲۰۱۹ نشون داد یه مدل بزرگ این‌جوری، بی هیچ آموزش اضافه، خیلی از کارها رو انجام می‌ده. پژوهش ۲۰۲۰ یه قدم جلوتر رفت: اگه چند تا مثال توی همون شروع متن بذاری، مدل الگو رو می‌گیره و کار تازه رو انجام می‌ده، بی اینکه وزن‌هاش عوض بشن؛ درس یاد دادن با مثال همینه.

بزرگ شدن

داستان این خانواده، داستان بزرگ شدنه. پژوهش ۲۰۱۸ یه مدل ۱۲ لایه ساخت، حدود ۱۱۷ میلیون پارامتر، و بعد برای هر کار فاین‌تیونش می‌کرد. پژوهش ۲۰۱۹ همون ایده رو تا ۱٫۵ میلیارد پارامتر بزرگ کرد و دید دیگه لازم نیست برای هر کار فاین‌تیون کنه. پژوهش ۲۰۲۰ رسید به ۱۷۵ میلیارد، حدود هزار و پونصد برابر اولی. شکل بلوک‌ها توی این سه سال تقریبا عوض نشد؛ فقط مدل بزرگ‌تر و داده بیشتر شد.

سرهای کپی‌کن

مدلی که فقط کلمه‌ی بعد رو حدس می‌زنه، چطور از چند مثال توی متن یاد می‌گیره؟ یه بخشی از جوابش یه مدار کوچیک توی توجه‌ست.

یه پژوهش ۲۰۲۲ توی این مدل‌ها سرهایی پیدا کرد که بهشون می‌گن «سر القایی»، ولی ساده‌ش اینه: سر کپی‌کن. کارشون یه الگوی تکراری رو ادامه می‌ده. فرض کنید توی متن اومده «آقای تهرانی دیروز اومد و آقای…». این سر از روی کلمه‌ی آخر، «آقای»، برمی‌گرده و می‌گرده دفعه‌ی قبل این کلمه کجا اومده؛ بعد کلمه‌ای که اون دفعه بعدش اومده بود، یعنی «تهرانی»، رو پیشنهاد می‌ده. این کار با دو سر توجه توی دو لایه‌ی پشت سر هم انجام می‌شه. اون پژوهش حدس زد که بیشتر یاد گرفتن از مثال‌های توی متن، از همین سرها میاد؛ برای مدل‌های کوچیک شاهد محکم داشت و برای مدل‌های بزرگ فقط نشونه. پس مدل وقتی چند مثال می‌بینه، تا حدی داره همین «دنبال الگو بگرد و ادامه‌ش بده» رو انجام می‌ده.

چرا برنده شد

چرا این شکل ساده از بقیه جلو زد؟ اول، یه هدف آموزش داره که روی هر متنی کار می‌کنه، پس داده هیچ‌وقت کم نمیاد. دوم، چون همه‌چی متنه، یه مدل می‌تونه هر کاری رو که بشه با کلمه گفت انجام بده؛ ترجمه، خلاصه، جواب سوال. سوم، همون‌طور که دیدیم، با بزرگ شدن کم‌کم کارهای تازه‌ای یاد گرفت. یه بررسی ۲۰۲۳ روی مدل‌های زبانی بزرگ نوشت که بیشترشون همین شکل فقط‌رمزگشا با ماسک رو دارن.

همیشه برنده‌ست؟

اگه این شکل این‌قدر رایجه، یعنی همیشه از بقیه بهتره؟ یه پژوهش ۲۰۲۲ دقیق آزمایشش کرد.

اونا چند شکل مختلف رو با اندازه‌ی برابر، بیش از ۵ میلیارد پارامتر، روی بیش از ۱۷۰ میلیارد توکن آموزش دادن و سنجیدن که بی آموزش اضافه، روی کارهای تازه چطورن. وقتی فقط آموزش اولیه بود، مدل فقط‌رمزگشا با بازی کلمه‌ی بعد از همه بهتر بود. ولی وقتی بعدش روی یه عالمه کار مختلف آموزش اضافه دیدن، مدلی که ورودی رو دوطرفه می‌دید و با بازی جای خالی آموزش دیده بود، جلو افتاد. یعنی «بهترین شکل» به این بستگی داره که بعدا قراره با مدل چی کار کنیم. فقط‌رمزگشا ساده‌ترین راه برای مدلیه که بی آموزش اضافه، از روی متن کار کنه.

چند نکته

• بی رمزگذار، پس بی توجه متقابل.
• ماسک توی همه‌ی لایه‌ها.
• کار هم بخشی از متنه.
• خوب برای نوشتن؛ و با بزرگ شدن، برای فهمیدن هم.

حالا که سه خانواده رو دیدیم، کدوم رو برای چه کاری انتخاب کنیم؟ درس بعد: کدوم خانواده برای کدوم کار.