کدام خانواده برای کدام کار

یعنی چی

یه سوال بپرس: می‌خوای متن رو بفهمی، تبدیلش کنی، یا بنویسی؟

توی سه درس قبل سه خانواده رو دیدیم: رمزگذار و رمزگشا، فقط رمزگذار و فقط رمزگشا. این درس همه رو کنار هم می‌ذاره تا وقتی یه کار جلوتونه، بدونید کدوم شکل به دردش می‌خوره و چرا. لازم نیست جزئیات رو حفظ باشید؛ یه سوال کافیه.

یه سوال

اگه جواب «فهمیدن» باشه، یعنی متن رو می‌خونید و یه چیزی درباره‌ش می‌خواید، مثل اینکه مثبته یا منفی، یا کجای متن جواب سواله، سراغ فقط‌رمزگذار برید. اگه «تبدیل» باشه، یعنی یه متن می‌دید و یه متن دیگه می‌خواید که به اولی وابسته‌ست، مثل ترجمه و خلاصه، رمزگذار و رمزگشا درست برای همینه. اگه «نوشتن» باشه، یعنی متن تازه، جواب آزاد یا گفت‌وگو، فقط‌رمزگشا. بعد یه سوال دوم هم هست، که پایین‌تر بهش می‌رسیم: چقدر می‌خواید خرج کنید.

کنار هم

فرق سه خانواده توی سه چیزه. اول اینکه چطور نگاه می‌کنن: فقط‌رمزگذار دوطرفه، فقط‌رمزگشا یه‌طرفه، و رمزگذار و رمزگشا هر دو جور، ورودی رو دوطرفه و خروجی رو یه‌طرفه. دوم اینکه چطور آموزش دیدن: با جای خالی، با متن به متن، یا با کلمه‌ی بعد. سوم اینکه چی تحویل می‌دن: یه برچسب یا بردار، یه متن تازه، یا ادامه‌ی همون متن. یه پژوهش ۲۰۱۹ این شکل‌ها رو با هم مقایسه کرد و دید برای کارهای متن به متن، رمزگذار و رمزگشا بهترین نتیجه رو داد.

چند مثال

چند کار ساختگی رو امتحان کنیم. «این نظر مشتری مثبته؟» فهمیدنه، پس فقط‌رمزگذار. «منوی رستوران رو انگلیسی کن» تبدیله، پس رمزگذار و رمزگشا. «یه ایمیل تشکر بنویس» نوشتنه، پس فقط‌رمزگشا. جدا کردن هرزنامه هم فهمیدنه، خلاصه کردن مقاله تبدیل، و جواب دادن به سوال مشتری نوشتن. البته مرزها همیشه این‌قدر تیز نیستن؛ این فقط نقطه‌ی شروعه.

یه مدل برای همه؟

شاید بپرسید: مگه مدل‌های بزرگ فقط‌رمزگشا همه‌ی این کارها رو نمی‌کنن؟ تا حد زیادی، آره. پژوهش ۲۰۲۰ نشون داد یه مدل خیلی بزرگ با چند مثال توی متن، ترجمه و دسته‌بندی و جواب سوال رو انجام می‌ده، و امروز بیشتر مدل‌های زبانی بزرگ همین شکلی‌ان. ولی همون پژوهش صادقانه نوشت که روی بعضی کارها، مثل بعضی آزمون‌های مقایسه‌ی دو جمله و فهم متن، هنوز از مدل‌های کوچیک‌تری که برای همون کار فاین‌تیون شده بودن عقب‌تره. پس «همه‌کاره» با «بهترین برای هر کار» یکی نیست.

هزینه

سوال دوم اینه. یه مدل بزرگ همه‌کاره، برای هر جواب حساب و حافظه‌ی زیادی می‌خواد. اگه کارتون یه چیز مشخص و تکراریه، مثلا روزی ده هزار پیام رو دسته‌بندی کنید، یه مدل کوچیک فقط‌رمزگذار که برای همون کار فاین‌تیون شده، می‌تونه ارزون‌تر و سریع‌تر باشه. ولی اگه کارها متنوعن و هر بار یه چیز تازه، مدل بزرگ همه‌کاره راحت‌تره. درس‌های مدل‌های کوچک و اجرای خودتان یا سرویس آنلاین این انتخاب رو بیشتر باز می‌کنن.

هزینه با عدد

«گرون‌تر» چقدر گرون‌تره؟ با یه حساب سرانگشتی می‌شه دید.

توی درس شمردن پارامترها دیدیم خوندن هر توکن حدود ۲ ضرب در تعداد پارامترها کار داره. مدل پایه‌ی فقط‌رمزگذار ۲۰۱۸ حدود ۱۱۰ میلیون پارامتر داشت، پس برای هر توکن حدود ۲۲۰ میلیون ضرب و جمع. مدل فقط‌رمزگشای ۱۷۵ میلیاردی ۲۰۲۰ برای هر توکن حدود ۳۵۰ میلیارد. یعنی حدود ۱۶۰۰ برابر. حالا اون مثال روزی ده هزار پیام رو در نظر بگیرید: اگه هر پیام ۱۰۰ توکن باشه، با مدل کوچیک می‌شه حدود ۲۲۰ هزار میلیارد ضرب و جمع، و با مدل بزرگ ۱۶۰۰ برابرش. این حساب ساده‌ست و خیلی چیزها، مثل طول جواب، رو کنار گذاشته؛ ولی نشون می‌ده چرا برای یه کار تکراری و مشخص، اندازه‌ی مدل این‌قدر مهمه.

مدل کوچیک، از روی مدل بزرگ

یه راه وسط هم هست: یه مدل کوچیک رو از روی یه مدل بزرگ‌تر آموزش بدیم.

به این کار تقطیر می‌گن: مدل بزرگ مثل معلم جواب‌هاش رو نشون می‌ده و مدل کوچیک یاد می‌گیره همون‌طور جواب بده. یه پژوهش ۲۰۱۹ با همین روش، از اون مدل فقط‌رمزگذار معروف ۲۰۱۸ یه شاگرد ساخت که ۴۰ درصد کوچیک‌تر و ۶۰ درصد سریع‌تر بود و ۹۷ درصد توانایی فهم متن رو نگه داشت. پس انتخاب فقط بین «کوچیک و ضعیف» و «بزرگ و گرون» نیست؛ گاهی می‌شه کوچیک و تقریبا به همون خوبی داشت.

چند نکته

• اول نوع کار: فهمیدن، تبدیل، نوشتن.
• بعد هزینه: کوچیک و متخصص، یا بزرگ و همه‌کاره.
• همه‌کاره، لزوما بهترین نیست.
• مرزها تیز نیستن؛ این نقطه‌ی شروعه.

قبل از اینکه این ایستگاه تموم بشه، یه ترجمه‌ی کامل رو قدم‌به‌قدم توی ترنسفورمر اصلی دنبال کنیم. درس بعد: یه ترجمه از اول تا آخر.