حالا ترنسفورمر رو می‌شناسید

کل ساختمان در یه تصویر

اگه فقط یه تصویر از این مسیر توی ذهنتون بمونه، بهتره این باشه:

پایین، متن به تکه‌ها بریده می‌شه. هر تکه با بردار جاش جمع می‌شه. بعد چند بلوک یکسان پشت هم؛ توی هر بلوک، اول توجه، که تکه‌ها با هم حرف می‌زنن، بعد پیش‌خور، که هر تکه جدا فکر می‌کنه، و دور هر کدوم میون‌بر و نرمال‌سازی. بالا، یه لایه‌ی خطی و سافت‌مکس که احتمال تکه‌ی بعدی رو می‌ده.

هر چیز دیگه‌ای که توی این مسیر دیدیم، یا جزئیات یکی از همین جعبه‌هاست، یا یه ترفند برای تندتر کردنشون، یا یه جور دیگه چیدنشون. اگه این تصویر رو بی نگاه کردن بتونید بکشید و هر جعبه‌ش رو با یه جمله توضیح بدید، اصل ترنسفورمر رو می‌دونید.

سفر یه تکه، با عدد

حالا با اندازه‌های مقاله‌ی ۲۰۱۷ دنبال کلمه‌ی «فرش» توی جمله‌ی «گربه روی فرش» می‌ریم، توی یه مدل فقط‌رمزگشا:

یک، «فرش» یه تکه‌ست با یه شماره، که از جدول جاسازی یه بردار ۵۱۲تایی برمی‌داره، و بردار جای سوم بهش اضافه می‌شه. دو، توی بلوک اول، این بردار نرمال می‌شه و ۸ سر، هر کدوم با سه ماتریس، ازش پرسش و کلید و مقدار ۶۴تایی می‌سازن. سه، هر سر پرسش «فرش» رو با کلید «گربه»، «روی» و خودش ضرب می‌کنه، تقسیم بر ۸، یعنی ریشه‌ی ۶۴، و سافت‌مکس؛ به خاطر ماسک، هیچ کلمه‌ی بعدی دیده نمی‌شه.

چهار، هر سر جمع وزن‌دار مقدارها رو می‌ده، ۸ خروجی ۶۴تایی کنار هم ۵۱۲تایی می‌شن، با یه ماتریس دیگه ترکیب و با میون‌بر به بردار اصلی اضافه می‌شن. پنج، پیش‌خور بردار رو به ۲۰۴۸ می‌بره و دوباره ۵۱۲، و باز با میون‌بر اضافه می‌شه. شش، همین شش بار، توی شش بلوک. هفت، بردار نهایی «فرش» در ماتریس خروجی ضرب می‌شه و برای هر تکه‌ی واژگان یه امتیاز می‌ده، و سافت‌مکس اون‌ها رو احتمال تکه‌ی بعدی، مثلا «خوابید»، می‌کنه.

سه خانواده

با همین بلوک‌ها، سه جور مدل ساخته می‌شه:

رمزگذار و رمزگشا، ترنسفورمر اصلی برای ترجمه؛ رمزگذار ورودی رو می‌فهمه و رمزگشا، با توجه متقابل، خروجی رو می‌نویسه. فقط رمزگذار، که بی ماسک کل متن رو می‌خونه و برای فهمیدن و دسته‌بندی خوبه. و فقط رمزگشا، که با ماسک، تکه به تکه می‌نویسه؛ همه‌ی چت‌بات‌های امروز همینن.

توی درس انتخاب خانواده دیدیم کدوم برای چی، و توی یه ترجمه از اول تا آخر، ترنسفورمر اصلی رو قدم به قدم کار انداختیم. فرق این سه، بیشتر توی ماسک و وصل شدنشونه، نه توی خود بلوک.

هزینه و سرعت

توجه یه هزینه‌ی بزرگ داره؛ مربعیه، متن دو برابر، حساب چهار برابر. کلی ترفند برای کنار اومدن باهاش ساخته شد، که هر کدوم یه مشکل رو هدف می‌گیرن:

کش کلید و مقدار، حساب دوباره‌ی گذشته رو موقع ساختن حذف می‌کنه. کلید و مقدار مشترک، همون کش رو کوچیک می‌کنه. توجه سریع، با حساب تکه‌تکه، رفت‌وآمد حافظه رو کم می‌کنه، بی این‌که جواب عوض بشه. متن خیلی بلند ترفندهای جا و آموزش برای پنجره‌های بزرگ رو داشت، توجه پراکنده، هر تکه رو فقط به بخشی از متن وصل می‌کنه، و ترکیب متخصص‌ها مدل رو بزرگ می‌کنه بی این‌که حساب هر کلمه بیشتر بشه.

یه قانون کلی که توی همه‌ی این درس‌ها تکرار شد؛ یه ترفند وقتی واقعا تندتره که با شکل سخت‌افزار جور باشه، نه فقط وقتی روی کاغذ حساب کمتری داره.

فراتر از متن

همون بدنه، فقط با یه ورودی متفاوت، برای خیلی چیزها کار می‌کنه:

ترنسفورمر بینایی عکس رو به تکه‌های مربعی می‌بره، هر تکه رو یه «کلمه» می‌کنه، و یه تکه‌ی دسته اول صف می‌ذاره. ترنسفورمر صدا صدا رو اول به طیف‌نگار تبدیل می‌کنه، یا با یه کدک به تکه‌های گسسته، و گفتار رو به متن، یا متن رو به گفتار، می‌بره. ترنسفورمر ساخت تصویر یه نهفته‌ی نویزی رو تکه می‌کنه و قدم به قدم پاکش می‌کنه.

و مدل‌های چندحالته همه‌ی این‌ها رو کنار هم می‌ذارن؛ یه رمزگذار عکس یا صدا، خروجیش رو مثل کلمه به یه مدل زبانی می‌ده. درسش اینه که ترنسفورمر یه معماری عمومی برای دنباله‌هاست، و هر چیزی که بشه به تکه بریدش، می‌شه بهش داد.

بعدش کجا

این مسیر تموم شد، ولی چند راه خوب از این‌جا جلوتر می‌ره:

اگه می‌خواید بدونید ترنسفورمرهای بزرگ چطور به چت‌بات تبدیل می‌شن؛ پیش‌آموزش، تنظیم دقیق، هم‌ترازی، دستور دادن، بازیابی و ابزارها، مسیر مدل‌های زبانی بزرگ بعدی طبیعیه. اگه پایه‌های ریاضی و یادگیری، مثل شیب، خطا و بیش‌برازش، رو محکم‌تر می‌خواید، مسیر یادگیری ماشین. و اگه کاربردهای روزمره براتون مهم‌تره، مبانی هوش مصنوعی.