ترنسفورمر امروز کجاست

یعنی چی

یه آچار که تقریبا به همه‌ی پیچ‌ها می‌خوره.

توی درس مقاله‌ی ۲۰۱۷ دیدیم که ترنسفورمر برای ترجمه ساخته شد، و نویسنده‌هاش آخر مقاله نوشتن می‌خوان ببرنش سراغ عکس، صدا و ویدیو. این درس نشون می‌ده این خواسته تا کجا رفت. هر کاری که این‌جا می‌بینید، یه پژوهش پشتشه که با سالش می‌گیم.

هشت کار

از ترجمه‌ی ۲۰۱۷ تا نوشتن کد در ۲۰۲۳، توی شش سال. همه‌ی این‌ها با یه ایده کار می‌کنن: ورودی رو تکه‌تکه کن، هر تکه رو به بردار تبدیل کن، و بذار تکه‌ها با توجه به هم نگاه کنن. فرقشون بیشتر توی اینه که تکه چیه و خروجی چی باید باشه.

متن

متن اولین خونه‌ی ترنسفورمر بود. ترجمه کار رمزگذار و رمزگشا با هم بود. سال ۲۰۱۸ دو پژوهش، هر کدوم یه نصفه رو برداشتن: یکی فقط رمزگذار، برای فهمیدن متن؛ یکی فقط رمزگشا، برای نوشتن متن، تکه‌به‌تکه. دومی همون راهیه که مدل‌های زبانی رفتن. سال ۲۰۲۳ هم یه پژوهش نشون داد یه ترنسفورمر ۱٫۳ میلیاردی می‌تونه کد بنویسه؛ کد هم چیزی جز یه جور متن نیست.

صدا

توی درس گفتگوی صوتی با مدل دیدیم صدا چطور به پنجره‌های کوچیک و بعد به عدد تبدیل می‌شه. یه پژوهش ۲۰۲۲ همین پنجره‌ها رو به یه ترنسفورمر با رمزگذار و رمزگشا داد: رمزگذار صدا رو می‌خونه، رمزگشا متن رو تکه‌به‌تکه می‌نویسه؛ درست مثل ترجمه، فقط این بار از صدا به نوشته. آموزشش با ۶۸۰ هزار ساعت صدا بود.

عکس

عکس که کلمه نداره. پس یه پژوهش ۲۰۲۰ یه کار ساده کرد: عکس رو مثل یه جدول به تکه‌های ۱۶ در ۱۶ پیکسلی برید و تکه‌ها رو پشت سر هم چید.

هر تکه شد یه توکن، و همون ترنسفورمر، بی هیچ تغییر بزرگی، یاد گرفت عکس‌ها رو تشخیص بده؛ ترنسفورمر برای عکس کامل بازش می‌کنه. سال ۲۰۲۱ یه پژوهش دیگه با ۴۰۰ میلیون جفت عکس و توضیح یاد داد کدوم توضیح مال کدوم عکسه؛ بخش متنش یه ترنسفورمر بود و برای عکس هم ترنسفورمر امتحان شد. همون که توی درس مدل‌های چندحالته دیدیم. و سال ۲۰۲۲، ترنسفورمر به ساختن عکس هم رسید: یه پژوهش بخش اصلی یه مدل سازنده‌ی عکس رو با ترنسفورمر عوض کرد و دید هر چی ترنسفورمر بزرگ‌تر، عکس‌ها بهتر؛ بزرگ‌ترینش از همه‌ی مدل‌های مشابه قبلی روی یه آزمون استاندارد بهتر شد.

پروتئین

یکی از بزرگ‌ترین کارهای علمی که توجه توش نقش داشت، از دنیای زبان خیلی دوره: شکل پروتئین‌ها.

پروتئین یه زنجیره‌ست از تیکه‌های کوچیک، که توی بدن به یه شکل سه‌بعدی تا می‌خوره؛ و کار پروتئین به همین شکلش بستگی داره. پیدا کردن این شکل از روی زنجیره ده‌ها سال یه مسئله‌ی سخت بود. سال ۲۰۲۰ یه سیستم توی یه مسابقه‌ی جهانی پیش‌بینی ساختار پروتئین، برای ۸۸ تا از ۹۷ مسئله بهترین پیش‌بینی رو داد. ویکی‌پدیا می‌گه دو بخش اصلیش، که گفته می‌شه از جنس ترنسفورمرن، با توجه کار می‌کنن: برای هر دو تیکه از زنجیره می‌سنجن چقدر به هم ربط دارن، شبیه کاری که توجه برای دو کلمه می‌کنه. دو نفر از سازنده‌هاش بخاطر همین کار، نصف جایزه‌ی نوبل شیمی ۲۰۲۴ رو گرفتن.

تصمیم و حرکت

اگه کلمه، پنجره‌ی صدا و تیکه‌ی عکس رو می‌شه توکن کرد، چرا «کار» رو نه؟

یه پژوهش ۲۰۲۱ همین فکر رو کرد. توی بازی‌ها و کنترل حرکت، به‌جای روش‌های معمول یادگیری تقویتی، همه‌چی رو یه دنباله دید: امتیازی که می‌خوای بگیری، وضعیت فعلی، و کاری که انجام شد؛ دوباره و دوباره. بعد یه ترنسفورمر که مثل مدل زبانی فقط به گذشته نگاه می‌کنه، «کار بعد» رو حدس می‌زد، درست مثل کلمه‌ی بعد. حقه‌ی جالبش اینه که اگه بهش بگی امتیاز بالا می‌خوای، کاری رو می‌سازه که به امتیاز بالا می‌رسه. روی بازی‌های قدیمی و چند کار حرکتی، هم‌پای بهترین روش‌های قبلی یا بهتر شد.

ویدیو

ویدیو یه قدم از عکس جلوتره: عکس‌هایی که پشت هم میان.

ویکی‌پدیا درباره‌ی یه مدل سازنده‌ی ویدیو که اوایل ۲۰۲۴ معرفی شد می‌گه همون فکر مدل انتشار رو با یه ترنسفورمر به‌عنوان نویزگیر به کار می‌بره، روی تکه‌های سه‌بعدی؛ یعنی هر تکه یه گوشه از تصویره، ولی توی چند فریم پشت سر هم. همون حقه‌ی تکه‌تکه کردن عکس، فقط با یه بعد زمان. سازنده‌ش گفته بود می‌تونه ویدیوهای تا یه دقیقه بسازه. یعنی از ترجمه‌ی جمله تا ساختن ویدیو، هسته همون ترنسفورمره؛ فقط تکه‌ها عوض شدن.

چرا همه‌جا

توی درس دنباله چیست دیدیم متن، صدا، عکس و خیلی چیزهای دیگه رو می‌شه دنباله دید. ترنسفورمر برای خوندن دنباله ساخته شده و براش مهم نیست اون تکه‌ها کلمه‌ان، پنجره‌ی صدان یا تیکه‌ی عکس. فقط یه ردیف بردار می‌خواد. یه دلیل دیگه هم داره: همون‌طور که توی پژوهش ساختن عکس دیدیم، و توی درس قانون‌های مقیاس، ترنسفورمر با بزرگ‌تر شدن معمولا بهتر می‌شه؛ پس با سخت‌افزار بیشتر، نتیجه‌ی بهتر.

چند نکته

• اول ترجمه، بعد همه‌چی. توی شش سال.
• فرق کارها بیشتر توی تکه و خروجیه. هسته یکیه.
• رمزگذار برای فهمیدن، رمزگشا برای ساختن. هر دو برای تبدیل.
• هر چی تکه بشه، ترنسفورمر می‌خوندش.

با این درس ایستگاه «شروع» تموم شد. ایستگاه بعد برمی‌گرده عقب، سراغ مدل‌هایی که پیش از ترنسفورمر بودن، تا ببینیم ترنسفورمر دقیقا چی رو حل کرد: شبکه‌ی عصبی بازگشتی (RNN).