از مدل‌های آماری تا چت‌بات‌ها: تاریخچه

پله‌ها

خیلی‌ها فکر می‌کنن چت‌بات‌ها آخر سال ۲۰۲۲ یهو از ناکجا اومدن. ولی پشتش سی سال پله‌ست:

هر پله یه مشکل پله‌ی قبل رو حل کرد. توی درس پردازش زبان طبیعی کل داستان زبان و کامپیوتر رو از ۱۹۵۰ دیدیم؛ این درس فقط روی خود مدل‌های زبانی زوم می‌کنه: از اولین مدل‌هایی که می‌شمردن تا چت‌بات‌هایی که هر روز باهاشون حرف می‌زنیم.

پیش از شمردن

پله‌ها از دهه‌ی ۱۹۹۰ شروع شدن، ولی خود ایده خیلی قدیمی‌تره. بیاید اول یه نگاه به چهل سال قبلش بندازیم.

سال ۱۹۵۰ یه دانشمند پیشنهاد کرد برای سنجیدن هوش ماشین، ببینیم می‌تونه طوری حرف بزنه که از آدم تشخیص داده نشه. سال ۱۹۵۱ یه دانشمند دیگه با آزمایش حدس حرف بعد، سنجید انگلیسی چقدر قابل پیش‌بینیه؛ همون بازی‌ای که مدل‌های امروز می‌کنن. ۱۹۵۴ یه آزمایش حدود شصت جمله‌ی روسی رو خودکار به انگلیسی ترجمه کرد و همه فکر کردن ترجمه‌ی ماشینی به‌زودی حل می‌شه.

نشد. ویکی‌پدیا می‌گه ۱۹۶۶ یه گزارش رسمی گفت ده سال پژوهش ترجمه به انتظار نرسیده و بودجه‌ش خیلی کم شد. همون سال‌ها یه چت‌بات با کلمه‌ی کلیدی ساخته شد که حس گفتگو می‌داد ولی هیچ نمی‌فهمید. و دهه‌ی ۱۹۷۰ پژوهشگرها برای تشخیص گفتار، شمردن چندکلمه‌ای رو شروع کردن؛ همون پله‌ی اول این درس. درس پردازش زبان طبیعی این دوره رو کامل‌تر گفته.

شمردن

اولین مدل‌های زبانی بزرگ، به معنای زمان خودشون، شمارشی بودن. همون کاری که توی درس پیش‌بینی تکه‌ی بعد با دوازده جمله کردیم: بشمر بعد از هر چند کلمه، چی چند بار اومده.

اوایل دهه‌ی ۱۹۹۰ مدل‌های آماری ترجمه، روی متن‌های دوزبانه شمردن که کدوم کلمه با کدوم جور درمیاد. سال ۲۰۰۱ یه مدل شمارشی که روی ۳۰۰ میلیون کلمه آموزش دیده بود، بهترین نتیجه‌ی زمان خودش رو داشت. توی دهه‌ی ۲۰۰۰ هم با همه‌گیر شدن اینترنت، پژوهشگرها شروع کردن متن‌های خیلی بزرگ از خود وب جمع کنن.

ولی همون مشکلی که دیدیم سر جاش بود: هر چی دنباله بلندتر، کمتر پیش میاد که قبلا دیده شده باشه. شمردن برای جمله‌ی ندیده جوابی نداشت.

شبکه و بردار

از حدود سال ۲۰۰۰ پژوهشگرها شروع کردن از شبکه‌ی عصبی به‌عنوان مدل زبانی استفاده کنن، و سال ۲۰۰۳ یه شبکه‌ی ساده از بهترین مدل شمارشی بهتر شد. دلیلش اینه که شبکه به جای شمردن دنباله‌ی دقیق، شباهت‌ها رو یاد می‌گیره.

حدود ۲۰۱۲ شبکه‌های عمیق توی تشخیص عکس یه جهش بزرگ کردن، و خیلی زود همون ساختارها اومدن سراغ زبان. سال ۲۰۱۳ بردار کلمه معروف شد: هر کلمه یه فهرست عدد می‌گرفت، طوری که کلمه‌های هم‌معنی عددهای نزدیک به هم داشتن. یعنی برای اولین بار «معنی» به شکلی دراومد که کامپیوتر می‌تونست باهاش حساب کنه.

دنباله و توجه

قدم بعد، مدل‌هایی بود که یه دنباله رو می‌گرفتن و یه دنباله‌ی دیگه تحویل می‌دادن؛ مثلا یه جمله‌ی انگلیسی تو، یه جمله‌ی فارسی بیرون. این مدل‌ها دو تیکه داشتن:

یه رمزگذار که جمله‌ی ورودی رو می‌خونه، و یه رمزگشا که جمله‌ی خروجی رو کلمه به کلمه می‌نویسه. مشکل اولشون این بود که رمزگذار باید کل جمله رو توی یه بسته‌ی کوچیک از عددها خلاصه می‌کرد، و برای جمله‌های بلند چیزهای زیادی گم می‌شد.

سال ۲۰۱۴ یه ایده این رو حل کرد: توجه. رمزگشا موقع نوشتن هر کلمه، می‌تونه برگرده و به همه‌ی کلمه‌های ورودی نگاه کنه، و به بعضی‌هاشون بیشتر توجه کنه. موقع نوشتن «چای»، بیشتر به «tea» نگاه می‌کنه. این ایده اون‌قدر خوب کار کرد که سال ۲۰۱۶ یه سرویس بزرگ ترجمه، روش آماری قدیمیش رو کنار گذاشت و رفت سراغ ترجمه‌ی عصبی.

ترنسفورمر

سال ۲۰۱۷ یه مقاله با یه عنوان جسورانه منتشر شد، به این معنی که «توجه تنها چیزیه که لازم دارید». سازنده‌هاش ساختمانی به اسم ترنسفورمر معرفی کردن که هدفش بهتر کردن همون مدل‌های دنباله به دنباله‌ی ۲۰۱۴ بود، ولی به جای اینکه توجه رو به یه ساختمان قدیمی اضافه کنه، کل ساختمان رو روی توجه بنا کرد.

دو تا خوبی بزرگ داشت. اول اینکه هر کلمه می‌تونست مستقیم به هر کلمه‌ی دیگه‌ی متن نگاه کنه، هر چقدر هم دور. دوم اینکه می‌شد کل جمله رو هم‌زمان پردازش کرد، نه کلمه به کلمه؛ و این یعنی می‌شد از GPU و ضرب‌های موازیش حداکثر استفاده رو کرد. تقریبا همه‌ی مدل‌های زبانی امروز روی همین ساختمان ساخته شدن. یه مسیر کامل، ترنسفورمرها، درباره‌ی داخلشه.

دو خانواده و GPT

ترنسفورمر اصلی هر دو تیکه، رمزگذار و رمزگشا، رو داشت. سال ۲۰۱۸ دو خانواده‌ی معروف از دلش بیرون اومد که هر کدوم فقط یه تیکه رو برداشتن:

خانواده‌ی فقط رمزگذار یاد می‌گرفت جای خالی وسط جمله رو پر کنه، و چون از هر دو طرف نگاه می‌کرد، برای فهمیدن متن خیلی خوب بود؛ مثلا دسته‌بندی یا جستجو. یکی از مدل‌های این خانواده خیلی زود همه‌گیر شد.

خانواده‌ی فقط رمزگشا فقط یه کار بلد بود: تکه‌ی بعد رو حدس بزنه. اولین مدل این خانواده همون سال ۲۰۱۸ ساخته شد، به اسم GPT. GPT کوتاه‌شده‌ی سه کلمه‌ست: تولیدگر، چون متن تازه می‌سازه؛ از پیش آموزش‌دیده، چون اول روی یه عالمه متن بی‌برچسب پیش‌آموزش می‌بینه؛ و ترنسفورمر، چون روی همین ساختمان ساخته شده. «Chat» اول ChatGPT هم یعنی همین مدل، برای گفتگو تنظیم شده.

اول به نظر می‌رسید خانواده‌ی اول برنده‌ست. ولی از ۲۰۲۳ استفاده‌ی پژوهشی ازش کم شد، چون مدل‌های فقط‌رمزگشا اون‌قدر خوب شدن که فقط با دستور متنی، همون کارها رو هم انجام می‌دادن.

بزرگ‌تر

از این‌جا به بعد، داستان یه کلمه‌ست: بزرگ‌تر. سال ۲۰۱۹ نسخه‌ی بعدی GPT خیلی سروصدا کرد، چون سازنده‌ش گفت اول فکر می‌کرده منتشر کردنش برای همه خطرناکه، از ترس اینکه برای کارهای بد استفاده بشه. اولین باری بود که خیلی‌ها فهمیدن این مدل‌ها چقدر جدی شدن.

سال ۲۰۲۰ نسخه‌ی بعدی به ۱۷۵ میلیارد پارامتر رسید؛ ده برابر هر مدل زبانی قبلی. و یه چیز تازه نشون داد: یه مدل به این بزرگی، فقط با چند نمونه توی متن، کارهایی رو انجام می‌داد که هیچ‌وقت براشون آموزش ندیده بود. درس «بزرگ» یعنی چه این رو باز می‌کنه.

ولی هنوز یه مشکل مونده بود. این مدل‌ها، هر چقدر بزرگ، فقط متن رو ادامه می‌دادن؛ خوب نمی‌فهمیدن آدم دقیقا چی ازشون می‌خواد.

بزرگ شدن، سال به سال

از ۲۰۱۹ به بعد، داستان اصلی بزرگ‌تر شدن بود. عددها رو کنار هم بذاریم.

ویکی‌پدیا می‌گه یه مدل ۲۰۱۹ حدود ۱٫۵ میلیارد پارامتر داشت و آموزشش حدود ۵۰ هزار دلار خرج برداشت. یه سال بعد، ۲۰۲۰، مدلی با ۱۷۵ میلیارد پارامتر اومد؛ صد برابر بزرگ‌تر. ۲۰۲۱ یه مدل ۵۳۰ میلیاردی با حدود ۱۱ میلیون دلار هزینه، و ۲۰۲۲ یه مدل ۵۴۰ میلیاردی با حدود ۸ میلیون دلار. همون ۲۰۲۱ یکی از اولین مدل‌هایی هم ساخته شد که از یک تریلیون پارامتر رد شد؛ از نوع ترکیب خبره‌ها که برای هر تکه فقط بخشی از پارامترهاش کار می‌کنه.

ژانویه‌ی ۲۰۲۵ هم یه مدل استدلالی ۶۷۱ میلیاردی منتشر شد که وزن‌هاش عمومیه؛ یعنی مدلی به این بزرگی رو هر کسی که سخت‌افزارش رو داشته باشه می‌تونه اجرا کنه. اندازه‌ی مدل‌های امروز بیشتر چت‌بات‌ها رو سازنده‌ها منتشر نمی‌کنن؛ برای همین این‌جا فقط عددهایی اومده که رسما منتشر شده. درس بعد، «بزرگ» یعنی چه، می‌گه چرا این‌قدر بزرگ.

دوره‌ی چت‌بات

قدم آخر، یاد دادن گفتگو بود: آموزش روی نمونه‌های «دستور و جواب خوب»، و بعد RLHF، که آدم‌ها جواب‌ها رو رتبه بدن. آخر سال ۲۰۲۲ یه چت‌بات عمومی به اسم ChatGPT به دست همه رسید و توجه عمومی عظیمی گرفت. بعدش چت‌بات‌های دیگه، مثل Gemini و Claude، با مدل‌های خودشون اومدن.

از اون به بعد چند تا اتفاق مهم دیگه هم افتاد. از ۲۰۲۳ خیلی از مدل‌ها چندحالته شدن، یعنی علاوه بر متن، عکس و صدا هم می‌فهمن یا می‌سازن. از ۲۰۲۲ مدل‌هایی که وزن‌هاشون عمومی منتشر می‌شه، و هر کسی می‌تونه روی کامپیوتر خودش اجراشون کنه، محبوب‌تر شدن. و از ۲۰۲۴ مدل‌های استدلالی اومدن که پیش از جواب آخر، یه زنجیره‌ی طولانی از قدم‌های فکر می‌نویسن.

اگه به پله‌ها نگاه کنید، یه الگو پیدا می‌کنید: هیچ پله‌ای جادو نبود. هر کدوم یه ایده‌ی ساده بود که یه مشکل مشخص رو حل کرد؛ و بقیه‌ی کار رو داده‌ی بیشتر و ماشین قوی‌تر انجام داد.

بعد از ChatGPT

از اواخر ۲۰۲۲ سرعت اتفاق‌ها خیلی بیشتر شد. چهار تا نقطه‌ی مهمش این‌هان. اون پله‌ها، از شمردن تا اینجا، همه یه درس داشتن: ایده‌ی ساده، و بعد داده و ماشین بیشتر. درس بعد درباره‌ی همین «بیشتر»ه: «بزرگ» یعنی چه.

ChatGPT ۳۰ نوامبر ۲۰۲۲ اومد. ویکی‌پدیا می‌گه از ۲۰۲۳ خیلی از مدل‌ها چندحالته شدن و مدل‌های وزن‌باز پرطرفدار شدن. سپتامبر ۲۰۲۴ اولین مدل استدلالی معرفی شد، که پیش از جواب، قدم‌به‌قدم فکر می‌کنه. و ژانویه‌ی ۲۰۲۵ یه مدل استدلالی وزن‌باز ۶۷۱ میلیاردی اومد. هم‌زمان، مدل‌ها کم‌کم ابزار گرفتن و ایجنت شدن، یعنی کارهای چندقدمی رو خودشون انجام می‌دن.