مدل واقعا می‌فهمد؟
جواب کوتاه
جواب قطعی نداره، و پژوهشگرها هنوز سرش بحث دارن. یه طرف می‌گه مدل‌ها «طوطی آماری»ان: شکل‌های زبانی رو از روی احتمال سرهم می‌کنن، بی ارجاع به معنا؛ و اشتباه‌هایی مثل توهم یا گیج شدن توی جمله‌های دوپهلو رو شاهد میارن. طرف دیگه شاهدهایی از درون مدل نشون می‌ده: یه مدل که فقط حرکت‌های یه بازی رو دیده، یه تصویر درونی از صفحه ساخته؛ و Claude پیش از نوشتن خط دوم شعر، قافیه‌ش رو انتخاب می‌کنه. از نظر کاربردی، مهم‌تر از اسم گذاشتن اینه که بدونیم مدل کجا قابل اعتماده و کجا باید بسنجیمش.
سوال چیه
جواب قطعی نداره؛ و هر کی بگه داره، داره ساده می‌کنه. ولی می‌شه شاهدها رو دید.
توی درس ساده‌ی هوش مصنوعی فکر می‌کنه یا می‌فهمه؟ دیدیم پژوهشگرهای زبان سر این سوال تقریبا نصف‌نصف بودن. بخش زیادی از اختلاف سر خود کلمه‌ی «فهمیدن»ه: اگه یعنی «حس کردن معنی مثل آدم»، هیچ راه پذیرفته‌شده‌ای برای سنجیدنش نیست. ولی اگه یعنی «یه تصویر درونی از چیزها داشتن و باهاش درست کار کردن»، می‌شه از درون مدل شاهد جمع کرد. این درس همین کار رو می‌کنه.
اتاق چینی
این بحث خیلی قدیمی‌تر از مدل‌های زبانیه. سال ۱۹۸۰ یه فیلسوف به اسم جان سرل یه آزمایش فکری گفت که هنوز هم وسط همین بحثه.
فرض کنید یه نفر که یه کلمه چینی بلد نیست توی یه اتاق نشسته و یه کتاب قانون بزرگ داره. از زیر در یه کاغذ با نوشته‌ی چینی میاد؛ اون توی کتاب می‌گرده، قانون می‌گه برای این شکل‌ها، این شکل‌ها رو بنویس، و کاغذ رو پس می‌ده. اگه کتاب خوب باشه، کسی که بیرونه فکر می‌کنه یه چینی‌زبان توی اتاقه. سرل می‌گفت ولی هیچ‌کس اون تو چینی نمی‌فهمه؛ پس دنبال کردن قانون، هر چقدر هم خوب، خودش فهمیدن نیست.
جواب معروفش هم اینه که دنبال فهمیدن توی خود اون مرد نگردید؛ کل سیستم، یعنی مرد و کتاب و کاغذها با هم، چینی بلده. سرل جواب می‌داد اگه مرد کل کتاب رو حفظ کنه و همه‌چی توی سرش باشه، سیستم خود اونه، و باز هم چینی نمی‌فهمه. چهل و چند سال بعد، همین دو تا جواب تقریبا همون دو طرف بحث مدل‌های زبانیه.
حفظ یا قاعده
اول یه فرق ساده. دو تا «مدل» ساختیم، هر دو از همون شش جمع. یکی جواب‌ها رو توی یه جدول حفظ کرد. اون یکی یه قاعده‌ی ساده یاد گرفت.
برای «۲+۳»، هر دو می‌گن ۵. فرق جایی معلوم می‌شه که چیز تازه‌ای بپرسید: جدول «۴+۵» رو نداره؛ قاعده، که وزن‌هاش دقیقا ۱ و ۱ شده، می‌گه ۹. توی مسیر یادگیری ماشین به این می‌گفتیم تعمیم، و برعکسش بیش‌برازش.
پس سوال «مدل می‌فهمه؟» تا حدی این سواله: مدل‌های زبانی بیشتر جدول بزرگن یا قاعده‌ی درونی دارن؟ و جواب احتمالا «یه کم از هر دو»ئه؛ توی درس حریم خصوصی دیدیم گاهی چیزی رو عینا حفظ می‌کنن.
طرف طوطی
سال ۲۰۲۱ یه مقاله اسم «طوطی تصادفی» رو روی مدل‌های زبانی گذاشت: سیستمی که شکل‌های زبانی‌ای رو که توی داده دیده، از روی احتمال سرهم می‌کنه، «بی هیچ ارجاعی به معنا». طرفدارهای این نگاه می‌گن توی ذهن آدم، کلمه‌ها به تجربه‌ها وصلن؛ آدم «خیس» رو حس کرده. توی مدل، کلمه‌ها فقط به کلمه‌های دیگه وصلن.
ویکی‌پدیا یه نمونه‌ی خوب از شاهدهاشون میاره. توی این جمله، «روزنامه» یه بار یه کاغذ خیسه و یه بار یه سازمان که سردبیر داره. یه مدل بزرگ ۲۰۲۳ گفته بود این دو رو می‌شه جای هم گذاشت. یه شاهد دیگه هم توهمه، و اینکه گاهی نمره‌ی بالای یه مدل توی آزمون از یه میان‌بر آماری میاد، نه از فهمیدن.
یه طرفه یاد گرفتن
یه شاهد دیگه برای طرف طوطی، که خیلی هم ساده‌ست. اگه بدونید «الف، مادر ب هست»، خود به خود می‌دونید «ب، پسر الف هست». مدل‌ها همیشه این‌طور نیستن.
یه پژوهش ۲۰۲۳ اسمش رو گذاشت «نفرین برعکس»: مدلی که با جمله‌ی «الف، ب هست» آموزش دیده، اغلب نمی‌تونه بگه «ب، الف هست». روی یه مدل بزرگ امتحان کردن: وقتی پرسیدن مادر یه بازیگر مشهور کیه، ۷۹ درصد درست جواب داد؛ وقتی برعکس پرسیدن پسر همون خانم کیه، ۳۳ درصد. با واقعیت‌های ساختگی هم امتحان کردن و دیدن با بزرگ کردن مدل درست نمی‌شه. یه نکته‌ی جالب هم داشت: اگه همون جمله رو توی خود پرسش بنویسید، مدل برعکسش رو درست می‌گه. یعنی چیزی که توی زمینه هست رو بهتر به کار می‌بره تا چیزی که توی پارامترهاش مونده.
تصویر درونی
طرف دیگه سراغ درون مدل رفت. یه آزمایش ۲۰۲۲ یه مدل از همون نوع مدل‌های زبانی رو فقط با فهرست حرکت‌های یه بازی تخته‌ای ساده آموزش داد؛ کارش فقط پیش‌بینی حرکت مجاز بعدی بود. هیچ‌کس قانون بازی یا شکل صفحه رو بهش نگفته بود.
پژوهشگرها توی عددهای درون مدل، نشونه‌های یه تصویر از وضعیت صفحه پیدا کردن: کدوم خونه پره، کدوم خالی. و مهم‌تر از اون، وقتی همون تصویر درونی رو دستکاری کردن، مدل حرکت‌هایی رو پیشنهاد داد که با صفحه‌ی دستکاری‌شده جور بود. یعنی مدل فقط آمار «کدوم حرکت معمولا بعد از کدومه» رو نگه نداشته بود؛ یه تصویر از خود بازی ساخته بود و ازش استفاده می‌کرد.
نقشه و تاریخ
طرف دیگه یه شاهد دیگه هم داره، این بار از دنیای واقعی، نه یه بازی.
یه پژوهش ۲۰۲۳ اسم هزاران جا، از شهرهای دنیا تا جاهای یه شهر، و اسم آدم‌های تاریخی و اثرهای هنری و تیتر خبرها رو به چند مدل باز داد و به عددهای درونشون نگاه کرد. دیدن از همون عددها، با یه حساب ساده‌ی خطی، می‌شه جای هر شهر روی نقشه و سال هر اثر و هر خبر رو حدس زد؛ حتی چند تا تک‌نورون پیدا کردن که با جا یا زمان بالا و پایین می‌رفتن. خودشون می‌گن این یعنی مدل‌ها شاید «مواد اولیه‌ی یه مدل از دنیا» رو دارن، و صاف هم می‌گن هنوز بررسی بیشتری لازمه.
نگاه به درون
سازنده‌ی Claude سال ۲۰۲۵ یه پژوهش منتشر کرد که با روشی شبیه کار دانشمندهای مغز، به درون Claude نگاه می‌کرد. یکی از سوال‌هاش این بود: مدلی که کلمه به کلمه می‌نویسه، از قبل برنامه‌ریزی می‌کنه؟
توی یه شعر دوخطی، پژوهشگرها انتظار داشتن مدل تا آخر خط دوم بی برنامه بنویسه و اونجا یه قافیه پیدا کنه. ولی دیدن پیش از شروع خط دوم، کلمه‌ی قافیه از قبل انتخاب شده، و خط طوری نوشته می‌شه که به اون برسه. وقتی اون کلمه رو توی ذهن مدل سرکوب کردن، مدل یه قافیه‌ی دیگه رو برنامه‌ریزی کرد.
دو چیز دیگه هم دیدن. برای یه سوال دوقدمی، مثل «پایتخت ایالتی که فلان شهر توشه»، اول قدم میانی، یعنی خود ایالت، توی مدل فعال می‌شد و بعد پایتخت؛ و وقتی قدم میانی رو با یه ایالت دیگه عوض کردن، جواب هم عوض شد. و مفهوم‌هایی مثل «کوچیک» و «متضاد» بین زبان‌های مختلف مشترک بودن، انگار یه فضای مفهومی مشترک قبل از هر زبان.
با احتیاط
همون پژوهش یه یافته‌ی دیگه هم داره که جای فکر داره. وقتی Claude «۳۶ + ۵۹» رو حساب می‌کنه، درونش دو مسیر موازی کار می‌کنن: یکی یه تقریب کلی می‌زنه، یکی رقم آخر رو دقیق درمیاره. ولی وقتی ازش می‌پرسن چطور حساب کردی، روش مدرسه‌ای «یکی بر یک» رو توضیح می‌ده. یعنی توضیحی که مدل از کار خودش می‌ده، همیشه همون کاری نیست که واقعا کرده؛ همون چیزی که توی درس فکر کردن قدم به قدم هم گفتیم.
و خود پژوهشگرها صاف می‌گن روششون حتی برای پرامپت‌های کوتاه فقط بخشی از محاسبه‌ی مدل رو می‌بینه. پس این شاهدها نشون می‌دن «فقط آمار سطحی» توصیف کاملی نیست؛ ولی نشون نمی‌دن مدل مثل آدم می‌فهمه یا حسی داره. درباره‌ی حس و آگاهی، هنوز هیچ راه پذیرفته‌شده‌ای برای سنجیدن نیست.
خودتون بسنجید
یه آزمون ساده هست که هر کسی می‌تونه بکنه، و یه پژوهش ۲۰۲۴ بزرگش کرد: همون سوال رو با عددهای دیگه بپرسید، یا یه جمله‌ی بی‌ربط بهش اضافه کنید.
پژوهشگرها سوال‌های ریاضی دبستانی یه آزمون معروف رو برداشتن و قالبشون کردن، طوری که می‌شد اسم‌ها و عددها رو عوض کرد. فقط با عوض کردن عددها، نمره‌ی همه‌ی مدل‌ها کم شد. بعد یه جمله‌ی بی‌ربط اضافه کردن، مثل اینکه «چند تاش کمی کوچیک‌تر از معمول بودن»، که هیچ اثری روی جواب نداره؛ نمره‌ی بهترین مدل‌ها تا ۶۵ درصد افت کرد. حدس پژوهشگرها این بود که مدل‌ها بیشتر قدم‌های استدلالی‌ای رو که توی داده دیدن تکرار می‌کنن تا اینکه واقعا منطقی استدلال کنن. این حدس خودشونه، نه حکم نهایی؛ ولی درسش برای شما روشنه: وقتی یه جواب براتون مهمه، سوال رو یه بار با عدد یا اسم دیگه بپرسید و ببین جواب سر جاش می‌مونه یا نه.
نگاه کاربردی
- «فقط آمار سطحی» کافی نیست. ولی «مثل آدم» هم ثابت نشده.
- جای قوی: الگو و قاعده. زبان، خلاصه، استدلال چندقدمی.
- جای ضعیف: چیز کم‌پیدا و دوپهلو. اونجا بسنجید.
- توضیح مدل، همون کارش نیست. جواب رو بسنجید، نه توضیحش رو.
ایستگاه بعد سراغ راهی می‌ره که ضعف «چیز کم‌پیدا» رو جبران می‌کنه: RAG: جواب از روی منبع.
جمع‌بندی. آنچه از این درس با خودتان می‌برید.
- جواب قطعی نداره؛ هنوز بحثه.
- حفظ کردن و یاد گرفتن قاعده فرق دارن.
- طرف طوطی: کلمه‌ها فقط به کلمه‌ها وصلن.
- طرف دیگه: تصویر درونی و برنامه‌ریزی از قبل.
- کاربردی: بدونید کجا بسنجید.
خودتون رو بسنجید
۱۵ پرسش، هر بار تازه از میان ۳۰ پرسش این درس. آخرش فقط کارنامه رو می‌بینید: چند تا درست، چند تا نادرست.