فکر بیشتر هنگام جواب

یعنی چی

تا حالا برای بهتر کردن مدل، بزرگ‌ترش می‌کردن. حالا یه راه دیگه هم هست: همون مدل، موقع جواب بیشتر وقت بذاره.

توی درس قانون‌های مقیاس دیدیم مدل بزرگ‌تر با داده و محاسبه‌ی بیشتر، بهتر می‌شه. این اهرم اوله: یه بار، موقع آموزش، کلی خرج می‌کنید. اهرم دوم اینه که موقع جواب دادن، برای هر سوال، محاسبه‌ی بیشتری خرج کنید. یه پژوهش ۲۰۲۴ دقیقا همین رو پرسید: اگه یه مدل موقع جواب یه مقدار مشخص محاسبه‌ی بیشتر داشته باشه، چقدر بهتر می‌شه؟ و این چه ربطی داره به اینکه پول رو خرج آموزش کنیم یا خرج جواب؟

سه راه

فکر بلندتر همون کاریه که مدل استدلالی می‌کنه: یه جواب، با چرک‌نویس طولانی‌تر. توی پژوهش ۲۰۲۵ دیدیم مدل خودش یاد گرفت برای مسئله‌ی سخت بیشتر فکر کنه.

چند جواب و رای رو یه پژوهش ۲۰۲۲ «سازگاری با خود» اسم گذاشت: به‌جای یه راه فکر، چند راه جورواجور بگیر و جوابی رو بردار که بیشتر از همه تکرار شده. فکرش اینه که یه مسئله‌ی سخت معمولا چند راه حل داره که همه به یه جواب درست می‌رسن، ولی اشتباه‌ها هر کدوم یه جورن. روی یه مجموعه‌ی مسئله‌ی کلامی ریاضی، ۱۷٫۹ درصد بهترش کرد. پژوهش ۲۰۲۵ هم با همین کار از ۷۷٫۹ به ۸۶٫۷ درصد رسید.

داور یعنی یه مدل دیگه، مثل مدل پاداش، جواب‌ها یا حتی قدم‌های فکر رو نمره بده و بهترین رو انتخاب کنه؛ یکی از دو راهی که پژوهش ۲۰۲۴ بررسی کرد.

درخت فکر

یه راه چهارم هم هست که بین «یه فکر بلند» و «چند جواب جدا»ست: به‌جای یه خط فکر، یه درخت.

یه پژوهش ۲۰۲۳ اسمش رو گذاشت درخت فکرها، به انگلیسی Tree of Thoughts. مدل از هر جا چند قدم بعدی ممکن رو می‌نویسه، خودش هر کدوم رو می‌سنجه که امیدوارکننده‌ست یا بن‌بست، بن‌بست‌ها رو ول می‌کنه و از بهترین شاخه جلو می‌ره؛ اگه گیر کرد، برمی‌گرده یه شاخه‌ی دیگه رو امتحان می‌کنه. یکی از آزمون‌هاش «بازی ۲۴» بود: با چهار عدد و جمع و تفریق و ضرب و تقسیم، به ۲۴ برسید. یه مدل بزرگ ۲۰۲۳ با فکر قدم به قدم معمولی فقط ۴ درصد این پازل‌ها رو حل کرد؛ با درخت فکرها ۷۴ درصد. چون یه خط فکر اگه قدم اولش غلط باشه، تا آخر غلط می‌ره؛ درخت می‌تونه برگرده.

داور قدم به قدم

داوری که بهترین جواب رو انتخاب می‌کنه، دو جور می‌تونه نمره بده: فقط به جواب آخر، یا به تک‌تک قدم‌ها.

یه پژوهش ۲۰۲۳ این دو رو مقایسه کرد. داور «آخر کار» فقط می‌دونه جواب درست بود یا نه. داور «قدم به قدم» یاد گرفته هر قدم فکر رو جدا بسنجه؛ پس می‌تونه بگه دقیقا قدم سوم غلطه، و بین چند جواب، اونی رو انتخاب کنه که همه‌ی قدم‌هاش درسته، نه فقط جوابش. برای ساختنش ۸۰۰ هزار نمره‌ی قدم به قدم از آدم‌ها جمع کردن. نتیجه: داور قدم به قدم خیلی بهتر بود، و مدلی که با کمکش بهترین جواب رو انتخاب می‌کرد، ۷۸ درصد یه بخش نمونه از یه مجموعه‌ی سخت مسئله‌ی ریاضی رو حل کرد. این همون فکریه که توی درس خطای ایجنت هم دیدیم: خطا رو هر چی زودتر بگیری، کمتر جلو می‌ره.

رای اکثریت

یه شبیه‌سازی ساده ساختیم. فرض کنید هر بار که از مدل می‌پرسید، با یه احتمال ثابت جواب درست می‌ده، و وقتی غلط می‌ده، جوابش بین چهار جواب غلط مختلف پخشه. حالا ۱، ۵ یا ۱۵ بار بپرسید و جوابی رو بردارید که بیشتر اومده.

مدلی که هر بار ۶۰ درصد درسته، با ۱۵ بار رای به ۹۸٫۶ درصد می‌رسه. حتی مدلی که فقط ۴۰ درصد وقت‌ها درسته، با ۱۵ بار رای به ۷۷٫۹ درصد می‌رسه؛ چون جواب درستش یکیه، ولی اشتباه‌هاش پخش‌ان. ولی ستون آخر رو ببینید: مدلی که فقط ۱۵ درصد درسته، با رای بدتر می‌شه، از ۱۵ به ۸٫۷ درصد. چون هر کدوم از جواب‌های غلطش از جواب درست پرتکرارتره، و رای همون غلط رو انتخاب می‌کنه. این فقط یه فرض ساده‌ست، ولی فکر اصلی رو نشون می‌ده.

صدها جواب

اگه به‌جای ۱۵ بار، صدها بار بپرسیم چی؟

یه پژوهش ۲۰۲۴ همین رو امتحان کرد و دید سهم مسئله‌هایی که «دست‌کم یکی از جواب‌ها» درسته، با بیشتر شدن تعداد جواب‌ها، تا ده‌هزار برابر، مدام بالا می‌ره؛ تقریبا با هر ده برابر شدن، یه پله. روی یه مجموعه‌ی مشکل‌های واقعی برنامه‌نویسی، یه مدل باز با یه جواب ۱۵٫۹ درصد رو حل می‌کرد و با ۲۵۰ جواب ۵۶ درصد؛ بیشتر از بهترین نتیجه‌ی تک‌جوابی اون موقع که ۴۳ درصد بود.

ولی یه شرط بزرگ داره: باید بشه فهمید کدوم جواب درسته. توی برنامه‌نویسی، آزمون‌های خودکار این کار رو می‌کنن. جایی که چنین سنجنده‌ای نیست، رای اکثریت یا یه داور، بعد از چند صد جواب دیگه بهتر نمی‌شن؛ یعنی جواب درست بین اون همه هست، ولی پیدا کردنش سخته. پس «جواب زیاد» وقتی می‌ارزه که یه راه مطمئن برای سنجیدن داشته باشید.

به سختی بستگی داره

نتیجه‌ی اصلی پژوهش ۲۰۲۴ هم همین بود: اینکه کدوم روش و چقدر محاسبه کمک می‌کنه، خیلی به سختی سوال بستگی داره. پس به‌جای اینکه برای همه‌ی سوال‌ها یه مقدار خرج کنید، باید برای هر سوال به‌اندازه خرج کنید. با همین کار، روششون بیش از ۴ برابر کاراتر از «بهترین از چند جواب» بود.

و یه نتیجه‌ی جالب‌تر: با محاسبه‌ی برابر، روی سوال‌هایی که یه مدل کوچیک‌تر تا حدی از پسشون برمیاد، فکر بیشتر موقع جواب می‌تونست از یه مدل ۱۴ برابر بزرگ‌تر بهتر باشه. دقت کنید این برتری فقط برای سوال‌هایی گفته شده که مدل کوچیک تا حدی بلده؛ همون چیزی که توی ستون آخر شبیه‌سازی دیدیم: وقتی مدل بلد نیست، فکر بیشتر نجاتش نمی‌ده.

تنظیم تلاش

توی Claude این اهرم یه اسم ساده داره: تلاش.

راهنمای Claude می‌گه تلاش تنظیم می‌کنه مدل موقع جواب چقدر توکن خرج کنه؛ یه معامله بین کامل بودن جواب و صرفه‌جویی. سطح‌هاش از کم تا بیشترینه. یه نکته‌ی مهم هم داره: تلاش یه نشونه‌ی رفتاریه، نه یه سقف دقیق. یعنی حتی با تلاش کم، اگه سوال خیلی سخت باشه، مدل باز هم فکر می‌کنه؛ فقط کمتر از وقتی که تلاش زیاده. همون فکر «به‌اندازه برای هر سوال».

«صبر کن»

یادتونه که مدل استدلالی خودش «صبر کن» نوشت و برگشت؟ یه پژوهش ۲۰۲۵ از همین یه ابزار ساخت.

اول یه مدل باز رو فقط با هزار سوال سخت و فکرهای نمونه‌شون فاین‌تیون کردن. بعد یه حقه‌ی ساده گذاشتن که اسمش رو گذاشتن «اجبار بودجه»: هر وقت مدل می‌خواست فکرش رو تموم کنه و جواب بده، یه «صبر کن» به آخر فکرش اضافه می‌کردن تا ادامه بده؛ و اگه زیادی طول می‌کشید، فکرش رو قطع می‌کردن. با این «صبر کن»ها، مدل اغلب کارش رو دوباره نگاه می‌کرد و اشتباهش رو می‌گرفت، و درستیش روی یه مسابقه‌ی ریاضی از ۵۰ به ۵۷ درصد رسید. یعنی مقدار فکر رو می‌شه از بیرون، با یه کلمه، کم و زیاد کرد.

هزینه

هیچ‌کدوم از این راه‌ها مجانی نیست. ۱۵ بار پرسیدن یعنی تقریبا ۱۵ برابر هزینه. فکر بلندتر یعنی توکن بیشتر، و راهنمای Claude می‌گه توکن‌های فکر مثل توکن‌های جواب حساب می‌شن. و همه‌ش یعنی جواب دیرتر میاد. برای همین، برای یه سوال ساده، یه جواب کافیه؛ برای یه مسئله‌ی سخت که جوابش مهمه، فکر بیشتر می‌ارزه. توی درس کم کردن توهم هم دیدیم چند بار پرسیدن یه راه برای پیدا کردن جواب‌های مشکوکه.

چند نکته

• سوال سخت، فکر بیشتر. سوال ساده، یه جواب.
• رای وقتی کمک می‌کنه که مدل تا حدی بلده. وگرنه نه.
• تلاش رو به‌اندازه بذارید. زیادش کندتر و گرون‌تره.
• گاهی مدل بزرگ‌تر لازمه. فکر بیشتر جای همه چیز رو نمی‌گیره.

ایستگاه بعد از متن فراتر می‌ره: مدل‌های چندحالته: متن، تصویر، صدا.