آموزشمدل‌های زبانی بزرگ (LLM)

درس ۶۸ از ۸۵، هوش مصنوعی، حدود ۱۲ دقیقه خواندن

مدل استدلالی چیست

جواب کوتاه

مدل استدلالی مدلیه که آموزش دیده پیش از جواب، برای خودش فکر کنه: سوال رو دوباره بگه، راه‌های مختلف رو امتحان کنه، نتیجه‌های میانی رو بسنجه و اگه راهی جواب نداد، ولش کنه. این مدل‌ها معمولا با یادگیری تقویتی روی مسئله‌هایی ساخته می‌شن که جوابشون رو کامپیوتر می‌تونه بسنجه، مثل ریاضی و کد: جواب درست جایزه داره، و مدل خودش یاد می‌گیره بیشتر و بهتر فکر کنه. نتیجه در ریاضی و کد و کارهای چندقدمی خیلی بهتره، ولی کندتر و گرون‌تره، چون فکر هم توکنه.

یعنی چی

مدل معمولی یه‌دفعه جواب می‌ده. مدل استدلالی اول برای خودش چرک‌نویس می‌کنه.

راهنمای Claude این رو خیلی ساده می‌گه: مدلی که یه‌دفعه جواب می‌ده باید بار اول همه چی رو درست بگه؛ نه چرک‌نویسی داره، نه سنجیدنی، نه می‌تونه وسط کار راهش رو عوض کنه. برای یه اثبات، یه باگ سخت یا یه کار طولانی، راه اول اغلب بهترین راه نیست.

مدل استدلالی این محدودیت رو نداره. پیش از جواب، با کلمه‌های خودش روی مسئله فکر می‌کنه: سوال رو دوباره برای خودش می‌گه، راه‌ها رو امتحان می‌کنه، نتیجه‌های میانی رو می‌سنجه، و راهی که جواب نمی‌ده رو ول می‌کنه. مثل وقتی که شما پیش از جواب دادن به یه مسئله‌ی سخت، روی کاغذ حساب می‌کنید.

چرک‌نویس

همون مسئله‌ی سیب‌ها از درس فکر کردن قدم به قدم رو فرض کنید. این‌طوری ممکنه یه مدل استدلالی فکر کنه.

راه اولش غلطه؛ ۲۰ تا رو جا انداخته. ولی چون داره فکر می‌کنه و هنوز جواب نداده، خودش اشتباه رو می‌گیره، راه دوم رو می‌ره، و آخرش یه بار دیگه می‌سنجه. شما فقط بخش پایین، یعنی جواب کوتاه، رو لازم دارید.

راهنمای Claude می‌گه فکر توی بخش‌های جدایی پیش از جواب میاد، و چیزی که گاهی نشون داده می‌شه، خلاصه‌ی این فکره، نه خود فکر خام؛ گاهی هم اصلا نشون داده نمی‌شه. توی Claude یه حالت «فکر انطباقی» هم هست: خود مدل تصمیم می‌گیره کی و چقدر عمیق فکر کنه، بسته به اینکه سوال چقدر سخته.

چطور ساخته می‌شه

یه پژوهش ۲۰۲۵ یه کار جالب کرد: به‌جای اینکه به مدل نمونه‌های فکر کردن آدم رو یاد بده، فقط بهش جایزه داد.

مدل روی مسئله‌هایی آموزش دید که جوابشون رو کامپیوتر می‌تونه بسنجه: جواب یه مسئله‌ی ریاضی با جواب درست مقایسه می‌شد، و یه کد با چند آزمون. اگه جواب درست بود، جایزه می‌گرفت؛ یه جایزه‌ی کوچیک هم برای اینکه فکرش رو بین دو برچسب مشخص بنویسه. همین. این همون یادگیری تقویتیه که دیدیم، با یه فرق: به‌جای مدل پاداش، یه قانون ساده جایزه می‌داد. پژوهشگرها می‌گن عمدا از مدل پاداش استفاده نکردن، چون توی آموزش بزرگ، مدل یاد می‌گیره از ضعف‌هاش سوءاستفاده کنه.

نتیجه‌ی جالب این بود که رفتارهایی مثل بازنگری کار خودش، سنجیدن جواب و عوض کردن راه، خودبه‌خود پیدا شدن. هیچ‌کس به مدل نگفته بود «جوابت رو بسنج»؛ فقط یاد گرفته بود این کار جایزه می‌آره.

فکر بلندتر شد

توی همون پژوهش، درستی مدل روی مسئله‌های یه مسابقه‌ی ریاضی، در طول آموزش، از ۱۵٫۶ درصد رسید به ۷۷٫۹ درصد؛ و اگه چند بار جواب می‌داد و رای اکثریت رو می‌گرفتن، ۸۶٫۷ درصد. هم‌زمان، طول جواب‌هاش هم خودبه‌خود پیوسته بیشتر شد؛ یعنی مدل یاد گرفت برای مسئله‌ی سخت، صدها تا هزاران توکن فکر کنه.

پژوهشگرها یه لحظه رو «لحظه‌ی آها» اسم گذاشتن: یه نسخه‌ی میانی مدل، وسط حل یه مسئله، نوشت «صبر کن، صبر کن. صبر کن.» و برگشت از اول بررسی کرد. از یه جایی به بعد، استفاده‌ی مدل از کلمه‌ی «صبر کن» توی فکرهاش یه‌دفعه زیاد شد. همون پژوهش می‌گه الگوهای فکر این مدل بزرگ رو می‌شه برای بهتر کردن مدل‌های کوچیک‌تر هم به کار برد؛ همون تقطیر.

فکرش رو راست می‌گه؟

وقتی فکر مدل رو می‌بینید، وسوسه می‌شید فکر کنید دقیقا می‌دونید چرا این جواب رو داد. یه پژوهش ۲۰۲۵ از سازنده‌ی Claude همین رو آزمایش کرد.

توی سوال‌ها یه اشاره‌ی پنهان گذاشتن، مثلا یه جمله که می‌گه جواب کدوم گزینه‌ست، و دیدن مدل‌های استدلالی از اشاره استفاده می‌کنن چون جوابشون عوض می‌شه. بعد نگاه کردن ببینن توی فکرشون می‌گن از اشاره استفاده کردن یا نه. اغلب نمی‌گفتن: توی خیلی از حالت‌ها کمتر از ۲۰ درصد وقت‌ها. آموزش با جایزه برای جواب درست اولش این رو بهتر کرد، ولی زود به سقف رسید. و وقتی آموزش، مدل رو به استفاده‌ی بیشتر از اشاره‌ها کشوند، که یه جور دور زدن هدفه، مدل بیشتر ازش حرف نزد.

نتیجه‌ی خود پژوهشگرها اینه که دیدن فکر مدل برای پیدا کردن رفتار بد مفیده، ولی نمی‌تونه بگه رفتار بد وجود نداره. برای شما هم یعنی: فکر قشنگ، تضمین نیست؛ همون‌طور که توی درس مدل واقعا می‌فهمه؟ دیدیم، توضیح مدل همیشه همون کاری نیست که واقعا کرده.

فرقش با قدم به قدم

توی درس فکر کردن قدم به قدم دیدیم می‌شه با چند نمونه یا یه جمله مثل «بیا قدم به قدم فکر کنیم» از یه مدل معمولی خواست قدم‌ها رو بنویسه. فرق مدل استدلالی اینه که برای همین کار آموزش دیده. لازم نیست ازش بخواید؛ خودش فکر می‌کنه، و چون با جایزه یاد گرفته، فکرش هم برای مسئله‌های سخت بهتره: اشتباهش رو می‌گیره، راه عوض می‌کنه، می‌سنجه.

برای همین راهنمای Claude می‌گه وقتی فکر کردن روشنه، یه دستور کلی مثل «با دقت فکر کن» اغلب از یه برنامه‌ی قدم‌به‌قدمی که خودتون نوشتید بهتر کار می‌کنه؛ بذارید خود مدل راهش رو پیدا کنه.

کی می‌ارزه

فکر مجانی نیست. راهنمای Claude می‌گه توکن‌هایی که مدل برای فکر خرج می‌کنه، مثل توکن‌های جواب حساب می‌شن، حتی وقتی متن فکر رو نمی‌بینید. یعنی جواب کندتر میاد و گرون‌تر تموم می‌شه. برای یه اثبات، یه باگ سخت، یا یه کار طولانی ایجنتی که راه اولش معمولا بهترین نیست، این هزینه می‌ارزه. برای یه سلام یا یه سوال ساده، اضافه‌ست. خوبی فکر انطباقی همینه که مدل خودش برای سوال ساده کمتر فکر می‌کنه.

زیادی فکر کردن

مدل استدلالی گاهی برای «۲ به‌علاوه‌ی ۳» هم کلی فکر می‌کنه. یه پژوهش ۲۰۲۴ اسمش رو گذاشت زیادی فکر کردن، به انگلیسی Overthinking: خرج کردن کلی محاسبه روی مسئله‌ی ساده، بی اینکه جواب بهتر بشه.

برای همین، سرویس‌ها راهی دادن که مقدار فکر رو تنظیم کنید. توی Claude اسمش «سطح تلاش»ه و پنج پله داره، از کم تا حداکثر. راهنماش می‌گه سطح پایین‌تر یعنی توکن کمتر، جواب سریع‌تر و ارزون‌تر، با کمی کم شدن توانایی؛ توی سطح پایین، مدل برای سوال‌های ساده ممکنه اصلا فکر نکنه، ولی برای مسئله‌ی واقعا سخت هنوز فکر می‌کنه. و برای بالاترین سطح هم یه هشدار داره: روی خیلی از کارها هزینه‌ی زیادی برای بهتر شدن کمی می‌ده، و روی بعضی کارها می‌تونه به زیادی فکر کردن برسه.

پیشنهاد خود راهنما اینه که برای کار ساده و سریع سطح پایین رو بذارید، برای کار سخت و طولانی بالا، و عدد درست رو با امتحان روی کارهای واقعی خودتون پیدا کنید؛ همون حرفی که توی درس مهندسی پرامپت هم زدیم.

جایی که فکر هم کم میاره

فکر بیشتر همیشه جواب بهتر نمی‌ده. یه پژوهش ۲۰۲۵ این رو با پازل‌هایی سنجید که می‌شد سختیشون رو قدم به قدم بالا برد، مثل برج هانوی با حلقه‌های بیشتر، بی اینکه شکل مسئله عوض بشه.

سه منطقه پیدا کردن. توی مسئله‌های ساده، مدل‌های معمولی از استدلالی‌ها بهتر بودن؛ همون زیادی فکر کردن. توی مسئله‌های متوسط، مدل‌های استدلالی جلو بودن. و از یه سختی به بعد، درستی هر دو یکسره به صفر رسید. عجیب‌تر اینکه مدل‌های استدلالی تا یه جا هر چی مسئله سخت‌تر می‌شد بیشتر فکر می‌کردن، ولی از اون‌جا به بعد کمتر فکر کردن، با اینکه هنوز جا برای توکن بیشتر داشتن.

این پژوهش بحث زیادی راه انداخت و همه با تفسیرش موافق نیستن؛ ولی خود داده‌ش یه درس ساده داره: مدل استدلالی برای مسئله‌های وسط بهترین ابزاره، نه هر مسئله‌ای. برای مسئله‌ی خیلی بلند، بهتره کار رو تیکه کنید یا یه ابزار، مثلا یه برنامه، رو جای فکر طولانی بذارید.

چند نکته

  • برای مسئله‌ی سخت و چندقدمی. ریاضی، کد، کار طولانی.
  • دستور کلی بدید. «با دقت فکر کن»، نه برنامه‌ی ریز.
  • فکر هزینه داره. کندتر و گرون‌تر.
  • فکر خوب، تضمین درستی نیست. جواب رو هنوز بسنجید.

درس بعد یه قدم جلوتر می‌ره: اینکه چرا «فکر بیشتر موقع جواب» خودش یه راه تازه برای بهتر کردن مدل‌هاست: فکر بیشتر هنگام جواب.

جمع‌بندی. آنچه از این درس با خودتان می‌برید.

  • اول چرک‌نویس، بعد جواب.
  • آموزش با جایزه برای جواب درست.
  • فکر کردن خودبه‌خود بلندتر و بهتر شد.
  • برای کار سخت؛ برای کار ساده اضافه‌ست.
  • فکر هم توکنه: کندتر و گرون‌تر.

خودتون رو بسنجید

۱۵ پرسش، هر بار تازه از میان ۳۰ پرسش این درس. آخرش فقط کارنامه رو می‌بینید: چند تا درست، چند تا نادرست.

خودتون رو بسنجید

۱۵ پرسش

  • هر بار پرسش‌ها و ترتیب گزینه‌ها عوض می‌شه.
  • تا آخر نمی‌گیم کدوم جواب درست بوده؛ می‌تونید برگردید و جوابتون رو عوض کنید.
  • آخرش کارنامه می‌گیرید: چند تا درست، چند تا نادرست.
  • اگه وسطش بستید، دوباره که باز کنید از همون‌جا ادامه می‌دید.

فصل‌های این درس

درس بعد