مدل پاداش

داوری که عدد می‌ده

توی درس RLHF گفتیم یه داور ماشینی لازمه. این درس همون داوره: یه مدل که به هر جواب یه عدد می‌ده.

مدل پاداش یه درخواست و یه جواب می‌گیره و یه عدد بیرون می‌ده. خودش معمولا یه مدل زبانیه که آخرش، به‌جای حدس کلمه‌ی بعد، فقط یه عدد می‌ده. عدد به‌تنهایی معنی خاصی نداره؛ چیزی که مهمه، مقایسه‌ی دو عدده: جوابی که نمره‌ی بیشتری داره، احتمالا همونیه که آدم‌ها ترجیح می‌دن.

برای اینکه این رو با چشم خودمون ببینیم، یه داور خیلی کوچیک ساختیم. ولی اول بیاید ببینیم دو تا نمره چطور به «شانس ترجیح» تبدیل می‌شن.

از دو نمره تا شانس

پژوهش ۲۰۲۲ که توی درس RLHF دیدیم، این رو صاف گفته: فاصله‌ی نمره‌ی دو جواب، «لگاریتم شانس»ـه که آدم‌ها یکی رو به دیگری ترجیح بدن.

به زبان ساده: نمره‌ی جواب الف رو منهای نمره‌ی جواب ب کن، و حاصل رو بده به یه منحنی S‌شکل به اسم سیگموید. اگه فاصله صفر باشه، شانس ۵۰ درصده؛ هیچ‌کدوم بهتر نیست. هر چی فاصله بیشتر، شانس به صد درصد نزدیک‌تر. توی داور ما، الف ۳٫۸۹ و ب ۱٫۴۶ گرفت؛ فاصله ۲٫۴۳، یعنی ۹۲ درصد شانس که الف ترجیح داده بشه.

موقع آموزش هم همینه: داور برای هر جفت «الف بهتر از ب» که آدم‌ها گفتن، حساب می‌کنه چه شانسی به این ترجیح می‌داد، و هر چی شانس کمتری داده باشه، بیشتر جریمه می‌شه. همون منطق کراس‌انتروپی.

داور ما

فرض کنید شش جواب به یه سوال داریم. هر جواب دو ویژگی داره: درسته یا غلط، و چند کلمه‌ست. یه سلیقه‌ی پنهان هم گذاشتیم: آدم‌ها اول جواب درست رو می‌خوان، و بین دو جواب هم‌درست، کوتاه‌تر رو. بعد همه‌ی ۱۵ جفت ممکن رو با همین سلیقه مقایسه کردیم و داور رو با پایتون آموزش دادیم.

داور سلیقه‌ی پنهان رو پیدا کرد. به درستی وزن مثبت ۵٫۱ داد، و به هر صد کلمه وزن منفی ۶٫۰۶. نتیجه؟ هر سه جواب درست بالاتر از همه‌ی جواب‌های غلط نشستن، و بین درست‌ها، کوتاه‌تر بالاتر. داور هیچ‌وقت قانون رو ندید؛ فقط ۱۵ تا «این از اون بهتره» دید، و قانون رو از همون‌ها درآورد.

داور واقعی

داور واقعی به‌جای دو ویژگی، کل متن جواب رو می‌خونه؛ برای همین خودش یه مدل زبانی بزرگه. توی پژوهش ۲۰۲۲، یه مدل پاداش ۶ میلیاردی ساختن و برای آموزش همه‌ی اندازه‌های مدلشون از همون استفاده کردن.

جالبه که یه مدل پاداش ۱۷۵ میلیاردی رو هم امتحان کردن، ولی آموزشش ناپایدارتر بود و محاسبه رو خیلی بیشتر می‌کرد. یعنی داور لازم نیست از خود مدلی که داوریش می‌کنه بزرگ‌تر باشه.

داوری که اشتباه یاد گرفت

حالا یه آزمایش دیگه. این بار فقط چهار جواب داشتیم، و اتفاقا هر دو جواب درست بلندتر از جواب‌های غلط بودن. آدم‌ها هم فقط به درستی نگاه کردن. داور رو با همین چهار مقایسه آموزش دادیم.

داور نمی‌تونست بفهمه آدم‌ها به خاطر درستی ترجیح دادن یا به خاطر بلندی؛ چون توی داده‌اش این دو تا همیشه با هم بودن. پس به هر دو وزن مثبت داد: درستی ۴٫۱۴، هر صد کلمه ۱٫۶۲. حالا یه جواب غلط ۴۰۰ کلمه‌ای نمره‌ی ۶٫۵۰ می‌گیره، بیشتر از یه جواب درست ۳۰ کلمه‌ای با ۴٫۶۳. داور با ۸۷ درصد شانس، غلط بلند رو ترجیح می‌ده.

اگه یه مدل زبانی رو با این داور تمرین بدیم، چی یاد می‌گیره؟ اینکه جواب‌هاش رو بلندتر کنه، حتی اگه غلط باشن. نه چون آدم‌ها این رو خواستن، بلکه چون داور این‌طوری فکر می‌کنه.

قانون گودهارت

این مشکل اسم داره: «قانون گودهارت». یعنی وقتی یه سنجه خودش هدف بشه، دیگه سنجه‌ی خوبی نیست.

یه پژوهش ۲۰۲۲ دقیقا همین رو برای مدل پاداش اندازه گرفت. چون مدل پاداش یه جانشین ناقص برای سلیقه‌ی آدمه، اگه مدل زبانی زیادی برای بالا بردن نمره‌اش بهینه بشه، کیفیت واقعی بعد از یه جا پایین میاد. نمره‌ی داور هی بالا می‌ره، ولی جواب‌ها واقعا بدتر می‌شن. همین پژوهش دید این رابطه با اندازه‌ی مدل پاداش به شکل منظمی تغییر می‌کنه.

برای همین توی درس RLHF اون «افسار» رو دیدیم: جریمه‌ای که نمی‌ذاره مدل خیلی از نقطه‌ی شروعش دور بشه، تا فقط دنبال نمره‌ی داور نره.

داوری که هر قدم رو نمره می‌ده

تا اینجا داور کل جواب رو یه نمره می‌داد. یه پژوهش ۲۰۲۳ پرسید: اگه به هر قدم یه جواب نمره بدیم چی؟

اون پژوهش دو جور داور رو برای مسئله‌های ریاضی مقایسه کرد. یکی فقط می‌گفت جواب آخر درسته یا نه؛ یکی به تک‌تک قدم‌های راه‌حل نمره می‌داد. دومی خیلی بهتر بود: با کمکش ۷۸ درصد مسئله‌های یه بخش از یه آزمون ریاضی معروف حل شد. دلیلش ساده‌ست؛ وقتی فقط جواب آخر نمره بگیره، داور نمی‌گه اشتباه کجا بوده، و گاهی یه راه غلط تصادفا به جواب درست می‌رسه. برای ساختن این داور، ۸۰۰ هزار برچسب قدم‌به‌قدم از آدم‌ها جمع کردن و منتشرش کردن.

یه راه دیگه هم برای کارهایی هست که جوابشون رو می‌شه خودکار چک کرد، مثل ریاضی و برنامه‌نویسی: اصلا داور ماشینی لازم نیست، چون درستی جواب رو می‌شه سنجید. یه پژوهش ۲۰۲۵ نشون داد مدل با یادگیری تقویتی روی همین جور کارها، بی هیچ نمونه‌ی استدلال نوشته‌شده‌ی آدم، استدلال کردن یاد گرفت؛ حتی رفتارهایی مثل بازبینی کار خودش. این پایه‌ی مدل‌های استدلالیه.

چند نکته

• داور عدد می‌ده. مهم مقایسه‌ی دو عدده، نه خود عدد.
• فاصله‌ی نمره، شانس ترجیح. از راه منحنی سیگموید.
• داور قانون رو از جفت‌ها درمیاره. هیچ‌کس مستقیم بهش نمی‌گه.
• داده‌ی کج، داور کج. چیزهایی که همیشه با هم بودن، قاطی می‌شن.
• سنجه که هدف بشه، خراب می‌شه. برای همین افسار لازمه.

درس بعد یه راه ساده‌تر نشون می‌ده که اصلا داور جدا لازم نداره: DPO: یادگیری مستقیم از ترجیح.