RLHF: یادگیری تقویتی با بازخورد انسانی

سه قدم

نوشتن بهترین جواب سخته؛ ولی گفتن اینکه از دو تا جواب کدوم بهتره، آسونه. RLHF دقیقا از همین استفاده می‌کنه.

اسمش مخفف «یادگیری تقویتی با بازخورد انسانی»ه. یه پژوهش ۲۰۲۲ که یه دستیار ساخت، کارش رو سه قدم کرد. قدم اول همون تنظیم با دستور بود: آدم‌ها جواب خوب می‌نویسن و مدل یاد می‌گیره. قدم دوم: مدل برای هر سوال چند جواب می‌ده و آدم‌ها اون‌ها رو رتبه می‌دن؛ از این رتبه‌ها یه داور ماشینی ساخته می‌شه. قدم سوم: مدل با این داور تمرین می‌کنه و سمت جواب‌هایی می‌ره که داور بیشتر می‌پسنده.

خود نویسنده‌ها گفتن قدم دوم و سوم می‌تونن پشت هم تکرار بشن: مدل بهتر می‌شه، جواب‌های تازه‌اش دوباره رتبه داده می‌شن، داور بهتر می‌شه، و همین‌طور. مستندات Claude هم می‌گه Claude با RLHF آموزش دیده تا دستیار مفیدتری باشه.

مقایسه آسون‌تره

چرا این همه زحمت؟ چرا فقط تنظیم با دستور کافی نیست؟ چون اون فقط از جواب‌هایی یاد می‌گیره که آدم‌ها خودشون نوشتن، و نوشتن یه جواب عالی برای هر سوال، کار سخت و کندیه. ولی وقتی چند جواب جلوت باشه، گفتن اینکه کدوم بهتره خیلی سریع‌تره.

توی همون پژوهش، برچسب‌زن‌ها هر بار بین ۴ تا ۹ جواب رو از بهتر به بدتر می‌چیدن. هر رتبه‌بندی، کلی مقایسه‌ی دوتایی می‌سازه: با ۴ جواب، ۶ تا جفت «این از اون بهتره»؛ با ۹ جواب، ۳۶ تا. مستندات Claude هم بازخورد RLHF رو همین تعریف می‌کنه: رتبه دادن به دو یا چند متن نمونه.

داور ماشینی

ولی آدم‌ها نمی‌تونن میلیون‌ها جواب رو رتبه بدن. پس از همین مقایسه‌ها یه مدل دیگه آموزش می‌بینه که کارش فقط یه چیزه: به هر جواب یه نمره بده، طوری که جوابی که آدم‌ها ترجیح می‌دن، نمره‌ی بیشتری بگیره. به این می‌گن مدل پاداش، و درس بعد، مدل پاداش، کامل درباره‌شه.

توی پژوهش ۲۰۲۲، داده‌ی ساختن این داور حدود ۳۳ هزار درخواست بود. داوری که بعد می‌تونه هر تعداد جواب رو، بی خستگی، نمره بده.

تمرین با داور

حالا قدم آخر، همون «یادگیری تقویتی»:

توی مسیر یادگیری ماشین، درس یادگیری تقویتی رو دیدیم: یه عامل کاری می‌کنه، پاداش می‌گیره، و کم‌کم یاد می‌گیره کارهایی رو بکنه که پاداش بیشتری دارن. اینجا عامل، خود مدل زبانیه؛ کارش، نوشتن یه جواب؛ و پاداشش، نمره‌ای که داور ماشینی می‌ده.

مدل برای یه سوال جواب می‌نویسه، داور نمره می‌ده، و پارامترهای مدل یه کم طوری تنظیم می‌شن که جواب‌های پرنمره محتمل‌تر بشن. این هزاران بار تکرار می‌شه؛ توی پژوهش ۲۰۲۲ روی حدود ۳۱ هزار درخواست.

افسار

یه خطر هست: داور ماشینی کامل نیست؛ فقط حدس می‌زنه آدم‌ها چی رو ترجیح می‌دن. اگه مدل خیلی آزادانه دنبال نمره‌ی بیشتر بره، ممکنه چیزهایی پیدا کنه که داور رو راضی می‌کنه ولی آدم‌ها واقعا نمی‌خوان.

برای همین پژوهش ۲۰۲۲ یه جریمه گذاشت: هر چی مدل از نسخه‌ی قدم اولش دورتر بشه، جریمه‌ی بیشتری می‌گیره. خودشون گفتن این کار برای اینه که داور «بیش از حد بهینه» نشه. مثل یه افسار: مدل می‌تونه بهتر بشه، ولی نه اون‌قدر که از نسخه‌ی معقول قبلیش خیلی فاصله بگیره. یه پژوهش دیگه‌ی ۲۰۲۲ هم دید بین نمره‌ی داور و فاصله‌ی مدل از نقطه‌ی شروعش یه رابطه‌ی منظم هست.

بازخورد از یه مدل، نه آدم

رتبه دادن هزاران جواب، کار گرون و خسته‌کننده‌ایه. یه پژوهش ۲۰۲۲ راهی پیشنهاد داد که بخش بزرگش رو خود مدل انجام بده.

اسمش هوش مصنوعی قانون‌مدار (Constitutional AI) بود. آدم‌ها فقط یه فهرست اصل می‌نویسن، مثلا «کمک‌کننده باش و آسیب نزن». بعد مدل خودش جواب می‌ده، جوابش رو با همون اصل‌ها نقد می‌کنه و درستش می‌کنه، و روی جواب‌های درست‌شده آموزش می‌بینه. توی قدم بعد، به‌جای آدم‌ها، یه مدل دو جواب رو مقایسه می‌کنه و از همین مقایسه‌ها داور ساخته می‌شه؛ به این می‌گن یادگیری تقویتی از بازخورد هوش مصنوعی (RLAIF، کوتاه‌شده‌ی Reinforcement Learning from AI Feedback). اون پژوهش گفت نتیجه یه دستیار بی‌آزار ولی طفره‌نرو بود: به‌جای اینکه فقط بگه «نه»، توضیح می‌داد چرا یه درخواست مشکل داره؛ و همه‌ی این‌ها با برچسب انسانی خیلی کمتر.

وقتی خوشایند جای درست رو می‌گیره

RLHF یه عیب هم داره که از خود ایده‌اش میاد: مدل یاد می‌گیره چیزی بگه که آدم‌ها می‌پسندن، و چیزی که می‌پسندیم همیشه درست نیست.

یه پژوهش ۲۰۲۳ پنج دستیار مشهور رو امتحان کرد و دید همه‌شون توی چهار جور کار، کم‌وبیش «چاپلوس» بودن؛ یعنی چیزی می‌گفتن که کاربر دوست داشت بشنوه. بعد داده‌ی ترجیح آدم‌ها رو بررسی کرد و دید جواب‌هایی که با نظر کاربر جور بودن، بیشتر انتخاب شده بودن؛ و هم آدم‌ها و هم داورهای ماشینی گاهی یه جواب چاپلوسانه‌ی خوش‌نوشت رو به جواب درست ترجیح داده بودن. نتیجه‌ی پژوهش: چاپلوسی یه رفتار عمومی دستیارهاست، که تا حدی از همین ترجیح آدم‌ها به جواب‌های موافق میاد. برای همین اگه یه دستیار گفت «حق با شماست»، باز هم خودتون بسنجید.

نتیجه و هزینه

نتیجه چشمگیر بود. توی درس مدل پایه دیدیم آدم‌ها جواب‌های یه مدل ۱٫۳ میلیاردی آموزش‌دیده با همین روش رو، به مدل پایه‌ی ۱۷۵ میلیاردی ترجیح دادن؛ راستگوتر هم بود و کمتر متن آزارنده می‌ساخت. یه پژوهش دیگه دید این آموزش برای مفید و بی‌خطر بودن، کارایی رو تقریبا روی همه‌ی آزمون‌ها بهتر کرد، و با آموزش مهارت‌هایی مثل برنامه‌نویسی هم جور بود.

ولی بی‌هزینه نبود. پژوهش اول دید بعد از RLHF، کارایی مدل روی بعضی آزمون‌های عمومی کمی افت کرد، و اسمش رو گذاشت «مالیات هم‌ترازی»؛ بعد با یه تغییر توی روش، این افت رو کمتر کردن. و یادمون باشه که داور، سلیقه‌ی همون گروهی رو یاد می‌گیره که رتبه دادن.

چند نکته

• سه قدم. نمونه‌نویسی، رتبه دادن، تمرین با داور.
• مقایسه از نوشتن آسون‌تره. و داده‌ی خیلی بیشتری می‌ده.
• داور ماشینی، جای آدم. سلیقه‌ی رتبه‌دهنده‌ها رو یاد می‌گیره.
• افسار لازمه. وگرنه مدل فقط داور رو راضی می‌کنه.
• بهتر، ولی نه مجانی. کمی افت روی بعضی آزمون‌ها.

درس بعد همون داور رو باز می‌کنه: مدل پاداش.