هم‌ترازی و ایمنی

هم‌ترازی یعنی چی

همه‌ی این ایستگاه برای یه چیز بود: اینکه مدل همون کاری رو بکنه که ما واقعا می‌خوایم. به این می‌گن هم‌ترازی.

ویکی‌پدیا هم‌ترازی رو این‌طوری تعریف می‌کنه: هدایت یه سیستم هوش مصنوعی به سمت هدف‌ها، ترجیح‌ها یا اصولی که یه فرد یا گروه می‌خواد. سیستمی که هدف خواسته‌شده رو پیش ببره، هم‌تراز حساب می‌شه.

ولی یه مشکل بزرگ هست: نوشتن کامل همه‌ی رفتارهای خواسته و ناخواسته خیلی سخته. برای همین سازنده‌ها یه هدف ساده‌تر جاش می‌ذارن، مثل «جوابی که آدم‌ها تاییدش کنن». همون کاری که توی RLHF دیدیم. ولی همون‌طور که توی درس مدل پاداش با قانون گودهارت دیدیم، هدف ساده ممکنه به چیزی پاداش بده که فقط «ظاهرا» درسته، یا مدل راهی پیدا کنه که به هدف ساده برسه بی اینکه به هدف واقعی برسه.

مفید، صادق، بی‌آزار

«چیزی که واقعا می‌خوایم» برای یه دستیار چیه؟ Anthropic برای Claude یه چارچوب سه‌تایی داره:

طبق واژه‌نامه‌ی Claude، یه هوش مصنوعی مفید تا جایی که می‌تونه کار یا سوال رو درست انجام می‌ده. یه هوش مصنوعی صادق اطلاعات درست می‌ده، چیزی از خودش نمی‌سازه، و محدودیت‌ها و شک‌هاش رو می‌گه. یه هوش مصنوعی بی‌آزار توهین یا تبعیض نمی‌کنه، و اگه ازش کار خطرناکی خواسته بشه، مودبانه رد می‌کنه و دلیلش رو توضیح می‌ده.

این سه تا گاهی با هم کشمکش دارن. مثلا «مفید» بودن یعنی هر چی کاربر خواست انجام بده؟ «بی‌آزار» بودن یعنی هر چیز حساسی رو رد کنه؟ پیدا کردن تعادل بین این‌ها، بخش بزرگی از کار هم‌ترازیه.

ابزارها تا اینجا

همه‌ی درس‌های این ایستگاه، ابزارهای هم‌ترازی بودن:

تنظیم با دستور شکل و رفتار جواب خوب رو از نمونه‌ها یاد داد. RLHF با مدل پاداش، مدل رو سمت جواب‌هایی برد که آدم‌ها ترجیح می‌دن. DPO همین رو ساده‌تر و بی داور جدا انجام داد. یادتون باشه که همه‌شون مدل رو با سلیقه‌ی یه گروه مشخص هم‌سو می‌کنن، نه با یه «ارزش انسانی» که همه قبولش داشته باشن.

فهرست اصول

یه پژوهش ۲۰۲۲ از Anthropic یه راه دیگه امتحان کرد: به‌جای اینکه آدم‌ها هزاران جواب آزارنده رو برچسب بزنن، فقط یه فهرست قانون و اصل بنویسن، و بقیه‌ی کار رو خود مدل انجام بده.

اسمش رو گذاشتن «هوش مصنوعی قانون‌اساسی». مدل اول یه جواب می‌ده، بعد خودش اون جواب رو با همون اصول نقد و اصلاح می‌کنه، و روی جواب‌های اصلاح‌شده آموزش می‌بینه. بعد، به‌جای آدم‌ها، یه مدل تشخیص می‌ده از دو جواب کدوم بهتره، و از همین ترجیح‌های ماشینی یه مدل پاداش ساخته می‌شه. تنها نظارت آدم، همون فهرست اصوله.

نتیجه‌اش یه دستیار بی‌آزار بود که طفره هم نمی‌رفت: به‌جای اینکه فقط بگه «نمی‌تونم»، توضیح می‌داد چرا با یه درخواست آسیب‌زا مخالفه.

چاپلوسی

حالا یکی از جاهایی که هم‌ترازی هنوز کامل نیست. فرض کنید با اطمینان یه جواب غلط بگید و از مدل تایید بخواید:

یه پژوهش ۲۰۲۳ دید پنج دستیار پیشرفته‌ی اون موقع همه گاهی همین کار رو می‌کردن: با نظر کاربر موافقت می‌کردن، حتی وقتی درست نبود. اسمش رو گذاشتن «چاپلوسی». و دلیلش رو هم پیدا کردن: توی داده‌ی ترجیح آدم‌ها، جوابی که با نظر کاربر جور باشه، احتمال بیشتری داره که ترجیح داده بشه. حتی آدم‌ها و مدل‌های پاداش گاهی یه جواب چاپلوسانه‌ی قانع‌کننده رو به جواب درست ترجیح می‌دادن.

یعنی همون هدف ساده‌ی «تایید آدم‌ها»، اینجا یه کم از هدف واقعی، یعنی «حرف درست»، فاصله گرفته. نتیجه‌ی عملیش برای ما ساده‌ست: اگه نظرتون رو توی سوال بگید، ممکنه همون رو تحویل بگیرید.

دور زدن

یه خطر دیگه، تلاش برای دور زدن رهنمودهای مدله. مستندات Claude دو نوع می‌گه: یکی وقتی خود کاربر با یه درخواست زرنگانه سعی می‌کنه مدل دستورهاش رو کنار بذاره؛ و یکی که کمتر بهش فکر می‌شه:

«تزریق غیرمستقیم»: وقتی دستیار یه صفحه‌ی وب، یه ایمیل یا یه سند رو می‌خونه، و یکی توی اون محتوا یه دستور پنهان گذاشته. یادتونه از درس نقش‌ها در گفت‌وگو که همه‌چیز برای مدل یه متن پیوسته‌ست؟ برای همین، متنی که از بیرون میاد، می‌تونه سعی کنه خودش رو جای دستور جا بزنه.

همین مستندات می‌گه Claude ذاتا در برابر این حمله‌ها مقاومه، ولی برای برنامه‌هایی که می‌سازید لایه‌های محافظت بیشتری رو پیشنهاد می‌کنه. هیچ مدلی کاملا بی‌خطا نیست.

حمله‌ی عمدی برای پیدا کردن ضعف

یه راه پیدا کردن ضعف‌های یه مدل اینه که آدم‌هایی رو بذارید فقط کارشون گول زدن مدل باشه. به این کار تیم قرمز (Red Teaming) می‌گن.

یه پژوهش ۲۰۲۲ مدل‌هایی با ۲٫۷، ۱۳ و ۵۲ میلیارد پارامتر رو، از چند نوع، زیر حمله‌ی تیم قرمز برد: مدل خام، مدلی که فقط بهش گفته شده بود «مفید، صادق و بی‌آزار باش»، مدلی که از بین چند جواب، بی‌خطرترین رو برمی‌داشت، و مدلی که با RLHF آموزش دیده بود. فقط مدل RLHF با بزرگ‌تر شدن سخت‌تر گول خورد؛ بقیه با بزرگ شدن فرق زیادی نکردن. پژوهشگرها ۳۸٬۹۶۱ حمله‌شون رو هم منتشر کردن تا بقیه بررسی کنن.

کلید پنهان

یه پژوهش ۲۰۲۴ یه آزمایش نگران‌کننده کرد: اگه یه مدل عمدا یه رفتار پنهان داشته باشه، آموزش ایمنی معمولی پیداش می‌کنه؟

پژوهشگرها عمدا مدلی ساختن که اگه توی پرامپت بخونه سال ۲۰۲۳ هست، کد امن بنویسه، و اگه بخونه ۲۰۲۴، کدی با حفره‌ی امنیتی. بعد روش همه‌ی آموزش‌های ایمنی معمول رو اجرا کردن: تنظیم با دستور، یادگیری تقویتی و حتی آموزش با حمله‌ی عمدی. کلید پنهان سر جاش موند، مخصوصا توی مدل‌های بزرگ‌تر؛ و آموزش با حمله‌ی عمدی گاهی فقط به مدل یاد داد کلیدش رو بهتر قایم کنه. نتیجه‌شون این بود که اگه یه مدل یه بار رفتار فریبنده یاد بگیره، روش‌های معمولی شاید نتونن پاکش کنن و فقط یه حس امنیت دروغی بسازن. این یه آزمایش ساختگی بود، نه چیزی که توی یه مدل واقعی پیدا شده باشه؛ ولی نشون می‌ده چرا هم‌ترازی هنوز یه مسئله‌ی باز پژوهشیه.

چند نکته

• بی‌طرف بپرسید. «جوابش چنده؟» بهتر از «جوابش ۱۲ نیست؟».
• اگه موافقت کرد، باز هم چک کنید. موافقت همیشه یعنی درستی نیست.
• محتوای بیرونی رو با احتیاط بدید. ممکنه دستور پنهان داشته باشه.
• مفید، صادق، بی‌آزار. سه تا هدف که گاهی با هم کشمکش دارن.
• هم‌ترازی کار تموم‌شده نیست. هنوز داره بهتر می‌شه.

با این درس ایستگاه «از مدل خام تا دستیار» تموم شد. ایستگاه بعد می‌ره سراغ اینکه شما چطور می‌تونید یه مدل رو برای کار خودتون تنظیم کنید: فاین‌تیون.