مدل زبانی را چطور بسنجیم

یعنی چی

«خوبه» معیار نیست. اول بگید خوب یعنی چی، بعد بسنجید.

فرض کنید یه دستیار برای جواب دادن به مشتری‌های نونوایی ساختید. از کجا بفهمید خوبه؟ اینکه چند تا سوال ازش بپرسید و جواب‌هاش به نظرتون خوب بیاد، سنجیدن نیست؛ فردا یه پرامپت رو عوض می‌کنید و نمی‌دونید بهتر شد یا بدتر. توی درس مهندسی پرامپت گفتیم پیش از هر چیز معیار لازمه. این درس همون رو باز می‌کنه: معیار چیه، آزمون چطور چیده می‌شه، و کی نمره می‌ده.

معیار چندبعدی

راهنمای آزمون Claude می‌گه بیشتر کاربردها سنجش چندبعدی لازم دارن؛ یعنی یه مدل رو با یه عدد نمی‌شه سنجید.

معیارهای رایجی که همون راهنما می‌شمره: درستی توی خود کار، با حالت‌های سخت و کمیاب؛ یکدستی، یعنی سوال یکی، جواب شبیه (همون چیزی که توی درس یک پرسش، دو جواب دیدیم)؛ مرتبط بودن جواب با سوال؛ لحن؛ حریم خصوصی؛ اینکه چقدر خوب از زمینه استفاده می‌کنه؛ زمان جواب؛ و هزینه. هر کدوم که براتون مهمه، باید مشخص و اندازه‌گرفتنی باشه؛ مثلا نه «جواب سریع»، بلکه «۹۵ درصد جواب‌ها زیر یه زمان مشخص». این هم یه مثال ساختگیه.

چیدن آزمون

راهنمای Claude سه اصل برای آزمون داره. اول، شبیه کار واقعی: همون جور پیام‌هایی که واقعا میاد، و حالت‌های لبه رو هم یادتون نره؛ ورودی خالی یا بی‌ربط، ورودی خیلی بلند، پیام بد، و موردهای مبهمی که حتی دو آدم سرش توافق ندارن. دوم، هر جا شد خودکار نمره بدید. سوم، تعداد: نمونه‌ی زیاد با نمره‌ی خودکاری که کمی کم‌دقت‌تره، بهتر از چند نمونه‌ی باکیفیت با نمره‌ی دستیه. همون فکر جدا نگه داشتن آزمون که توی درس آموزش، اعتبارسنجی، آزمون دیدیم.

سه داور

حالا کی نمره بده؟ یه مثال ساختگی: جواب درست «۹»ه، و مدل سه بار سه جور جواب داده.

داور کد سریع‌ترین و مطمئن‌ترینه و هر چند تا نمونه که بخواید رو نمره می‌ده. ولی خشکه: «تطبیق کامل» فقط «۹» خالی رو قبول کرد، و «وجود ۹» هم «نه تا» رو، که با حروف نوشته شده، رد کرد؛ در حالی که هر سه درست بودن. برای کارهایی که جواب دقیق دارن، مثل یه عدد یا یه دسته، عالیه؛ برای همین بود که توی درس خروجی ساختاریافته جواب رو توی قالب دقیق می‌خواستیم.

داور آدم منعطف‌ترین و باکیفیت‌ترینه و هر سه رو درست می‌دونه. ولی کند و گرونه؛ راهنمای Claude می‌گه اگه می‌شه، ازش دوری کنید. وسط این دو، داور مدل زبانی هست: یه مدل دیگه که جواب رو می‌خونه و نمره می‌ده. سریع و منعطفه و برای قضاوت‌های پیچیده خوبه؛ ولی اول باید مطمئن بشید قابل اعتماده.

داور مدل زبانی

داور مدل زبانی چقدر خوبه؟ یه پژوهش ۲۰۲۳ دقیقا همین رو سنجید.

نتیجه این بود که مدل‌های قوی، به‌عنوان داور، بیش از ۸۰ درصد وقت‌ها با ترجیح آدم‌ها موافق بودن؛ تقریبا هم‌اندازه‌ی اینکه دو آدم با هم موافقن. ولی سه سوگیری هم پیدا کرد: داور گاهی جوابی رو به‌خاطر جاش (اول یا دوم بودن) ترجیح می‌ده، گاهی جواب بلندتر رو بهتر می‌بینه، و گاهی جوابی که خودش نوشته رو ترجیح می‌ده. همون جنس مشکلی که توی درس مدل پاداش دیدیم.

راهنمای Claude برای داور مدل زبانی سه نکته داره: معیار نمره رو دقیق و روشن بنویسید؛ خروجیش رو مشخص بخواید، مثلا فقط «درست» یا «غلط»، یا یه عدد از ۱ تا ۵؛ و بذارید پیش از نمره دادن فکر کنه.

داور رو امتحان کنید

سوگیری «جا» یه راه ساده‌ی گرفتن داره، که خود همون پژوهش ۲۰۲۳ پیشنهاد کرد.

وقتی می‌خواید داور بین دو جواب انتخاب کنه، دو بار ازش بپرسید: یه بار جواب الف اول باشه، یه بار جواب ب. اگه هر دو بار الف رو گفت، الف واقعا بهتره. ولی اگه هر دو بار «اولی» رو گفت، یعنی داره به جا نگاه می‌کنه نه به جواب؛ اون‌وقت مساوی حسابش کنید. هزینه‌ش دو برابره، ولی یه سوگیری کامل رو از نمره‌ها بیرون می‌کشه.

یه کار دیگه هم هست که خیلی‌ها جا می‌ندازن: خود داور رو بسنجید. چند ده تا نمونه رو یه آدم نمره بده، همون‌ها رو داور مدل زبانی، و ببینید چند درصد با هم موافقن. همون عددی که پژوهش ۲۰۲۳ اندازه گرفت، این بار برای کار خود شما. اگه موافقت کم بود، معیار نمره رو روشن‌تر کنید یا داور قوی‌تری بذارید، پیش از اینکه به نمره‌هاش تکیه کنید.

سنجیدن ایجنت

سنجیدن یه ایجنت یه فرق مهم داره: ایجنت فقط حرف نمی‌زنه، کار می‌کنه. پس باید نتیجه‌ی کارش رو سنجید، نه حرفش رو.

یه آزمون معروف ۲۰۲۴ ایجنت‌ها رو توی گفت‌وگو با یه مشتری شبیه‌سازی‌شده گذاشت؛ مشتری رو هم یه مدل زبانی بازی می‌کرد، و ایجنت ابزارهای یه فروشگاه و قانون‌های اون فروشگاه رو داشت. آخر هر گفت‌وگو، به حرف‌های ایجنت نگاه نمی‌کردن؛ وضعیت پایگاه داده رو با وضعیتی که باید می‌بود مقایسه می‌کردن: سفارش واقعا عوض شد؟ پول درست برگشت؟

یه معیار تازه هم ساختن: اینکه ایجنت همون کار رو هر بار درست انجام بده، نه فقط یه بار. بهترین ایجنت‌های اون موقع کمتر از نصف کارها رو درست انجام می‌دادن، و توی بخش فروشگاه، شانس اینکه یه کار رو هر هشت بار پشت سر هم درست کنن زیر ۲۵ درصد بود. برای یه ایجنتی که با مشتری‌های واقعی کار می‌کنه، همین «هر بار» مهمه؛ چون هر مشتری فقط یه بار تجربه‌ش می‌کنه، و یه سوال، دو جواب یعنی بعضی‌ها جواب بد می‌گیرن.

آزمون همیشگی

آزمون یه بار ساخته می‌شه و همیشه به کار میاد. هر بار پرامپت رو عوض کردید، یا مدل رو با یه نسخه‌ی تازه عوض کردید، همون آزمون رو دوباره اجرا کنید و عددها رو با قبل مقایسه کنید. این‌طوری می‌فهمید یه تغییر واقعا کمک کرده یا فقط یه جواب رو بهتر و ده تا رو بدتر کرده. یه خط پایه هم نگه دارید: عددهای نسخه‌ای که الان دارید، تا هر نسخه‌ی تازه رو باهاش بسنجید.

فرق واقعی یا شانس؟

نسخه‌ی تازه‌ی پرامپتتون ۸۴ درصد گرفت و نسخه‌ی قدیم ۸۰. بهتر شده؟ شاید؛ شاید هم شانسی.

یه پژوهش ۲۰۲۴ از سازنده‌ی Claude پیشنهاد کرد آزمون رو مثل یه آزمایش علمی ببینیم: سوال‌های شما فقط یه نمونه از همه‌ی سوال‌هایی‌ان که ممکن بود بپرسید، پس نمره‌ی شما هم یه «حدود» داره. حسابش ساده‌ست؛ ویکی‌پدیا می‌گه برای یه درصد، خطای معیار جذر درصد درست ضرب در درصد غلط تقسیم بر تعداد سوال‌هاست. با ۱۰۰ سوال و ۸۰ درصد درستی، این می‌شه ۴ درصد، و بازه‌ی معمول حدود دو برابرش، یعنی از حدود ۷۲ تا ۸۸. پس ۸۰ و ۸۴ با ۱۰۰ سوال عملا از هم جدا نمی‌شن.

با ۲۰۰۰ سوال، همین بازه به کمتر از ۲ درصد از هر طرف می‌رسه و ۸۰ و ۸۴ دیگه روی هم نمی‌افتن. برای همین اون پژوهش می‌گه کنار هر نمره بازه‌ی خطاش رو هم بنویسید، و وقتی دو نسخه رو مقایسه می‌کنید، هر دو رو روی همون سوال‌ها بسنجید و سوال به سوال فرقشون رو ببینید؛ این‌طوری نویز خیلی کمتر می‌شه. این همون حرف راهنمای Claude درباره‌ی «نمونه‌ی زیاد»ه، این بار با عدد.

چند نکته

• معیار پیش از آزمون. مشخص و با عدد.
• نمونه‌ی واقعی و زیاد. با حالت‌های لبه.
• کد هر جا شد. مدل داور برای قضاوت، آدم فقط اگه چاره نیست.
• داور مدل زبانی رو هم بسنجید. سوگیری جا، طول و خودش.

درس بعد می‌ره سراغ آزمون‌هایی که همه‌ی مدل‌ها باهاش مقایسه می‌شن: آزمون‌های استاندارد و مرزشان.