آزمون‌های استاندارد و مرزشان

یعنی چی

کنکور مدل‌ها: همه یه سوال‌ها رو جواب می‌دن، پس می‌شه مقایسه‌شون کرد.

توی درس مدل زبانی رو چطور بسنجیم دیدیم چطور یه مدل رو برای کار خودتون بسنجید. ولی اگه بخواید ده تا مدل رو با هم مقایسه کنید چی؟ هر کس آزمون خودش رو داشته باشه، عددها با هم جور درنمیان. اینجاست که آزمون استاندارد به کار میاد: یه دسته سوال ثابت، با جواب‌های مشخص و یه روش نمره دادن ثابت، که هر مدلی جوابش رو می‌ده. انگلیسیش «بنچمارک»ه. مثل کنکور: همه یه سوال‌ها، همه یه روش تصحیح.

سه نمونه

بیاید سه تا از آزمون‌هایی که پژوهشگرها ساختن رو ببینیم؛ هر کدوم یه چیز رو می‌سنجه و یه جور نمره می‌ده.

آزمون دانش، که یه پژوهش ۲۰۲۰ ساخت، ۵۷ موضوع داره، از ریاضی دبستان تا تاریخ و حقوق و علوم کامپیوتر؛ روی هم ۱۵۹۰۸ سوال چهارگزینه‌ای. نمره دادنش ساده‌ست: گزینه‌ای که مدل انتخاب کرد درسته یا نه.

آزمون ریاضی، از یه پژوهش ۲۰۲۱، ۸٫۵ هزار مسئله‌ی کلامی ریاضی دبستانه که آدم‌ها نوشتن؛ هر کدوم ۲ تا ۸ قدم با همون چهار عمل اصلی. سازنده‌هاش می‌گن یه دانش‌آموز زرنگ راهنمایی باید همه‌ش رو حل کنه. اینجا عدد آخر جواب مهمه.

آزمون کد، از یه پژوهش دیگه‌ی ۲۰۲۱، ۱۶۴ مسئله‌ی برنامه‌نویسیه که دستی نوشته شده و هر کدوم به‌طور میانگین ۷٫۷ تست خودکار داره. مدل یه تابع می‌نویسه و جوابش فقط وقتی درسته که همه‌ی تست‌ها رو رد کنه. یادتون باشه، همون داور کد که توی درس قبل دیدیم.

نمره رو چطور بخونیم

یه عدد تنها چیزی نمی‌گه. «۴۳ درصد» خوبه یا بد؟ باید کنار دو چیز دیگه بذاریمش.

اول شانس خالی: توی سوال چهارگزینه‌ای، اگه چشم‌بسته یه گزینه بزنید، ۲۵ درصد درست درمیاد. همون پژوهش ۲۰۲۰ دید مدل‌های تا ۱۳ میلیارد پارامتر اون زمان تقریبا همین ۲۵ درصد رو گرفتن؛ یعنی عملا هیچی. بزرگ‌ترین مدل اون موقع، با ۱۷۵ میلیارد پارامتر، به ۴۳٫۹ درصد رسید.

دوم آدم‌ها: آدم‌های غیرمتخصص ۳۴٫۵ درصد گرفتن، و پژوهشگرها سطح متخصص رو حدود ۸۹٫۸ درصد تخمین زدن. حالا ۴۳٫۹ معنی پیدا می‌کنه: از شانس و از آدم معمولی بهتر، ولی خیلی دور از متخصص. یه نکته‌ی دیگه هم دیدن: همون مدل توی بهترین موضوعش نزدیک ۷۰ درصد بود و توی چند موضوع نزدیک شانس. پس یه عدد میانگین، این ناهمواری رو قایم می‌کنه.

یه بار یا صد بار

یه نکته‌ی ریز هم توی خوندن نمره هست: «درست» یعنی بار اول درست، یا یه بار از چند بار؟

خود پژوهش آزمون کد این رو نشون داد. مدلشون اگه فقط یه جواب می‌داد، ۲۸٫۸ درصد مسئله‌ها رو حل می‌کرد؛ ولی اگه برای هر مسئله ۱۰۰ جواب می‌ساخت و دست‌کم یکی درست بود، ۷۰٫۲ درصد. هر دو عدد درستن، فقط دو چیز مختلف رو می‌شمرن؛ اسمش رو هم می‌ذارن «درست با یک جواب» و «درست با k جواب». پس وقتی دو نمره رو کنار هم می‌ذارید، ببینید هر دو با یه روش شمرده شدن. و یادتون باشه که «دست‌کم یکی از صد» فقط وقتی به درد شما می‌خوره که یه راه خودکار برای پیدا کردن اون یکی درست داشته باشید؛ همون حرفی که توی درس فکر بیشتر هنگام جواب زدیم.

وقتی معیار هدف بشه

یه جمله‌ی معروف هست به اسم قانون گودهارت، از یه اقتصاددان بریتانیایی: «وقتی یه معیار هدف بشه، دیگه معیار خوبی نیست.» مثلا فرض کنید مدرسه‌ای فقط نمره‌ی امتحان رو ملاک کنه؛ بچه‌ها یاد می‌گیرن سوال‌های امتحان رو جواب بدن، نه اینکه درس رو بفهمن.

با مدل‌ها هم همینه. وقتی همه به یه آزمون نگاه کنن، سازنده‌ها وسوسه می‌شن مدل رو برای همون آزمون بهتر کنن. نمره بالا می‌ره، ولی کار واقعی لزوما نه. همون چیزی که توی درس بیش‌برازش دیدیم، این بار برای کل یه آزمون.

یه شکل دیگه‌ش وقتیه که سوال‌های آزمون از قبل توی داده‌ی آموزش بوده. سازنده‌های همون آزمون کد دقیقا برای همین مسئله‌ها رو دستی نوشتن؛ چون مدل روی بخش بزرگی از کدهای عمومی اینترنت آموزش دیده بود و جواب خیلی از مسئله‌های موجود توش بود. اسم این مشکل «آلودگی»ه و درس آلودگی داده‌ی آزمون کامل بازش می‌کنه.

خطای خود آزمون

خود سوال‌ها هم آدم نوشته، پس ممکنه غلط داشته باشن. یه بررسی ۲۰۲۴ همون آزمون دانش ۵۷ موضوعی رو دوباره گشت.

نتیجه این بود که حدود ۶٫۵ درصد کل سوال‌ها خطا دارن؛ مثلا جوابی که به اسم «درست» ثبت شده، غلطه. توی بخش ویروس‌شناسی ۵۷ درصد سوال‌هایی که بررسی کردن خطا داشتن. و این خطاها رتبه‌ی مدل‌ها رو جابه‌جا می‌کرد. یعنی وقتی دو مدل یکی دو درصد با هم فرق دارن، ممکنه این فرق از خطای خود آزمون باشه، نه از مدل.

از تابع تا پروژه

آزمون کد بالا تابع‌های کوچیک و تنها داره. ولی کار واقعی برنامه‌نویس، درست کردن یه مشکل توی یه پروژه‌ی بزرگه.

برای همین یه آزمون ۲۰۲۳ ساخته شد که ۲۲۹۴ مشکل واقعی از ۱۲ پروژه‌ی معروف و متن‌باز پایتون رو جمع کرده؛ مشکل‌هایی که آدم‌ها واقعا گزارش کرده بودن و بعد یکی درستشون کرده بود. مدل کل کد پروژه و متن گزارش رو می‌گیره و باید خودش بفهمه کدوم فایل‌ها رو کجا عوض کنه، و جوابش با تست‌های خود پروژه سنجیده می‌شه. اون موقع بهترین مدل، یه Claude، فقط ۱٫۹۶ درصد مشکل‌ها رو حل کرد؛ در حالی که توی آزمون تابع‌های کوچیک، نمره‌ها خیلی بالاتر بود. یعنی سختی آزمون رو باید به سختی کار واقعی نزدیک کرد، وگرنه عدد بالا گول‌زننده‌ست. این آزمون بعدها یکی از معیارهای اصلی سنجیدن ایجنت‌های برنامه‌نویس شد.

وقتی آزمون پر می‌شه

هر آزمونی یه روزی پر می‌شه: مدل‌ها اون‌قدر خوب می‌شن که همه نزدیک نمره‌ی کامل می‌گیرن، و آزمون دیگه نمی‌تونه بگه کدوم بهتره.

یه پژوهش ۲۰۲۵ می‌گه همون آزمون دانش ۵۷ موضوعی، که سال ۲۰۲۰ بزرگ‌ترین مدل‌ها روش ۴۴ درصد می‌گرفتن، حالا نمره‌های بالای ۹۰ درصد می‌بینه. برای همین یه آزمون تازه ساختن با ۲۵۰۰ سوال از ده‌ها رشته، که متخصص‌ها از سرتاسر دنیا نوشتن، جوابشون کوتاه و مشخصه تا بشه خودکار نمره داد، و لبه‌ی دانش آدم‌هاست. بهترین مدل‌های اون موقع روش نمره‌ی پایین گرفتن، و یه چیز مهم‌تر: «کالیبره» نبودن؛ یعنی وقتی اشتباه می‌کردن، اغلب با اطمینان بالا اشتباه می‌کردن.

این چرخه همیشه تکرار می‌شه: آزمون ساخته می‌شه، مدل‌ها بهتر می‌شن، آزمون پر می‌شه، یه آزمون سخت‌تر میاد. پس وقتی یه عدد می‌بینید، بپرسید آزمونش هنوز سخته یا پر شده؛ فرق ۹۱ و ۹۲ روی یه آزمون پر، چیز زیادی نمی‌گه.

به چه دردی می‌خوره

با همه‌ی این دام‌ها، آزمون استاندارد خیلی به درد می‌خوره. نشون می‌ده یه مدل تقریبا کجای راهه، کجاها ضعف داره، و یه نسل تازه چقدر جلو رفته. فقط باید بدونید چی رو می‌سنجه. آزمون دانش، دانش چهارگزینه‌ای رو می‌سنجه؛ نه اینکه مدل جواب مشتری نونوایی شما رو با لحن خوب بده. پس آزمون استاندارد برای انتخاب چند تا گزینه‌ی اولیه خوبه، و انتخاب آخر با آزمون کار خودتون.

چند نکته

• بپرسید چی رو می‌سنجه. دانش، ریاضی یا کد؛ و با چه روش نمره‌ای.
• عدد رو کنار شانس و آدم بذارید. ۲۵ درصد توی چهارگزینه‌ای یعنی هیچی.
• فرق کوچیک رو جدی نگیرید. خود آزمون هم خطا داره.
• انتخاب آخر با آزمون خودتون. روی نمونه‌های کار واقعی.

درس بعد یه عدد دیگه رو باز می‌کنه که سازنده‌ها موقع آموزش نگاهش می‌کنن: سرگشتگی (Perplexity).