مقایسه‌ی کور با داوری انسانی

یعنی چی

دو جواب بی‌اسم، شما می‌گید کدوم بهتره، بعد اسمش رو می‌بینید.

مثلا فرض کنید دو تا نون جلوتون بذارن، بی اینکه بدونید مال کدوم نونواییه، و بپرسن کدوم خوشمزه‌تره. چون اسم نونوایی رو نمی‌دونید، فقط خود نون رو قضاوت می‌کنید، نه شهرتش رو. مقایسه‌ی کور مدل‌ها هم همینه. توی درس آزمون‌های استاندارد دیدیم که سوال‌های ثابت چه دام‌هایی دارن؛ اینجا سوال‌ها رو خود مردم می‌پرسن و داور هم خود مردمن.

یه دور مقایسه

یه پژوهش ۲۰۲۴ یه سایت رایگان برای همین کار ساخت. هر دورش این شکلیه.

شما هر سوالی که بخواید می‌پرسید؛ سوال از پیش آماده‌ای در کار نیست. دو مدل که به‌طور تصادفی انتخاب شدن جواب می‌دن، و اسمشون پنهانه. شما جواب‌ها رو کنار هم می‌خونید و یکی از چهار دکمه رو می‌زنید: الف بهتره، ب بهتره، مساوی، یا هر دو بد. اگه با یه جواب نتونستید تصمیم بگیرید، می‌تونید گفتگو رو ادامه بدید. اسم مدل‌ها فقط بعد از رای نشون داده می‌شه. حتی گفتگوهایی که اسم یه مدل توش اومده کنار گذاشته می‌شن، تا کور بودن واقعا کور بمونه.

چرا جفتی

چرا از مردم نخوایم به هر جواب یه نمره از ۱ تا ۱۰ بدن؟ چون نمره‌ی هر کس یه معنی داره. یکی سخت‌گیره و ۷ براش خیلی خوبه، یکی دست‌ودل‌باز و ۹ براش معمولیه. سازنده‌های همون سایت هم همین رو گفتن: با این‌همه آدم، یه معیار نمره‌ی یکسان برای همه نمی‌شه گذاشت. ولی وقتی دو تا جواب کنار همن، گفتن «این یکی بهتره» برای همه راحت و یکدسته. توی درس مدل پاداش هم دیدیم که داور از همین جفت‌های «این بهتر از اون» یاد می‌گیره.

از رای تا رتبه

حالا هزاران رای داریم که هر کدوم می‌گه توی یه جفت کی برد. چطور یه رتبه‌ی کلی دربیاریم؟ با همون فکری که شطرنج‌بازها رو رتبه‌بندی می‌کنه.

توی امتیاز شطرنج هر بازیکن یه عدد داره، و فرق دو عدد می‌گه کی احتمالا می‌بره. امتیاز برابر یعنی پنجاه‌پنجاه. اگه یکی ۱۰۰ امتیاز بالاتر باشه، انتظار می‌ره حدود ۶۴ درصد ببره؛ با ۲۰۰ امتیاز فرق، حدود ۷۶ درصد؛ و با همون فرمول، ۴۰۰ امتیاز فرق می‌شه حدود ۹۱ درصد. حالا برعکسش رو حساب می‌کنن: از اینکه هر مدل چند بار از کی برده، عددی برای هر مدل پیدا می‌کنن که بیشترین جور شدن رو با رای‌ها داشته باشه. اون پژوهش از یه روش آماری قدیمی از سال ۱۹۵۲ استفاده کرد که همین کار رو می‌کنه.

ظاهر جواب

آدم‌ها هم مثل داور مدل زبانی که توی درس سنجیدن مدل دیدیم، گاهی به ظاهر جواب رای می‌دن، نه فقط به خودش.

تیم همون سایت سال ۲۰۲۴ اثر ظاهر رو اندازه گرفت: طول جواب، تعداد تیترها، فهرست‌ها و کلمه‌های پررنگ. توی همون حساب رتبه، کنار اسم مدل‌ها، این ویژگی‌ها رو هم گذاشتن تا ببینن هر کدوم چقدر رای رو جابه‌جا می‌کنه. نتیجه این بود که طول، با فاصله، بیشترین اثر رو داشت؛ مردم جواب بلندتر رو بیشتر انتخاب می‌کردن، و اثر تیتر و فهرست خیلی کمتر بود. وقتی اثر ظاهر رو کنار گذاشتن، رتبه‌ها جابه‌جا شد: بعضی مدل‌ها که بیشتر با جواب‌های بلند و آراسته بالا بودن پایین اومدن، و بعضی که کوتاه‌تر ولی محکم‌تر جواب می‌دادن بالا رفتن.

برای همین از همون موقع کنار رتبه‌ی معمولی، یه رتبه‌ی «با کنترل ظاهر» هم نشون می‌دن. شما هم وقتی خودتون مقایسه می‌کنید، از خودتون بپرسید: این جواب بهتره، یا فقط بلندتره؟

چقدر قابل اعتماده

تا ژانویه‌ی ۲۰۲۴ اون سایت حدود ۲۴۰ هزار رای از بیش از ۹۰ هزار نفر جمع کرده بود، درباره‌ی بیش از ۵۰ مدل و به بیش از ۱۰۰ زبان. ولی مردم عادی داور خوبی‌ان؟ پژوهشگرها چند دسته دور رو به‌طور تصادفی برداشتن و به متخصص‌ها هم دادن، کور، و خواستن واقعیت‌ها رو با جستجو چک کنن.

رای مردم ۷۲ تا ۸۳ درصد با متخصص‌ها یکی بود. جالب‌تر اینکه دو متخصص هم با هم فقط حدود ۷۹ تا ۹۰ درصد موافق بودن. چرا؟ چون خیلی سوال‌ها یه جواب درست ندارن و هر دو جواب رو می‌شه بهتر دونست. فاصله‌ی کوچیک مردم با متخصص‌ها هم بیشتر از این بود که مردم گاهی خطای یه واقعیت رو توی جواب نمی‌دیدن.

مرزهاش

خود پژوهش سه مرز رو صاف می‌گه. اول، رای‌دهنده‌ها بیشتر علاقه‌مندها و پژوهشگرهایی‌ان که دوست دارن مدل‌های تازه رو امتحان کنن، نه همه‌ی مردم. دوم، سوال‌ها از صفحه‌ی گفتگوی همون سایته و شاید شبیه کار واقعی یه شرکت یا یه کار تخصصی نباشه. سوم، فقط مفید بودن سنجیده می‌شه، نه ایمنی.

یه نکته هم برای ما فارسی‌زبان‌ها: توی اون داده ۷۷ درصد گفتگوها انگلیسی بود، ۵ درصد چینی، و هر زبان دیگه زیر ۲ درصد. پس یه رتبه‌ی کلی بیشتر نشون می‌ده کدوم مدل به انگلیسی بهتر جواب می‌ده. برای کار فارسی، آخرش باید خودتون، با آزمون کار خودتون، بسنجید.

نقد جدول

هر جدول رتبه‌ای که خیلی مهم بشه، همون حرف قانون گودهارت سرش میاد. یه پژوهش ۲۰۲۵ همین رو درباره‌ی این سایت نشون داد.

اول اینکه چند سازنده‌ی بزرگ می‌تونستن پیش از معرفی، پنهانی چند نسخه از مدلشون رو امتحان کنن و فقط نمره‌ی بهترین رو نگه دارن؛ یکی از سازنده‌ها پیش از یه معرفی ۲۷ نسخه رو امتحان کرده بود. وقتی از بین ۲۷ تا بهترین رو برمی‌دارید، بخشی از نمره‌ی بالا فقط شانسه، نه بهتر بودن. دوم اینکه داده یکسان پخش نمی‌شد: دو سازنده‌ی بزرگ هر کدوم حدود ۲۰ درصد کل رای‌ها رو گرفته بودن، در حالی که ۸۳ مدل باز روی هم حدود ۳۰ درصد. و پژوهشگرها دیدن مدلی که با کمی از همین داده‌ها آموزش ببینه، روی همین سایت خیلی بهتر می‌شه؛ یعنی مدل‌ها ممکنه برای سلیقه‌ی این سایت بهتر بشن، نه برای کیفیت کلی.

این نقد نمی‌گه مقایسه‌ی کور بی‌فایده‌ست؛ می‌گه یه جدول رتبه هم قانون‌هایی داره که باید منصفانه باشن. شما فقط بدونید یه رتبه‌ی بالا یعنی «این مدل روی این سایت، با این رای‌دهنده‌ها، خوب بوده».

مقایسه‌ی کور خودتون

می‌خواید بین دو مدل برای کار خودتون انتخاب کنید؟ همین روش رو خودتون هم می‌تونید اجرا کنید.

از چند همکار بخواید سوال‌های واقعی کارتون رو بپرسن و جواب‌ها رو بی‌اسم کنار هم ببینن؛ جای الف و ب رو هم هر بار تصادفی عوض کنید تا سوگیری جا اثر نذاره. بعد بشمرید. ولی یادتون باشه چند رای کم، چیزی رو ثابت نمی‌کنه: اگه از ۳۰ رای، ۱۹ تا برای الف بود، یعنی حدود ۶۳ درصد، بازه‌ی معمولش از حدود ۴۶ تا ۸۱ درصده و پنجاه‌پنجاه هم توش هست؛ یعنی هنوز معلوم نیست. با ۲۰۰ رای و همون ۶۳ درصد، بازه می‌شه حدود ۵۷ تا ۷۰ و دیگه می‌شه گفت الف بهتره. همون حساب بازه‌ی خطا که توی درس سنجیدن مدل دیدیم، این بار برای رای.

چند نکته

• کور، تا اسم اثر نذاره. خودتون هم که مقایسه می‌کنید، اسم رو بپوشونید.
• جفتی، نه نمره. «کدوم بهتره» یکدست‌تره.
• فرق کوچیک امتیاز، فرق کوچیک برد. ۱۰۰ امتیاز یعنی حدود ۶۴ درصد.
• بپرسید کی رای داده و به چه زبانی.

درس بعد یکی از دام‌های آزمون‌ها رو کامل باز می‌کنه: آلودگی داده‌ی آزمون.