چطور جواب هوش مصنوعی را بسنجیم

هندونه به شرط چاقو

میوه‌فروش می‌گه «هندونه‌ش قرمزه، شیرینه». قبول می‌کنید؟ نه؛ می‌گید «به شرط چاقو». یه قاچ می‌زنه، می‌بینید، بعد می‌خرید:

جواب هوش مصنوعی هم همینه. ممکنه درست باشه، ممکنه ساختگی، اون هم با اطمینان؛ همون چیزی که توی درس توهم دیدیم. پیش از اینکه قبولش کنید، یه قاچ بزنید. به این کار می‌گن «راستی‌آزمایی»: سنجیدن درستی یه حرف.

چی رو چک کنیم

لازم نیست تک‌تک کلمه‌ها رو چک کنید. ادعاهایی رو پیدا کنید که اگه غلط باشن، کار خراب می‌شه:

عدد، تاریخ، اسم، نقل‌قول و منبع؛ و هر چیزی درباره‌ی سلامت، قانون یا پول. یه جمله‌ی کلی مثل «ورزش برای بدن خوبه» چک زیادی نمی‌خواد؛ ولی «این قرص روزی سه بار» حتما می‌خواد.

پنج قدم

1. ادعا رو جدا کنید. یه جمله که می‌شه گفت درسته یا غلط؛ مثلا «این قانون از سال ۱۴۰۲ اجرا می‌شه».
2. منبع بخواید. «اینو از کجا گفتی؟»
3. خود منبع رو باز کنید. ببینید وجود داره و همون حرف رو زده؛ چون منبع ساختگی، یا واقعی ولی با حرف دیگه، کم نیست.
4. از چند جای دیگه هم ببینید. اگه دو سه جای معتبر همین رو می‌گن، خیالتون راحت‌تره.
5. برای چیز مهم، برید سراغ منبع اصلی. یعنی خود قانون، خود پژوهش، سایت رسمی، یا یه کارشناس.

منبع اصلی

منبع اصلی یعنی خود سند، یا کسی که مستقیم خبر داشته. هر چی بعدش میاد، منبع دست‌دومه که اون رو نقل یا تفسیر می‌کنه. هر بار نقل، یه کم از اصل دور می‌شه:

مثل بازی تلفن‌بازی که حرف از یکی به یکی دیگه می‌ره و آخرش یه چیز دیگه درمیاد. جواب هوش مصنوعی معمولا آخر این زنجیره‌ست؛ برای همین برای چیز مهم، برگردید سر اول زنجیره.

خوندن از پهلو

راستی‌آزماهای حرفه‌ای یه ترفند دارن: به‌جای اینکه یه منبع رو تا ته بخونن، چند تا منبع رو کنار هم سریع نگاه می‌کنن تا ببینن بقیه چی می‌گن. بهش می‌گن «خوندن از پهلو»:

این‌جوری اگه یه منبع اشتباه کرده باشه، زود معلوم می‌شه. برای عکس هم یه راه هست: «جست‌وجوی برعکس عکس»؛ یعنی خود عکس رو جست‌وجو کنید تا ببینید اول کجا و کی منتشر شده. درباره‌ی عکس ساختگی، توی درس دیپ‌فیک گفتیم.

پنج سوال از هر منبع

کتابدارها برای سنجیدن هر منبع، پنج تا سوال دارن. شما هم می‌تونید از هر منبعی، چه جواب هوش مصنوعی، چه یه سایت، بپرسید:

کمک گرفتن از خود مدل

خود مدل هم می‌تونه کمک کنه، به شرطی که آخرش خودتون چک کنید:

1. «ادعاهای اصلی جوابت رو فهرست کن.» تا بدونید چی رو باید چک کنید.
2. «برای هر کدوم، عین جمله‌ی منبع رو بیار.» عین جمله رو راحت‌تر می‌شه توی منبع پیدا کرد.
3. «کدوم‌ها رو مطمئن نیستی؟» گاهی خودش می‌گه کجا لنگه.

ولی یادتون باشه: جوابی که مدل درباره‌ی خودش می‌ده هم می‌تونه اشتباه باشه. قاچ آخر رو خودتون بزنید.