توهم هوش مصنوعی (Hallucination)

یعنی چی

مدل یه چیز غلط رو با اطمینان، مثل واقعیت، می‌گه. به این می‌گن توهم.

یه پژوهش ۲۰۲۵ این‌طوری شروع می‌شه: از یه مدل زبانی خیلی بزرگ تاریخ تولد یکی از نویسنده‌های خود پژوهش رو پرسیدن، و گفتن «فقط اگه می‌دونی جواب بده». سه بار پرسیدن، سه تاریخ مختلف گرفتن؛ هر سه غلط. مدل نگفت نمی‌دونم، با اینکه صریحا ازش خواسته بودن.

توی درس ساده‌ی توهم در مسیر پایه دیدیم توهم چه شکلیه و کجاها دردسر درست کرده. این درس می‌ره سراغ اینکه از درون مدل از کجا میاد. همون پژوهش هم می‌گه این اسم با تجربه‌ی توهم در آدم فرق اساسی داره؛ مدل چیزی رو «نمی‌بینه»، فقط یه جمله‌ی باورپذیر ولی غلط می‌سازه.

همیشه یه کلمه

یه مدل خیلی کوچیک ساختیم و چهار جمله بهش دادیم: تولد مریم تیره، تولد سارا مهره، تولد علی دیه، تولد نیما تیره. بعد ازش پرسیدیم.

برای مریم و علی، درست و مطمئن جواب داد. ولی رضا رو هیچ‌وقت ندیده بود. مدل نگفت نمی‌دونم؛ چون اصلا همچین گزینه‌ای نداره. توی درس پیش‌بینی تکه‌ی بعد دیدیم مدل همیشه یه توزیع احتمال روی تکه‌های بعدی می‌سازه که جمعش ۱۰۰ درصده. برای رضا هم همین کار رو کرد: از روی بقیه‌ی جمله‌ها، تیر رو ۵۰ درصد داد. و اگه بپرسید، با خیال راحت می‌گه «تولد رضا تیره».

مدل‌های واقعی میلیاردها جمله دیدن و یاد گرفتن گاهی بگن «نمی‌دونم»، ولی اصل ماجرا همینه: ساختن جمله‌ی بعد، همیشه ممکنه؛ دونستن جواب، نه.

واقعیت‌های یه‌باره

بعضی چیزها الگو دارن. اگه مدل هزاران جمله‌ی درست فارسی دیده باشه، می‌تونه جمله‌ی درست تازه بسازه. ولی تاریخ تولد یه آدم الگو نداره؛ از هیچ چیز دیگه‌ای نمی‌شه حدسش زد. یا توی داده بوده، یا نبوده.

پژوهش ۲۰۲۵ یه حساب جالب داره: اگه ۲۰ درصد تاریخ تولدها فقط یه بار توی داده‌ی آموزش اومده باشن، انتظار می‌ره مدل خام دست‌کم توی ۲۰ درصد سوال‌های تولد اشتباه کنه. چیزی که فقط یه بار دیده شده، تقریبا مثل چیزیه که اصلا دیده نشده. همون پژوهش می‌گه توهم توی پیش‌آموزش راز عجیبی نیست؛ وقتی درست از غلط قابل تشخیص نباشه، خودبه‌خود پیش میاد.

امتحان بی نمره‌ی منفی

خب بعد از پیش‌آموزش، آموزش‌های بعدی قراره همین رو درست کنن. چرا توهم می‌مونه؟ جواب پژوهش ۲۰۲۵ خیلی آشناست: امتحان.

یه امتحان تستی رو فرض کنید که نمره‌ی منفی نداره. جواب درست یه نمره، جواب غلط صفر، خالی گذاشتن هم صفر. اگه جواب رو ندونید، حدس بزنید بهتره؛ چون یه شانس ۲۵ درصدی دارید و هیچی از دست نمی‌دید. پژوهش می‌گه بیشتر آزمون‌هایی که مدل‌ها باهاشون سنجیده و مقایسه می‌شن، همین‌طوری نمره می‌دن: درست یا غلط، و «نمی‌دونم» هم صفر. پس مدلی که حدس می‌زنه، توی جدول رتبه‌ها بالاتر میاد، و مدل‌ها همیشه توی «حالت امتحان»ان.

حالا اگه به جواب غلط منفی یه بدیم، حساب برعکس می‌شه: حدس به‌طور میانگین منفی نیم می‌گیره و «نمی‌دونم» صفر. چاره‌ای که پژوهش پیشنهاد می‌ده هم همینه: نمره‌دهی آزمون‌های اصلی عوض بشه. ولی یادتون باشه مدلی که همیشه بگه «نمی‌دونم» هم هیچ‌وقت اشتباه نمی‌کنه، ولی به هیچ دردی هم نمی‌خوره.

چرا با اطمینان

بدترین بخش توهم اینه که شبیه جواب درسته. همون پژوهش یه نکته‌ی ظریف داره: دانش‌آموزی که سر امتحان حدس می‌زنه، معمولا یه جواب دقیق و مطمئن می‌نویسه، نه یه جواب کلی.

«۳۰ شهریور» نمره می‌گیره اگه درست باشه؛ «یه وقتی پاییز» هیچ‌وقت. پس حدس‌ها به سمت دقیق و مطمئن بودن می‌رن. نتیجه اینکه یه تاریخ دقیق، یه عدد با اعشار، یا یه منبع با اسم نویسنده و سال، به‌تنهایی نشونه‌ی درستی نیست. حتی اگه جواب توی یه قالب کاملا مرتب بیاد.

کجا بیشتر

از همین سه دلیل می‌شه حدس زد توهم کجا بیشتره. چیزهایی که الگو ندارن و کم توی اینترنت اومدن: تاریخ تولد و جزئیات زندگی آدم‌های کمتر معروف، عددهای دقیق، اسم منبع‌ها و مقاله‌ها. ویکی‌پدیا یه نمونه داره: از ۱۱۵ منبعی که یه چت‌بات داد، ۴۷ درصد ساختگی بود و ۴۶ درصد واقعی ولی با اطلاعات غلط. و هر چیزی که بعد از تاریخ برش دانش مدل اتفاق افتاده.

جایی که الگو قویه، مثل گرامر یه زبان، طبق همین حساب جای توهم کمتره. این به این معنی نیست که اونجا هیچ‌وقت پیش نمیاد؛ فقط اینکه سوال‌های کم‌پیدا رو با شک بیشتری بخونید.

منبع‌هایی که وجود ندارن

یکی از رایج‌ترین جورهای توهم، منبع ساختگیه: مقاله، کتاب یا پیوندی که اسمش واقعی به نظر میاد، ولی وجود نداره.

ویکی‌پدیا یه بررسی رو آورده که ۱۱۵ منبعی که یه نسخه‌ی ChatGPT پیشنهاد داده بود رو چک کرد: ۴۷ درصد کاملا ساختگی بودن، ۴۶ درصد واقعی بودن ولی اطلاعات غلط داشتن، و فقط ۷ درصد درست بودن. یه بررسی دیگه‌ی ۲۰۲۳ هم دید از ۱۷۸ منبعی که یه مدل آورده بود، ۶۹ تاش شناسه‌ی اشتباه یا ناموجود داشت و ۲۸ تای دیگه اصلا پیدا نشدن. پس هر منبعی که یه مدل می‌ده، پیش از استفاده خودتون باز کنید و ببینید.

وقتی توهم واقعا گرون تموم شد

توهم فقط یه ایراد فنی نیست؛ گاهی پول و آبرو هزینه‌ش بوده.

ویکی‌پدیا چند تا ماجرای واقعی رو ثبت کرده. سال ۲۰۲۳ یه وکیل شش پرونده‌ی قضایی ساختگی رو که یه چت‌بات ساخته بود، به دادگاه داد؛ دادگاه دو وکیل رو روی هم ۵ هزار دلار جریمه کرد. سال ۲۰۲۴ چت‌بات پشتیبانی یه شرکت هواپیمایی یه قانون بازپرداخت ساخت که وجود نداشت؛ مرجع رسیدگی گفت شرکت باید همون رو اجرا کنه و خسارت بده. و سال ۲۰۲۵ گزارشی که یه شرکت مشاوره برای یه دولت نوشته بود، منبع‌های ناموجود و یه نقل‌قول ساختگی داشت، و بخشی از پول برگشت داده شد. درس مشترک همه‌شون: جواب مدل رو، به خصوص وقتی پای قانون، پول یا اسم آدم‌ها وسطه، پیش از استفاده بسنجید.

چند نکته

• جمله‌ی روون، دلیل درستی نیست. مدل همیشه جمله‌ی روون می‌سازه.
• دقیق بودن هم دلیل نیست. حدس‌ها معمولا دقیقن.
• چیز کم‌پیدا، شک بیشتر. اسم، عدد، منبع، تاریخ.
• اجازه‌ی «نمی‌دونم» بدید. درس بعد می‌گه چطور.

درس بعد راه‌های عملی کم کردنش رو می‌گه: کم کردن توهم.