کم کردن توهم

اجازه‌ی «نمی‌دونم»

ساده‌ترین کار: بهش بگید اگه مطمئن نیست، بگه نمی‌دونم.

توی درس توهم دیدیم مدل‌ها یاد گرفتن مثل دانش‌آموزی رفتار کنن که سر امتحان بی نمره‌ی منفی نشسته: حدس زدن می‌صرفه. وقتی توی پرامپت صریحا می‌گید «اگه اطلاعات کافی نداری یا مطمئن نیستی، بگو اطلاعات کافی ندارم»، دارید نمره‌دهی رو عوض می‌کنید؛ دارید می‌گید این‌جا «نمی‌دونم» قبوله.

راهنمای Claude می‌گه همین کار ساده می‌تونه اطلاعات غلط رو خیلی کم کنه. خوبیش اینه که هیچ هزینه‌ای نداره؛ فقط یه جمله‌ست. بهتره دقیقا بگید جمله‌ی «نمی‌دونم» چی باشه، تا بعدا راحت پیداش کنید.

فقط از روی سند

دلیل دوم توهم این بود که مدل بعضی چیزها رو هیچ‌وقت ندیده یا فقط یه بار دیده. خب، بهش نشون بدید.

اگه سوال درباره‌ی ساعت کار نونوایی شماست، منوی نونوایی رو توی پرامپت بذارید و صریحا بگید فقط از اطلاعات همین سند استفاده کن، نه دانسته‌های عمومیت. حالا مدل لازم نیست چیزی رو از حافظه دربیاره؛ جواب جلوی چشمشه. این همون فکریه که پشت RAG هست، و یه ایستگاه کامل مال خودشه.

برای سندهای بلند، بالای حدود ۲۰ هزار توکن، راهنمای Claude یه قدم دیگه هم پیشنهاد می‌کنه: اول بخواید جمله‌های مرتبط رو عینا از سند بیرون بکشه و شماره بزنه، بعد فقط از روی همون نقل قول‌ها کار کنه. و اگه جمله‌ی مرتبطی پیدا نکرد، همینو بگه. این‌طوری جواب به خود متن سند بسته می‌شه، نه به برداشت مدل از اون.

هر ادعا، یه نقل قول

قدم بعد اینه که جواب رو قابل بررسی کنید: برای هر ادعا، یه نقل قول از سند.

راهنمای Claude یه روش خوب داره: بعد از اینکه مدل متن رو نوشت، ازش بخواید تک‌تک ادعاهاش رو مرور کنه و برای هر کدوم یه نقل قول عینی از سند پیدا کنه. اگه برای یه ادعا نقل قول پیدا نشد، اون ادعا رو حذف کنه و جاش رو علامت بزنه. توی تصویر، «همه‌ی نون‌هامون سبوس‌دارن» هیچ جای منو نیومده بود؛ پس خط خورد. این کار دو تا فایده داره: هم مدل خودش ادعای بی‌پشتوانه رو می‌گیره، هم شما می‌تونید هر ادعا رو با سند مقایسه کنید.

چند بار بپرس

یادتونه پژوهش ۲۰۲۵ سه بار تاریخ تولد رو پرسید و سه جواب مختلف گرفت؟ همین خودش یه نشونه‌ست.

یه پژوهش ۲۰۲۳ دقیقا از همین ایده یه روش ساخت: اگه مدل یه چیز رو واقعا بدونه، جواب‌هاش توی چند بار پرسیدن شبیه هم و سازگارن؛ ولی وقتی داره می‌سازه، جواب‌ها از هم دور می‌شن و همدیگه رو نقض می‌کنن. خوبیش اینه که به هیچ منبع بیرونی نیاز نداره. راهنمای Claude هم همین رو پیشنهاد می‌کنه: یه پرامپت رو چند بار اجرا کنید و جواب‌ها رو مقایسه کنید.

با مدل کوچیک درس قبل حساب کردیم: برای مریم که توی داده بود، سه بار پرسیدن همیشه سه تا «تیر» می‌ده. برای رضا که هیچ‌وقت دیده نشده بود، شانس اینکه هر سه بار یه ماه بیاد فقط حدود ۱۶ درصده. یادتون باشه این روش با دمای بالاتر از صفر کار می‌کنه؛ با دمای صفر، مدل هر بار همون محتمل‌ترین رو می‌گه، حتی اگه غلط باشه.

دوباره بسنج

دو راه دیگه هم توی راهنمای Claude هست. اول، جواب مدل رو توی پرامپت بعدی بهش برگردونید و بخواید بسنجه یا کاملش کنه؛ این می‌تونه ناسازگاری‌ها رو بگیره. دوم، اگه مدل قبل از جواب فکر می‌کنه و خلاصه‌ی فکرش رو نشون می‌ده، وقتی جواب مشکوکه اون خلاصه رو بخونید؛ مثل درس فکر کردن قدم به قدم، ممکنه ببینید کجا یه فرض غلط کرده.

پیش‌نویس، بررسی، بازنویسی

یه روش ۲۰۲۳ «دوباره بسنج» رو به یه زنجیره‌ی مرتب تبدیل کرد.

اسمش زنجیره‌ی بررسی (Chain-of-Verification) بود. مدل اول یه پیش‌نویس می‌نویسه. بعد برای ادعاهای اون پیش‌نویس، سوال‌های بررسی طراحی می‌کنه؛ مثلا اگه گفته «مشهد دومین شهر بزرگه»، می‌پرسه «دومین شهر بزرگ ایران کدومه؟». بعد به هر سوال جدا جواب می‌ده، بی اینکه پیش‌نویس رو ببینه، تا پیش‌نویس روی جوابش اثر نذاره. و آخر، جواب نهایی رو فقط با چیزهایی که تایید شدن می‌نویسه. اون پژوهش گفت این کار توهم رو توی سوال‌های فهرستی، جواب سوال بی منبع و متن‌های بلند کم کرد. می‌تونید همین رو با چند پرامپت پشت سر هم، دستی هم انجام بدید.

صفر نمی‌شه

خود راهنمای Claude آخرش صاف می‌گه: این روش‌ها توهم رو خیلی کم می‌کنن، ولی کاملا از بین نمی‌برن. برای تصمیم‌های مهم، مثل پول، سلامت یا قانون، اطلاعات حساس رو همیشه خودتون با منبع اصلی بسنجید.

یه نکته‌ی دیگه هم از درس قبل: مدلی که همیشه بگه «نمی‌دونم» هم اشتباه نمی‌کنه، ولی به هیچ دردی نمی‌خوره. پس هدف این نیست که مدل رو بترسونید که هیچی نگه؛ هدف اینه که وقتی می‌دونه بگه، وقتی نمی‌دونه هم بگه.

چند نکته

• یه جمله‌ی «نمی‌دونم» توی هر پرامپت مهم. مجانیه.
• سند بدید، نه فقط سوال. و بگید فقط از روی سند.
• نقل قول بخواید. ادعای بی نقل قول، حذف.
• شک دارید؟ سه بار بپرسید. جواب‌های جورواجور یعنی حدس.
• چیز مهم رو خودتون بسنجید. همیشه.

درس بعد یه خطر دیگه‌ست، این بار از طرف متنی که مدل می‌خونه: تزریق دستور.