صحت (Precision) و بازخوانی (Recall)
جواب کوتاه
صحت و بازخوانی دو سوال جدا درباره‌ی یه دسته‌بندن. صحت می‌پرسه: از چیزهایی که مدل گفت «آره»، چند تاش واقعا درست بود؟ بازخوانی می‌پرسه: از همه‌ی چیزهای درست، مدل چند تاش رو پیدا کرد؟ مثل ماهیگیری که فقط قزل‌آلا می‌خواد: صحت یعنی چند درصد چیزهای توی تور قزل‌آلاست، بازخوانی یعنی چند درصد قزل‌آلاهای دریاچه رو گرفته. تور بزرگ‌تر بازخوانی رو بالا می‌بره ولی صحت رو پایین میاره، و برعکس. اینکه کدوم مهم‌تره بستگی به کار داره: دودسنج بازخوانی می‌خواد، فیلتر هرزنامه صحت.
دو سوال ماهیگیر
یه ماهیگیر فقط قزل‌آلا می‌خواد، ولی توی دریاچه ماهی‌های دیگه هم هست. دو جور تور داره: یه تور بزرگ و یه تور کوچیک:
بعد از هر بار تور انداختن، دو تا سوال براش مهمه:
- از چیزهایی که توی تورم اومده، چند تاش قزل‌آلاست؟
- از همه‌ی قزل‌آلاهای دریاچه، چند تاش رو گرفتم؟
این دو تا سوال کاملا با هم فرق دارن. به اولی می‌گن صحت، به دومی بازخوانی. توی یادگیری ماشین، «تور» همون مدله و «قزل‌آلا» دسته‌ای که دنبالشیم.
صحت
فرض کنید توی دریاچه ۲۰ تا قزل‌آلا و ۸۰ تا ماهی دیگه هست. تور بزرگ رو انداختیم و ۱۸ قزل‌آلا و ۴۰ ماهی دیگه اومد بالا؛ روی هم ۵۸ تا.
صحت می‌شه ۱۸ تقسیم بر ۵۸، حدود ۳۱ درصد. یعنی از چیزهایی که مدل گفت «این قزل‌آلاست»، فقط حدود یه سومش درست بود. به زبان ماتریس درهم‌ریختگی: درست مثبت تقسیم بر همه‌ی مثبت‌گفته‌ها. صحت پایین یعنی غلط مثبت زیاده.
بازخوانی
حالا سوال دوم: از ۲۰ قزل‌آلای دریاچه، ۱۸ تاش رو گرفتیم. بازخوانی می‌شه ۱۸ تقسیم بر ۲۰، یعنی ۹۰ درصد. عالیه!
به زبان جدول: درست مثبت تقسیم بر همه‌ی مثبت‌های واقعی. بازخوانی پایین یعنی غلط منفی زیاده؛ یعنی خیلی از چیزهایی که دنبالشون بودیم رو از دست دادیم. به بازخوانی «حساسیت» هم می‌گن.
کشمکش
حالا تور کوچیک رو، فقط جایی که قزل‌آلاها جمعن، بندازیم: ۶ قزل‌آلا و ۱ ماهی دیگه اومد. صحت: ۶ از ۷، حدود ۸۶ درصد. بازخوانی: ۶ از ۲۰، فقط ۳۰ درصد. دو تا تور رو کنار هم ببینید:
تور بزرگ بیشتر قزل‌آلاها رو می‌گیره ولی کلی ماهی دیگه هم میاره. تور کوچیک تقریبا فقط قزل‌آلا میاره ولی بیشترشون رو جا می‌ذاره. معمولا بالا بردن یکی، اون یکی رو پایین میاره.
توی مدل‌ها، اندازه‌ی تور همون مرز احتماله: مرز پایین‌تر یعنی تور بزرگ‌تر (بازخوانی بالا)، مرز بالاتر یعنی تور کوچیک‌تر (صحت بالا).
کدوم مهم‌تره
- دودسنج: بازخوانی مهم‌تره؛ نباید هیچ آتیشی رو از دست بده، حتی اگه گاهی برای نون سوخته جیغ بزنه.
- فیلتر هرزنامه: صحت مهم‌تره؛ هر چی رفت توی هرزنامه، واقعا باید هرزنامه باشه، وگرنه یه نامه‌ی مهم گم می‌شه.
- جست‌وجو توی یه سایت: صحت یعنی نتیجه‌های صفحه‌ی اول به درد بخورن؛ بازخوانی یعنی هیچ صفحه‌ی مرتبطی جا نمونه.
یعنی هیچ‌کدوم همیشه برنده نیست؛ اول باید بپرسید کدوم اشتباه برای کار شما گرون‌تره. یه نکته‌ی جالب هم: مدل تنبل درس دقت، که همیشه می‌گفت «سالمه»، بازخوانیش صفره؛ دقت ۹۹ درصد، بازخوانی صفر.
یه عدد برای هر دو
گاهی می‌خوایم دو تا مدل رو با یه عدد مقایسه کنیم و هر دو، صحت و بازخوانی، برامون مهمه. یه عدد هست که فقط وقتی بالاست که هر دو بالا باشن: امتیاز F1، درس بعد.
جمع‌بندی. آنچه از این درس با خودتان می‌برید.
- صحت: از «آره»ها، چند تا درست؟
- بازخوانی: از درست‌ها، چند تا پیدا شد؟
- تور بزرگ: بازخوانی بالا، صحت پایین.
- تور کوچیک: برعکس.
- کدوم مهم‌تره؟ بستگی به کار داره.
خودتون رو بسنجید
۱۵ پرسش، هر بار تازه از میان ۳۰ پرسش این درس. آخرش فقط کارنامه رو می‌بینید: چند تا درست، چند تا نادرست.