منحنی ROC و AUC

پیچ حساسیت

فرض کنید دودسنج آشپزخونه یه پیچ حساسیت داره. سه جاش رو امتحان کردیم:

• کم: نصف آتیش‌ها رو گرفت، ولی فقط ۲ درصد روزهای عادی الکی جیغ زد.
• متوسط: ۸۰ درصد آتیش‌ها رو گرفت، ۱۰ درصد روزهای عادی الکی جیغ زد.
• زیاد: ۹۸ درصد آتیش‌ها رو گرفت، ولی ۴۰ درصد روزهای عادی هم جیغ زد.

هر جای پیچ یه نقطه روی نمودار شد. پیچ حساسیت توی مدل‌ها همون مرز احتماله.

دو محور

• محور عمودی: از همه‌ی آتیش‌ها، چند درصد گرفته شد؟ این همون بازخوانی یا حساسیته؛ بهش «نرخ درست مثبت» هم می‌گن.
• محور افقی: از همه‌ی روزهای عادی، چند درصد الکی جیغ زد؟ بهش «نرخ غلط مثبت» می‌گن.

بهترین جا گوشه‌ی بالا چپه: همه‌ی آتیش‌ها گرفته شده و هیچ جیغ الکی‌ای نیست. بدترین جا پایین راست.

همه‌ی جاهای پیچ

حالا به جای سه جا، پیچ رو آروم از صفر تا آخر بچرخونیم و برای هر جا یه نقطه بذاریم. نقطه‌ها به هم وصل می‌شن و یه منحنی می‌سازن:

به این منحنی می‌گن منحنی ROC. همیشه از پایین چپ (پیچ روی صفر: هیچ‌وقت جیغ نمی‌زنه) شروع می‌شه و به بالا راست (پیچ روی آخر: همیشه جیغ می‌زنه) می‌رسه.

خط‌چین مورب یعنی دودسنجی که شیر یا خط می‌اندازه. هر منحنی بالای این خط بهتر از تصادفیه، و هر چی به گوشه‌ی بالا چپ نزدیک‌تر بشه، بهتر. اینجا منحنی پررنگ از منحنی کم‌رنگ بهتره، با هر جای پیچ.

مساحت زیر منحنی

برای اینکه کل منحنی رو یه عدد کنیم، مساحت زیرش رو حساب می‌کنیم. بهش می‌گن AUC. کل مربع مساحتش یکه، پس:

• AUC یک یعنی بی‌نقص.
• AUC نیم یعنی مثل شیر یا خط؛ زیر قطر.
• هر چی بین این دو، نزدیک‌تر به یک، بهتر.

AUC یه معنی خیلی ساده هم داره: یه روز آتیش و یه روز عادی رو تصادفی بردارید. AUC احتمال اینه که مدل به روز آتیش امتیاز بیشتری از روز عادی بده. یعنی چقدر خوب «مثبت‌ها رو بالاتر از منفی‌ها می‌چینه».

به چه درد می‌خوره

F1 و دقت با یه مرز مشخص حساب می‌شن؛ مرز رو عوض کنید، عددشون عوض می‌شه. ROC همه‌ی مرزها رو با هم نشون می‌ده. پس می‌شه دو تا مدل رو پیش از اینکه تصمیم بگیریم مرز کجا باشه مقایسه کرد.

بعد، وقتی مدل رو انتخاب کردیم، با فکر کردن به هزینه‌ها یه نقطه روی منحنی انتخاب می‌کنیم. برای دودسنج، جایی که تقریبا همه‌ی آتیش‌ها گرفته بشه، حتی با چند جیغ الکی بیشتر.

اسمش از رادار

«ROC» کوتاه‌شده‌ی یه اسم انگلیسی طولانیه، به معنی «مشخصه‌ی کار گیرنده». این منحنی رو اولین بار مهندس‌های برق و رادار توی جنگ جهانی دوم، از سال ۱۹۴۱، ساختن؛ برای اینکه بفهمن صفحه‌ی رادار با هر حساسیت، چقدر هدف واقعی رو نشون می‌ده و چقدر الکی بوق می‌زنه. همون کشمکش دودسنج.

تا اینجا همه‌ی سنجه‌ها برای دسته‌بندی بود. درس بعد، سنجه‌های مدل عددی.