ماتریس درهم‌ریختگی

چهار حالت دودسنج

دودسنج آشپزخونه یه دسته‌بند ساده‌ست: هر لحظه تصمیم می‌گیره «آتیش هست» یا «نیست». با چیزی که واقعا اتفاق افتاده، چهار حالت درمیاد:

• آتیش بوده و آژیر زده؛ عالی.
• آتیش بوده و ساکت مونده؛ خطرناک.
• فقط نون سوخته و آژیر زده؛ اعصاب‌خردکن.
• هیچی نبوده و ساکت مونده؛ عالی.

این چهار تا رو توی یه جدول دو در دو بنویسیم: ردیف‌ها چیزی که واقعا بوده، ستون‌ها کاری که دودسنج کرده. به این جدول می‌گن ماتریس درهم‌ریختگی.

چهار اسم

به دسته‌ای که دنبالشیم، اینجا آتیش، می‌گن «مثبت». هر خونه دو تا کلمه داره: آیا مدل درست گفت؟ و مدل چی گفت؟

• درست مثبت: مدل گفت مثبت، و درست بود. آتیش و آژیر.
• غلط منفی: مدل گفت منفی، و غلط بود. آتیش و سکوت.
• غلط مثبت: مدل گفت مثبت، و غلط بود. نون سوخته و آژیر.
• درست منفی: مدل گفت منفی، و درست بود. هیچی و سکوت.

خونه‌هایی که «درست» دارن، روی قطر جدولن. یه نکته: بعضی کتاب‌ها ردیف و ستون رو برعکس می‌کشن؛ همیشه برچسب‌ها رو بخونید.

هزار روز

فرض کنید هزار روز دودسنج رو زیر نظر گرفتیم. ۱۰ روز واقعا آتیش بوده و ۹۹۰ روز نه:

از ۱۰ آتیش، ۹ تا رو گرفته و یکی رو نه. از ۹۹۰ روز بی‌آتیش، ۳۰ بار بی‌دلیل آژیر زده. حالا دقت رو از روی جدول حساب کنیم: قطر، یعنی ۹ و ۹۶۰، روی هم ۹۶۹ از هزار؛ حدود ۹۷ درصد.

ولی جدول خیلی بیشتر از اون یه عدد می‌گه: یه آتیش رو از دست داده، و ۳۰ بار الکی آژیر زده. این‌ها توی «۹۷ درصد» گم می‌شدن.

کدوم بدتره

برای دودسنج، غلط منفی (آتیش و سکوت) خیلی بدتر از غلط مثبته؛ بهتره چند بار برای نون سوخته جیغ بزنه تا یه بار آتیش رو نبینه. ولی اگه آنقدر الکی جیغ بزنه که باتریش رو دربیاریم، اون هم خطرناک می‌شه.

برای یه فیلتر هرزنامه برعکسه: غلط مثبت، یعنی نامه‌ی مهمی که توی هرزنامه افتاده، از یه هرزنامه‌ی جامونده بدتره. پس اینکه کدوم خونه رو کوچیک کنیم، یه تصمیم آدمیه؛ مثل پیتزای سی دقیقه دیر.

بیش از دو دسته

با سه دسته، جدول سه در سه می‌شه. مثلا مدلی که پرتقال‌ها رو درشت، متوسط و ریز می‌کنه، روی ۱۵۰ پرتقال:

قطر باز هم جواب‌های درسته. ولی خونه‌های بیرون قطر یه چیز جالب می‌گن: درشت‌ها هیچ‌وقت با ریز قاطی نشدن، ولی متوسط‌ها هم با درشت قاطی شدن هم با ریز. یعنی اگه بخوایم مدل رو بهتر کنیم، باید سراغ پرتقال‌های متوسط بریم.

اسمش

«درهم‌ریختگی» یا «سردرگمی» از اینه که این جدول راحت نشون می‌ده سیستم کدوم دو دسته رو با هم قاطی می‌کنه. بهش «ماتریس خطا» هم می‌گن.

ریشه‌ش هم جالبه: اول توی پژوهش‌های شنوایی آدم به کار رفت، که ببینن آدم‌ها کدوم صداها رو با هم اشتباه می‌گیرن. بعد روزنبلات و پژوهشگرهای اول یادگیری ماشین ازش برای مقایسه‌ی آدم و ماشین استفاده کردن. درس بعد، از همین جدول دو تا عدد خیلی مهم درمیاریم: صحت و بازخوانی.