مرز تصمیم

حصار وسط پرتقال‌ها

پرتقال‌های کارگاه رو روی یه کاغذ بذاریم: از چپ به راست قطرشون، از پایین به بالا تعداد لکه‌هاشون. صادراتی‌ها رو با دایره کشیدیم، آب‌میوه‌ها رو با ضربدر:

صادراتی‌ها پایین سمت راست جمع شدن: درشت و کم‌لکه. آب‌میوه‌ها بالا سمت چپ: ریزتر یا پرلکه‌تر. مدل یه خط وسطشون کشیده، مثل یه حصار. پرتقال تازه هر طرف حصار بیفته، مال همون طرفه.

به این حصار می‌گن مرز تصمیم. کل کار یه دسته‌بند، در اصل همینه: کشیدن یه حصار خوب روی کاغذ ویژگی‌ها.

روی حصار: نیم‌به‌نیم

یادتونه رگرسیون لجستیک برای هر پرتقال یه احتمال می‌داد و ما با مرز ۰٫۵ تصمیم می‌گرفتیم؟ حصار دقیقا همون جاهاییه که احتمال درست به ۰٫۵ می‌رسه؛ یعنی مدل نمی‌دونه کدوم.

هر چی پرتقال از حصار دورتر باشه، مدل مطمئن‌تره. پرتقالی که درست کنار حصار افتاده، سخت‌ترین تصمیمه؛ همون‌جاهایی که آدم کاربلد هم مکث می‌کنه. برای همین مرزها همیشه تیز نیستن؛ گذر از یه دسته به دیگری کم‌کمه.

فقط صاف

رگرسیون لجستیک یه مدل خطیه، پس حصارش همیشه صافه: با دو ویژگی یه خط، با سه ویژگی یه صفحه‌ی صاف توی اتاق، با بیشتر یه صفحه‌ی صاف که نمی‌شه کشیدش ولی حسابش همونه.

اگه یه خط صاف باشه که همه‌ی یکی‌ها یه طرفش باشن و همه‌ی دیگری‌ها اون طرف، می‌گن این دو دسته جداپذیر خطی هستن. پرتقال‌های ما تقریبا این‌طورین.

وقتی صاف جواب نمی‌ده

حالا این رو ببینید: یه دسته وسط، دسته‌ی دیگه دورتادورش، مثل یه حلقه:

هر خط صافی بکشید، یه تیکه از حلقه این طرف می‌افته. اینجا حصار باید گرد باشه. دو راه هست: یا یه مدلی که مرز خمیده بکشه، مثل شبکه‌ی عصبی؛ یا یه ویژگی تازه بسازیم، مثلا «فاصله از وسط»، که با اون حتی یه خط صاف هم جداشون می‌کنه. این همون مهندسی ویژگیه.

زیادی پیچ‌درپیچ

پس هر چی حصار خمیده‌تر، بهتر؟ نه. همون نقطه‌ها رو با دو جور حصار ببینید:

حصار سمت راست دنبال تک‌تک نقطه‌ها پیچیده. شاید روی همین داده هیچ اشتباهی نکنه، ولی پرتقال‌های تازه رو خراب می‌کنه، چون به جای الگو، اتفاق‌های همین چند تا پرتقال رو یاد گرفته. به این می‌گن بیش‌برازش. حصار ساده‌ی سمت چپ یکی رو اشتباه می‌کنه، ولی روی پرتقال‌های تازه قابل اعتمادتره.

جابه‌جا کردن حصار

توی درس دسته‌بندی گفتیم اگه نخوایم پرتقال بد توی جعبه‌ی صادراتی بره، مرز احتمال رو از ۰٫۵ به ۰٫۹ می‌بریم. روی کاغذ یعنی حصار به طرف صادراتی‌ها جابه‌جا می‌شه: فقط پرتقال‌هایی که خیلی مطمئنیم صادراتی‌ان، اون طرف می‌مونن.

یعنی شکل حصار رو آموزش تعیین می‌کنه، ولی جای دقیقش رو ما هم می‌تونیم کمی جابه‌جا کنیم. قدم بعد: آموزش یه دسته‌بند با چه تابع هزینه‌ای؟