یادگیری عمیق چیه

دو تا راه

می‌خوایم کامپیوتر از روی عکس بفهمه گربه‌ست یا نه. دو تا راه داریم:

راه قدیمی: یه آدم می‌شینه و فکر می‌کنه گربه رو از چی می‌شه شناخت؛ گوش تیز؟ سبیل؟ بعد این‌ها رو به عدد تبدیل می‌کنه و می‌ده به یه مدل ساده. به این کار گفتیم مهندسی ویژگی. برای جدول خوبه، ولی برای عکس خیلی سخته.

راه تازه: خود نقطه‌های عکس رو می‌دیم به یه شبکه‌ی عصبی چندلایه، و لایه‌ها خودشون یاد می‌گیرن دنبال چی بگردن. به این می‌گن یادگیری عمیق؛ «عمیق» چون لایه‌ها زیادن، از سه تا صدها و حتی هزاران.

چرا حالا؟

جالبه که بیشتر تیکه‌هاش قدیمی‌ان. ReLU مال ۱۹۶۹ هست، پس‌انتشار دهه‌ی ۱۹۷۰ و ۱۹۸۰. پس چرا یهو دهه‌ی ۲۰۱۰ همه‌جا رو گرفت؟

بیشترش به خاطر سخت‌افزار بود، مخصوصا کارت گرافیک. کارت گرافیک برای بازی و تصویر ساخته شده بود و صدها تا هزاران واحد حساب داره که با هم کار می‌کنن. همون چیزی که شبکه‌های عصبی لازم دارن: کلی ضرب ماتریس هم‌زمان.

نقطه‌ی عطفش سال ۲۰۱۲ بود: یه شبکه‌ی عمیق یه مسابقه‌ی بزرگ تشخیص عکس رو با فاصله‌ی زیادی از روش‌های قدیمی برد. از اون به بعد، همه‌چی عوض شد.

کجاها

امروز یادگیری عمیق پشت خیلی چیزهاست:

• بینایی ماشین: شناختن چیزها توی عکس، و تحلیل عکس‌های پزشکی.
• گفتار: تبدیل صدا به متن.
• زبان: فهمیدن متن و ترجمه؛ همون چیزی که مدل‌های زبانی بزرگ روش ساخته شدن.
• علم: زیست‌شناسی، طراحی دارو و آب‌وهوا.
• بازی: بازی‌های تخته‌ای.

توی بعضی از این کارها، نتیجه‌اش هم‌سطح متخصص‌های آدم و گاهی حتی بهتر بوده.

نقشه‌ی این ایستگاه

یه شبکه‌ی عمیق رو ساختن آسونه: فقط لایه روی لایه. ولی آموزش دادنش سخته؛ ممکنه اصلا یاد نگیره، خیلی کند یاد بگیره، یا حفظ کنه. این ایستگاه هشت تا ترفند داره که فرق شبکه‌ای که یاد می‌گیره با شبکه‌ای که نه رو می‌سازن:

1. دسته‌ی کوچیک: جای همه‌ی داده، با چند مثال قدم بردار.
2. بهینه‌سازها: قدم‌های زرنگ‌تر از گرادیان کاهشی ساده.
3. وزن اولیه: از کجا شروع کنیم.
4. محو گرادیان: چرا سهم‌ها توی راه برگشت گم می‌شن.
5. نرمال‌سازی: هم‌مقیاس نگه داشتن عددهای وسط شبکه.
6. دراپ‌اوت: خاموش کردن تصادفی نورون‌ها تا شبکه حفظ نکنه.
7. توقف زود: کِی آموزش رو بس کنیم.
8. یادگیری انتقالی: استفاده از شبکه‌ای که قبلا یاد گرفته.

چی لازم داره

یادگیری عمیق کار رو از مهندسی ویژگی راحت کرد، ولی مجانی نیست. معمولا داده‌ی زیاد می‌خواد، حساب زیاد می‌خواد، و هنوز یه سری چیزها رو باید با دست تنظیم کرد، مثل تعداد لایه‌ها و اندازه‌شون، که ابرپارامترن.

برای همین برای یه جدول کوچیک، اغلب همون الگوریتم‌های کلاسیک بهترن. یادگیری عمیق جایی می‌درخشه که داده خام و زیاده: عکس، صدا، متن.

اولین ترفند رو درس بعد می‌بینیم: گرادیان کاهشی تصادفی و دسته‌ی کوچیک.