دیدن توجه: نقشه‌ی گرمایی

یعنی چی

حتما نقشه‌هایی دیدید که نشون می‌دن آدم‌ها بیشتر کجای یه صفحه‌ی سایت رو نگاه می‌کنن؛ جاهای داغ قرمز، جاهای سرد آبی. نقشه‌ی گرمایی توجه همینه، فقط برای یه مدل. نشون می‌ده هر کلمه، موقع ساختن معنی خودش، بیشتر به کدوم کلمه‌ها نگاه کرده.

یادتونه توی درس توجه با دست برای هر کلمه یه سری وزن حساب کردیم که جمعشون یک بود. این وزن‌ها برای همه‌ی کلمه‌ها، کنار هم، یه جدول می‌سازن. اگه هر خونه رو به اندازه‌ی وزنش پررنگ کنیم، نقشه‌ی گرمایی به دست میاد. هر سر توی هر لایه، جدول خودش رو داره.

این درس یاد می‌ده این جدول‌ها رو چطور بخونید، چه الگوهایی معمولا توشون پیدا می‌شه، پژوهشگرها با دیدنشون چی کشف کردن، و مهم‌تر از همه، کجا این نقشه‌ها گول‌زننده‌ان. آخرش هم قدم به قدم می‌گیم چطور خودتون یکی بسازید.

یه مثال با عدد

این وزن‌ها از کجا اومدن؟ از همون امتیازها. پرسش «خوابید» در کلید هر کلمه ضرب نقطه‌ای شده، تقسیم بر ریشه‌ی اندازه‌ی بردار، و بعد سافت‌مکس. فرض کنید امتیازها ۲٫۱، ۰، ۰٫۷ و ۱٫۷ بوده. سافت‌مکسشون تقریبا می‌شه ۰٫۵۵، ۰٫۰۷، ۰٫۱۳ و ۰٫۳۷؛ نزدیک همون جدول.

یه چیز جالب از این عددها؛ فرق امتیاز «گربه» و «خوابید» فقط ۰٫۴ بود، ولی بعد از سافت‌مکس، وزن یکی ۱٫۵ برابر اون یکیه. سافت‌مکس فرق‌ها رو بزرگ می‌کنه. برای همین توی نقشه‌ها معمولا چند خونه‌ی خیلی پررنگ و بقیه کم‌رنگ می‌بینیم؛ بیشتر سرها، بیشتر وزنشون رو روی یکی دو کلمه می‌ذارن.

مثلث ماسک

اگه نقشه‌ی یه مدل سازنده‌ی متن رو باز کنید، اولین چیزی که می‌بینید، یه مثلثه. نیمه‌ی بالای قطر همیشه خالیه. دلیلش ماسک آینده‌ست؛ هر کلمه فقط به خودش و کلمه‌های قبلش نگاه می‌کنه. ردیف اول، که کلمه‌ی اوله، فقط یه خونه داره و وزنش همیشه یکه، چون هیچ‌چیز دیگه‌ای برای نگاه کردن نیست.

توی مدل‌های فقط‌رمزگذار، مثل اون‌هایی که متن رو برای دسته‌بندی می‌خونن، ماسکی نیست و کل جدول ممکنه پر باشه. پس با یه نگاه به شکل کلی نقشه، معلوم می‌شه با چه جور مدلی سر و کار داریم. توی مدل‌هایی که ورودی و خروجی جدا دارن، مثل ترجمه، سه جور نقشه هست؛ توجه خود ورودی، توجه ماسک‌دار خروجی، و توجه متقابل خروجی به ورودی.

سرهای دستوری

همون پژوهش ۲۰۱۹ یه چیز جالب‌تر هم پیدا کرد. بعضی سرها، بی این‌که کسی بهشون دستور زبان یاد داده باشه، رابطه‌های دستوری مشخصی رو دنبال می‌کردن. یه سر، از هر فعل به مفعولش نگاه می‌کرد. یه سر دیگه، از هر اسم به حرف تعریفش. یه سر، از هر حرف اضافه به اسمی که بعدش میاد.

برای سنجیدن، برای هر کلمه، کلمه‌ای که این سر بیشترین وزن رو بهش داده بود رو با جواب درست دستوری مقایسه کردن، و برای چند رابطه، دقت خیلی بالا بود؛ خیلی بیشتر از یه حدس ساده مثل «همیشه کلمه‌ی بعدی». ولی هیچ سری همه‌ی دستور زبان رو با هم نمی‌دونست؛ هر رابطه توی یه سر خاص بود، و دانش دستوری بین سرها پخش شده بود.

لنگر

توی مدل‌های سازنده‌ی متن، یه ستون عجیب تقریبا همیشه پیدا می‌شه؛ ستون اولین تکه. خیلی از سرها، توی خیلی از لایه‌ها، بخش بزرگی از وزنشون رو به تکه‌ی اول می‌دن، حتی وقتی اون تکه فقط یه نشونه‌ی شروعه و هیچ معنی‌ای نداره. این همون لنگر توجه‌ه که توی درس توجه پراکنده دیدیم.

برای خوندن نقشه، این مهمه؛ اگه یه ستون پررنگ روی تکه‌ی اول دیدید، احتمالا معنیش اینه که این سر توی این‌جا کار خاصی نمی‌کنه، نه این‌که کلمه‌ی اول خیلی مهمه. بعضی ابزارها برای همین، تکه‌ی اول رو از نقشه حذف می‌کنن یا جدا نشون می‌دن، تا بقیه‌ی الگو دیده بشه.

تمرکز با عدد

به‌جای نگاه کردن به صدها نقشه، می‌شه برای هر سر یه عدد حساب کرد که بگه چقدر متمرکزه. این عدد آنتروپی یا Entropy‌ه، که توی نظریه‌ی اطلاعات یعنی «چقدر پخش». اگه یه ردیف همه‌ی وزنش رو روی یه کلمه بذاره، آنتروپیش صفره. اگه روی ۸ کلمه کاملا برابر پخش کنه، یعنی هر کدوم یک هشتم، آنتروپیش ۳ بیته، چون ۲ به توان ۳ می‌شه ۸.

پس با یه عدد، می‌شه گفت این سر مثل یه نورافکن روی یکی دو کلمه‌ست، یا مثل یه لامپ کل اتاق رو روشن می‌کنه. پژوهش ۲۰۱۹ با همین عدد دید سرهای لایه‌های پایین معمولا پهن‌ترن و آنتروپی بیشتری دارن، و سرهای لایه‌های بالاتر متمرکزتر. اگه می‌خواید از بین ۱۴۴ سر، اون‌هایی که ارزش دقیق نگاه کردن دارن رو پیدا کنید، معمولا از سرهای کم‌آنتروپی شروع کنید.

لایه‌های پایین و بالا

معمولا الگوها با عمق عوض می‌شن. توی لایه‌های پایین، بیشتر سرها ساده و جایگاهی‌ان؛ کلمه‌ی قبلی، کلمه‌ی بعدی، یا پهن. انگار مدل اول داره اطلاعات محلی رو جمع می‌کنه. توی لایه‌های وسط، سرهای دستوری و معنایی بیشتر پیدا می‌شن؛ فعل و فاعل، ضمیر و مرجع.

توی لایه‌های بالا، الگوها گاهی دوباره ساده‌تر یا پهن‌تر می‌شن، چون مدل داره اطلاعات رو برای پیش‌بینی آخر آماده می‌کنه. یه نکته‌ی مهم؛ توی لایه‌های بالا، بردار هر جا دیگه فقط مال همون کلمه نیست؛ از چند لایه اطلاعات جمع کرده. پس وقتی توی لایه‌ی دهم، «خوابید» به جای «گربه» نگاه می‌کنه، شاید داره به چیزی نگاه می‌کنه که حالا خبر چند کلمه‌ی دیگه رو هم داره.

عکس و پیمودن توجه

برای ترنسفورمر بینایی، نقشه‌ی توجه روی خود عکس کشیده می‌شه. ردیف تکه‌ی دسته رو برمی‌داریم، که ۱۹۶ وزن داره، به یه جدول ۱۴ در ۱۴ برمی‌گردونیم و روی عکس می‌ذاریم. توی درس ترنسفورمر بینایی دیدیم که توی مدل‌هایی که بی برچسب یاد گرفتن، این نقشه شیء اصلی رو قشنگ از پس‌زمینه جدا می‌کنه.

ولی یه لایه کافی نیست، چون اطلاعات از چند لایه رد می‌شه. یه پژوهش ۲۰۲۰ روشی به اسم پیمودن توجه پیشنهاد داد؛ جدول‌های همه‌ی لایه‌ها در هم ضرب می‌شن، با در نظر گرفتن این‌که میون‌بر هم یه بخش از اطلاعات رو مستقیم رد می‌کنه. نتیجه تخمین می‌زنه آخر کار، هر تکه‌ی ورودی چقدر به خروجی رسیده. این تخمینه، ولی معمولا از یه لایه‌ی تنها گویاتره.

سرهای بازیابی

یه پژوهش ۲۰۲۴ یه دسته‌ی خیلی مهم دیگه پیدا کرد. موقع آزمون سوزن توی انبار کاه، که یه جمله‌ی خاص وسط یه متن خیلی بلند گذاشته می‌شه و مدل باید پیداش کنه، دیدن کمتر از ۵ درصد سرها مسئول اصلی این کارن. این سرها، وقتی مدل داره جواب رو می‌نویسه، مستقیم به همون جمله‌ی گم‌شده نگاه می‌کنن و کلمه‌هاش رو کپی می‌کنن.

بهشون سر بازیابی گفتن. وقتی این سرهای کم رو خاموش کردن، مدل دیگه نمی‌تونست سوزن رو پیدا کنه و شروع می‌کرد به ساختن جواب از خودش، در حالی که خاموش کردن همون تعداد سر تصادفی، تقریبا اثری نداشت. این یه مثال خوبه از این‌که نقشه‌ی گرمایی، کنار آزمایش خاموش کردن، چطور می‌تونه یه رفتار مهم مدل رو به چند سر مشخص وصل کنه.

راه‌های دیگه‌ی نسبت دادن

نقشه‌ی توجه تنها راه دیدن این نیست که مدل به کدوم کلمه‌ها تکیه کرده. یه راه ساده‌تر و مطمئن‌تر، حذف کردنه؛ یه کلمه رو برمی‌داریم یا با یه کلمه‌ی بی‌معنی عوض می‌کنیم و می‌بینیم جواب مدل چقدر عوض شد. اگه با برداشتن «گربه» احتمال جواب خیلی افت کرد، «گربه» مهم بوده. این روش کنده، چون برای هر کلمه یه بار اجرای جدا لازمه، ولی مستقیم اثر رو می‌سنجه.

راه دیگه از شیب، یعنی گرادیان، استفاده می‌کنه. می‌پرسه اگه بردار این کلمه یه ذره عوض بشه، جواب چقدر عوض می‌شه. یه نسخه‌ی دقیق‌ترش، که سال ۲۰۱۷ معرفی شد، شیب رو روی یه مسیر از یه ورودی خالی تا ورودی واقعی جمع می‌زنه، تا نتیجه پایدارتر باشه. این روش‌ها کل مدل رو در نظر می‌گیرن، نه فقط یه سر، و برای همین برای جواب دادن به «چرا این جواب» معمولا از نقشه‌ی توجه قابل‌اعتمادترن؛ ولی نقشه‌ی توجه هنوز بهترین راهه برای دیدن این‌که هر سر چی کار می‌کنه.

وزن تنها کافی نیست

یه نکته‌ای که خیلی‌ها فراموش می‌کنن؛ خروجی توجه، وزن ضرب در مقداره. اگه یه کلمه وزن ۰٫۵ بگیره ولی بردار مقدارش خیلی کوچیک باشه، عملا اثر کمی روی خروجی داره. برعکس، وزن ۰٫۱ با یه مقدار خیلی بزرگ، ممکنه اثر بیشتری بذاره.

یه پژوهش ۲۰۲۰ دقیقا همین رو نشون داد. به‌جای فقط وزن، اندازه‌ی «وزن ضرب در مقدار» رو اندازه گرفت، و دید خیلی از اون ستون‌های پررنگی که روی علامت‌های نگارشی و جداکننده‌ها بود، توی این حساب تقریبا محو می‌شه، چون مقدار اون تکه‌ها خیلی کوچیکه. یعنی اون سرها واقعا داشتن «کاری نمی‌کردن»، همون‌طور که حدس زده بودن. نتیجه‌ی عملی؛ اگه می‌خواید بفهمید یه کلمه چقدر اثر گذاشته، وزن تنها رو نگاه نکنید.

توضیحه یا نه

سال ۲۰۱۹ یه بحث جالب بین پژوهشگرها پیش اومد. یه گروه نشون داد می‌شه وزن‌های توجه یه مدل رو کاملا عوض کرد و هنوز همون پیش‌بینی رو گرفت، و نتیجه گرفتن که توجه «توضیح» نیست؛ یعنی نمی‌شه گفت مدل به این دلیل این جواب رو داد که به این کلمه توجه کرده.

گروه دیگه جواب دادن که بستگی داره منظورمون از توضیح چی باشه؛ این‌که وزن‌های دیگه‌ای هم ممکن بود، به این معنی نیست که وزن‌های واقعی هیچ اطلاعاتی ندارن. جمع‌بندی امروز اینه که نقشه‌ی توجه یه سرنخ خوبه، برای حدس زدن این‌که داخل مدل چه خبره، ولی برای این‌که با اطمینان بگیم «چرا» مدل یه کاری کرد، باید با روش‌های دیگه، مثل عوض کردن ورودی و دیدن اثرش، امتحانش کنیم. این روش‌ها رو توی درس بعدی، درون ترنسفورمر، بیشتر می‌بینیم.

سرهای کم‌اثر

اگه این‌همه سر الگوهای ساده دارن، همه‌شون لازمن؟ دو پژوهش ۲۰۱۹ همین رو امتحان کردن. یکی دید توی یه مدل ترجمه، چند سر تخصصی، مثل سرهای جایگاهی، دستوری و کلمه‌های کمیاب، بیشترین کار رو می‌کنن، و بقیه رو می‌شه حذف کرد بی این‌که کیفیت زیاد افت کنه.

دیگری دید توی خیلی از لایه‌ها، می‌شه همه‌ی سرها رو جز یکی برداشت و مدل تقریبا همون‌قدر خوب کار کنه. این به این معنی نیست که چند سر بی‌فایده‌ست؛ موقع آموزش، داشتن سرهای زیاد کمک می‌کنه مدل راه‌های مختلف رو امتحان کنه. ولی بعد از آموزش، خیلی‌هاشون تکراری یا کم‌اثرن. نقشه‌ی گرمایی یکی از راه‌های پیدا کردن همین سرهای تکراریه.

میانگین گرفتن

بعضی ابزارها، برای ساده‌تر کردن، میانگین همه‌ی سرهای یه لایه، یا حتی همه‌ی لایه‌ها رو نشون می‌دن. این کار معمولا تصویر رو گل‌آلود می‌کنه. یه سر که به فاعل نگاه می‌کنه، یه سر که به کلمه‌ی قبلی، و یه سر پهن، وقتی میانگین گرفته بشن، یه نقشه‌ی کم‌رنگ و بی‌شکل می‌دن که هیچ‌کدوم از اون سه کار رو نشون نمی‌ده.

پس اگه دنبال یه الگوی خاص هستید، سرها رو جدا نگاه کنید. میانگین فقط برای یه حس کلی، مثل این‌که «این لایه بیشتر به نزدیک‌ها نگاه می‌کنه یا دورها»، به درد می‌خوره. و اگه می‌خواید جمع‌بندی کنید، پیمودن توجه یا وزن ضرب در مقدار، معمولا از میانگین ساده بهترن.

خودتون بسازید

ساختن یه نقشه‌ی گرمایی از یه مدل باز، کار سختی نیست. یک، یه مدل کوچیک و باز رو بار کنید؛ کتابخونه‌های رایج یادگیری عمیق، یه گزینه دارن که موقع اجرا وزن‌های توجه رو هم برگردونن. دو، جمله‌تون رو به تکه تبدیل کنید و به مدل بدید. سه، از خروجی، وزن‌های توجه رو بردارید؛ معمولا یه فهرست، برای هر لایه یه آرایه با اندازه‌ی تعداد سرها ضرب در طول ضرب در طول.

چهار، یه لایه و یه سر انتخاب کنید و جدولش رو با یه کتابخونه‌ی رسم نمودار، به شکل نقشه‌ی گرمایی بکشید؛ اسم تکه‌ها رو روی دو محور بنویسید. پنج، چند جمله‌ی مختلف امتحان کنید و ببینید الگو ثابت می‌مونه یا نه. یه نکته؛ تکه‌ها لزوما کلمه‌ی کامل نیستن؛ یه کلمه‌ی فارسی ممکنه چند تکه بشه، پس روی محورها ممکنه نصفه کلمه ببینید.

یه سری ابزار آماده هم هست که همه‌ی این‌ها رو با یه خط انجام می‌دن و جدول همه‌ی سرها رو کنار هم نشون می‌دن، ولی ساختنش با دست خودتون یه بار، خیلی بهتر نشون می‌ده این عددها از کجا میان.

متن بلند

برای یه جمله‌ی ده کلمه‌ای، نقشه خواناست. ولی برای یه متن هزار تکه‌ای، جدول یه میلیون خونه داره و روی صفحه هیچی ازش معلوم نیست. چند راه هست. یکی، فقط ردیف یه کلمه‌ی خاص رو نشون بدیم، مثلا کلمه‌ای که مدل داره پیش‌بینی می‌کنه، به شکل پررنگ کردن کلمه‌های خود متن. این راه برای خوندن خیلی راحت‌تره.

یکی دیگه، متن رو به جمله‌ها یا پاراگراف‌ها گروه کنیم و وزن‌ها رو روی هر گروه جمع بزنیم؛ یه جدول کوچیک‌تر که نشون می‌ده هر بخش به کدوم بخش‌ها نگاه کرده. و برای مدل‌هایی که از ترفندهای توجه سریع استفاده می‌کنن، یادتون باشه که اون‌ها جدول کامل رو اصلا نگه نمی‌دارن، پس برای دیدن نقشه باید یه بار اجرای کندتر و معمولی رو روشن کنید.

اشتباه‌های رایج

رایج‌ترین اشتباه اینه که جدول رو ستونی بخونن و فکر کنن ستون پررنگ یعنی مهم‌ترین کلمه‌ی جمله. ستون پررنگ می‌تونه فقط یه لنگر یا یه جداکننده باشه که سرها وزن اضافه‌شون رو اون‌جا می‌ریزن. یکی دیگه اینه که از یه سر تنها، درباره‌ی کل مدل نتیجه بگیرن؛ یه مدل صدها سر داره و هر کدوم کار خودش رو می‌کنه.

سومی اینه که وزن رو با اثر یکی بدونن؛ دیدیم که مقدار هم مهمه. و آخری اینه که نقشه رو توضیح قطعی بدونن؛ «مدل به این کلمه نگاه کرد، پس به خاطر این کلمه این جواب رو داد». نقشه یه سرنخه؛ برای مطمئن شدن، باید ورودی رو عوض کرد و دید جواب عوض می‌شه یا نه.

تمرین

این چهار تا رو اول خودتون جواب بدید. یک، توی یه مدل سازنده، ردیف سوم جدول چند خونه‌ی غیرصفر داره؟ دو، یه ردیف این وزن‌ها رو داره؛ ۰٫۲، ۰٫۳ و یه عدد دیگه؛ عدد سوم چنده؟ سه، مدلی با ۲۴ لایه و ۱۶ سر، برای یه جمله چند نقشه داره؟ چهار، یه سر، توی همه‌ی جمله‌ها، بیشتر وزنش روی تکه‌ی اوله؛ احتمالا چه کاری می‌کنه؟

جواب‌ها. اولی، سه خونه؛ خودش و دو کلمه‌ی قبل. دومی، ۰٫۵، چون جمع هر ردیف یکه. سومی، ۲۴ ضرب در ۱۶، یعنی ۳۸۴ نقشه. چهارمی، احتمالا کار خاصی نمی‌کنه و تکه‌ی اول لنگرشه؛ برای مطمئن شدن، وزن ضرب در مقدار رو نگاه کنید.