سرهای پرسش با کلید و مقدار مشترک

یعنی چی

هشت دانشجو با هشت سوال، ولی همه از یه کتاب‌خونه می‌پرسن.

توی درس KV کش دیدیم دفترچه‌ی کلید و مقدار، موقع ساختن متن، بزرگ و کند می‌شه. این دفترچه برای هر سر جدا کلید و مقدار نگه می‌داره. ولی آیا هر سر واقعا به کلید و مقدار جدای خودش نیاز داره؟ این درس می‌گه نه لزوما: سرها می‌تونن سوال‌هاشون جدا باشه، ولی از یه منبع مشترک جواب بگیرن.

سه شکل

فرض کنید هشت سر داریم. توی توجه چندسری معمولی، هر سر پرسش و کلید و مقدار خودش رو داره: هشت کلید و مقدار. توی توجه چندپرسشی، که یه پژوهش ۲۰۱۹ معرفی کرد، هر سر هنوز پرسش خودش رو داره، ولی همه یه کلید و یه مقدار مشترک دارن. توی توجه پرسش گروهی، که یه پژوهش ۲۰۲۳ معرفی کرد، سرها گروه‌گروه می‌شن؛ مثلا دو گروه چهارتایی، و هر گروه یه کلید و مقدار مشترک داره.

چرا جواب می‌ده

یادتون باشه پرسش یعنی «دنبال چی‌ام» و کلید و مقدار یعنی «من چی‌ام و چی می‌دم». فرق نگاه سرها بیشتر از پرسش‌هاشون میاد: هر سر یه سوال دیگه از جمله می‌پرسه. پس اگه همه از یه کلید و مقدار جواب بگیرن، هنوز می‌تونن چیزهای مختلف ببینن. البته کلید و مقدار جدا یه کم آزادی بیشتر می‌ده، برای همین مشترک کردنشون یه کم کیفیت رو پایین میاره. پژوهش ۲۰۱۹ همین رو گزارش کرد: سرعت خیلی بیشتر، با افت کم کیفیت.

کش کوچیک‌تر

حالا حساب کش. با هشت سر، شکل معمولی هشت سهم کلید و مقدار نگه می‌داره. گروهی با دو گروه، دو سهم؛ یعنی چهار برابر کوچیک‌تر. چندپرسشی، یه سهم؛ هشت برابر کوچیک‌تر. برای مدلی با ۹۶ سر، فرق خیلی بزرگ‌تره: اون کش ۹٫۷ گیگابایتی که توی درس قبل حساب کردیم، اگه همه‌ی سرها یه کلید و مقدار مشترک داشتن، می‌شد حدود ۱۰۰ مگابایت. و چون گلوگاه ساختن متن خوندن همین کشه، سرعت هم مستقیم بالا می‌ره.

بین لایه‌ها هم

اگه سرها می‌تونن کلید و مقدار مشترک داشته باشن، لایه‌ها چی؟

یه پژوهش ۲۰۲۴ همین رو امتحان کرد. روی توجه چندپرسشی، که همه‌ی سرهای یه لایه یه کلید و مقدار دارن، یه قدم جلوتر رفت: دو لایه‌ی کنار هم هم یه کلید و مقدار مشترک داشته باشن. لایه‌ی اول کلید و مقدار رو می‌سازه و توی کش می‌ذاره، و لایه‌ی بعدی به جای ساختن، از همون استفاده می‌کنه. این‌طوری کش یه بار دیگه نصف شد، و توی آزمایش‌هاشون روی مدل‌های ۱ و ۳ میلیاردی، دقت تقریبا همون دقت چندپرسشی موند.

معامله

پس سه انتخاب داریم. معمولی: بهترین کیفیت، کندترین ساختن متن. چندپرسشی: سریع‌ترین، با کمی افت کیفیت، و گاهی آموزشش ناپایدارتره. گروهی: وسط این دو. پژوهش ۲۰۲۳ نشون داد توجه پرسش گروهی کیفیتش نزدیک معمولیه و سرعتش نزدیک چندپرسشی؛ برای همین خیلی رایج شد. مثلا یه خانواده‌ی مدل باز ۲۰۲۳ برای بزرگ‌ترین مدلش همین رو انتخاب کرد.

تبدیل مدل آماده

اگه یه مدل با توجه معمولی آموزش دیده باشه چی؟ باید از اول آموزش ببینه؟ پژوهش ۲۰۲۳ یه راه ارزون پیدا کرد: کلید و مقدار سرهای هر گروه رو با هم میانگین می‌گیری تا یه کلید و مقدار مشترک بسازی، و بعد مدل رو یه کم بیشتر آموزش می‌دی؛ حدود ۵٪ حساب آموزش اولیه. نتیجه یه مدل گروهیه که تقریبا به خوبی مدل اصلیه، ولی خیلی سریع‌تر متن می‌سازه.

کش فشرده

یه راه دیگه اینه که به جای کم کردن تعداد کلید و مقدارها، خودشون رو فشرده نگه داریم.

یه پژوهش ۲۰۲۴ برای هر کلمه، به جای کلید و مقدار کامل، فقط یه بردار کوچیک خلاصه توی کش گذاشت؛ هر وقت لازم بود، کلید و مقدار سرها از روی همین خلاصه ساخته می‌شن. یعنی چیزی که توی حافظه می‌مونه خیلی کوچیک‌تره، ولی هر سر هنوز کلید و مقدار خودش رو داره. مدل اونا، در مقایسه با مدل قبلی همون گروه، کش ۹۳٫۳ درصد کوچیک‌تری داشت و تا ۵٫۷۶ برابر بیشتر متن توی همون زمان می‌ساخت. پس سه راه داریم: سرها کش رو شریک بشن، لایه‌ها شریک بشن، یا کش فشرده بشه؛ و می‌شه این‌ها رو با هم هم به کار برد.

چند نکته

• پرسش‌ها همیشه جدا می‌مونن.
• هر چی اشتراک بیشتر، کش کوچیک‌تر و متن سریع‌تر.
• کمی کیفیت، فدای سرعت.
• گروهی، راه وسط و رایج.

این ترفند موقع ساختن متن کمک می‌کرد. ولی خود حساب توجه، به خصوص موقع آموزش و برای متن بلند، چطور سریع‌تر بشه؟ درس بعد: توجه سریع با حساب تکه‌تکه.