مدل زبانی و زبان فارسی

یعنی چی

مدل از روی متن‌های اینترنت یاد گرفته، و فارسی سهم کمی از اون متن‌هاست.

مثلا فرض کنید یه بچه توی خونه‌ای بزرگ بشه که همه انگلیسی حرف می‌زنن و فقط گاهی یکی فارسی می‌گه. فارسی یاد می‌گیره، ولی نه به خوبی انگلیسی. مدل‌های زبانی هم همین‌طورن. توی این درس سه دلیلش رو می‌بینیم، یه آزمون فارسی واقعی، و اینکه برای کار فارسی چی کار کنیم. اگه نسخه‌ی ساده‌ترش رو می‌خواید، درس هوش مصنوعی و زبان فارسی توی مسیر پایه هست.

سهم فارسی

توی درس داده‌ی آموزش از کجا میاد دیدیم که بخش بزرگی از داده‌ی آموزش، صفحه‌های وبه. حالا ببینیم فارسی چقدر از اون صفحه‌هاست.

بزرگ‌ترین بایگانی عمومی صفحه‌های وب، که هر چند وقت یه بار میلیاردها صفحه جمع می‌کنه، آمار زبان‌ها رو هم منتشر می‌کنه. توی آخرین برداشتش، شهریور ۱۴۰۵، زبان اصلی حدود ۴۲ درصد صفحه‌ها انگلیسی بود و ۰٫۶۹ درصد فارسی؛ حدود ۱۵ میلیون صفحه. عدد کمی نیست، ولی حدود ۶۰ برابر کمتر از انگلیسیه. یعنی مدل برای هر چیزی که به فارسی می‌خونه، ده‌ها برابر بیشترش رو به انگلیسی خونده.

توکن بیشتر

دلیل دوم رو توی درس چرا فارسی توکن بیشتری می‌خواد دیدیم: واژه‌نامه‌ی مدل بیشتر از روی متن‌های انگلیسی ساخته شده، پس کلمه‌های فارسی بیشتر تکه‌تکه می‌شن. نتیجه‌ش سه تاست: همون متن فارسی جای بیشتری از پنجره‌ی زمینه می‌گیره، پولش توی سرویس‌های آنلاین بیشتر می‌شه، و جوابش دیرتر میاد، چون توکن‌های بیشتری باید یکی‌یکی ساخته بشن.

حرف‌های هم‌شکل

یه دام دیگه هم مخصوص خط فارسیه، که اگه بدونید جلوی خیلی از اشتباه‌ها رو می‌گیره.

توی جدول جهانی نویسه‌ها، یونیکد، «ی» و «ک» فارسی با «ي» و «ك» عربی دو نویسه‌ی جدان، با شماره‌های جدا، با اینکه به چشم تقریبا یکی‌ان. یه متن فارسی ممکنه با حرف‌های عربی تایپ شده باشه، مثلا با یه صفحه‌کلید عربی، و ظاهرش هیچ فرقی نکنه. برای مدل و برای هر جست‌وجویی، «کتاب» با ک عربی و «کتاب» با ک فارسی دو کلمه‌ی متفاوتن، و توکن‌ساز هم ممکنه جور دیگه‌ای تکه‌شون کنه. نیم‌فاصله هم همین‌طوره: توی «می‌شه»، بین «می» و «شه» یه نویسه‌ی نامرئی هست، که اگه جاش فاصله‌ی معمولی یا هیچی باشه، باز یه شکل دیگه از همون کلمه درست می‌شه.

پس اگه برای RAG سندهای فارسی جمع می‌کنید، یا داده‌ی فاین‌تیون فارسی می‌سازید، اول همه‌ی «ي» و «ك»ها رو به «ی» و «ک» فارسی تبدیل کنید و نیم‌فاصله‌ها رو یکدست کنید. یه کار کوچیکه، ولی سوال و سند رو به هم نزدیک می‌کنه.

فاصله با انگلیسی

راهنمای Claude یه جدول داره: همون آزمون دانشی که توی درس آزمون‌های استاندارد دیدیم، با مترجم‌های حرفه‌ای به ۱۴ زبان ترجمه شده و نمره‌ی هر زبان نسبت به انگلیسی گزارش شده.

فارسی توی این جدول نیست، پس عددی براش نمی‌گیم. ولی الگو روشنه: زبان‌های پرمنبع مثل اسپانیایی نزدیک ۹۸ درصد انگلیسی‌ان، و هر چی زبان کم‌منبع‌تر باشه، فاصله بیشتر می‌شه؛ یوروبا با مدل بزرگ‌تر ۷۹٫۷ و با مدل کوچیک‌تر ۵۲٫۷. یه الگوی دیگه هم هست: مدل کوچیک‌تر توی زبان‌های کم‌منبع خیلی بیشتر عقب می‌افته. پس برای فارسی، که سهمش از داده کمه، اندازه‌ی مدل مهم‌تر از انگلیسیه.

یه آزمون فارسی

دلیل سوم اینه که آزمون فارسی کمتری هست. یه گروه پژوهشی در ۲۰۲۴ برای همین «آزمون خیام» رو ساخت: ۲۰٬۱۹۲ سوال چهارگزینه‌ای از ۳۸ کار، از آزمون‌های فارسی مدرسه، از دبستان تا دبیرستان. ترجمه نیست، خود فارسیه؛ درصد جواب درست آدم‌ها رو هم داره؛ و برای دوری از آلودگی، از داده‌ی تازه ساخته شده.

نتیجه با مدل‌های اوایل ۲۰۲۴: بهترین مدل اون زمان به‌طور میانگین حدود ۳۵ درصد از آدم‌ها عقب بود، و توی ریاضی حدود ۵۰ درصد. مدل‌ها توی ریاضی و علوم طبیعی ضعیف‌تر از علوم انسانی و اجتماعی بودن. یه نکته‌ی جالب هم داشت: یه مدل ۷ میلیاردی که مخصوص فارسی و انگلیسی روی ۲ میلیارد توکن فارسی آموزش دیده بود، از یه مدل چندزبانه‌ی ۳٫۷ میلیاردی ضعیف‌تر بود. یعنی «مخصوص فارسی» خودبه‌خود به معنی بهتر نیست. از اون موقع مدل‌های تازه‌تری اومدن، ولی درس اصلی همون می‌مونه: توی فارسی باید جداگونه سنجید.

اول ترجمه، بعد جواب

یه پژوهش ۲۰۲۳ یه ترفند ساده رو آزمایش کرد که برای فارسی هم جالبه: به‌جای اینکه مدل مستقیم به سوال غیرانگلیسی جواب بده، اول خودش اون رو به انگلیسی ترجمه کنه، بعد جواب بده.

روی مدل‌های باز اون موقع و توی پنج کار مختلف، این روش همیشه از جواب مستقیم بهتر بود؛ بی هیچ مترجم بیرونی، فقط با خود همون مدل. پژوهشگرها نتیجه گرفتن مدل‌ها وقتی به زبانی غیر از انگلیسی ازشون سوال می‌شه، از همه‌ی توانشون استفاده نمی‌کنن. با اون همه داده‌ی انگلیسی که دیدیم، تعجبی هم نداره.

برای شما یعنی یه آزمایش ساده: اگه جواب فارسی یه مسئله‌ی سخت ضعیفه، یه بار ازش بخواید اول سوال رو برای خودش به انگلیسی بنویسه، روش فکر کنه، و جواب آخر رو به فارسی بده؛ و هر دو جواب رو بسنجید. این پژوهش روی مدل‌های ۲۰۲۳ بود؛ مدل‌های تازه‌تر ممکنه فرق کنن، پس ببینید برای کار شما کدوم بهتره.

برای کار فارسی

1. روی نمونه‌های فارسی خودتون بسنجید. همون روش درس مدل زبانی رو چطور بسنجیم، به فارسی.
2. نمره‌ی انگلیسی رو ملاک نکنید. فاصله برای هر زبان فرق داره.
3. عدد و حساب رو دوباره چک کنید. ریاضی جایی بود که فاصله بیشتر بود.
4. اگه مدل کوچیکه، با دقت بیشتری بسنجید. مدل کوچیک‌تر توی زبان کم‌منبع بیشتر عقب می‌افته.

چند نکته

• فارسی بلده، ولی نه مثل انگلیسی.
• متن فارسی، توکن بیشتر. هم جا، هم پول، هم زمان.
• «مخصوص فارسی» رو هم بسنجید. خودبه‌خود بهتر نیست.
• آزمون فارسی خودتون، بهترین آزمون.

درس بعد، آخرین درس این مسیره و همه‌ی راه رو توی یه نگاه جمع می‌کنه: حالا مدل‌های زبانی رو می‌شناسید.