مدل‌های چندحالته: متن، تصویر، صدا

یعنی چی

مدل فقط توکن می‌فهمه. پس عکس رو هم توکن می‌کنن.

تا اینجا هر چی دیدیم درباره‌ی متن بود: متن به توکن تبدیل می‌شه، هر توکن به یه بردار، و مدل از روی این بردارها تکه‌ی بعد رو می‌سازه. ولی امروز می‌شه از یه دستیار عکس یه فاکتور رو پرسید، یا یه نمودار رو بهش نشون داد. به مدلی که به‌جز متن، چیز دیگه‌ای مثل عکس یا صدا هم می‌گیره، می‌گن چندحالته. «حالت» یعنی جور ورودی: متن یه حالته، عکس یه حالت دیگه، صدا یکی دیگه.

سوال اینه: مدلی که برای کلمه ساخته شده، چطور عکس رو می‌خونه؟ جوابش ساده‌تر از اونیه که فکر می‌کنید.

عکس هم توکنه

عکس رو مثل یه کاشی‌کاری به مربع‌های کوچیک می‌برن، و با هر مربع مثل یه توکن رفتار می‌کنن.

راهنمای Claude می‌گه Claude عکس رو به‌صورت تکه می‌بینه، نه پیکسل به پیکسل؛ هر تکه یه مربع ۲۸ در ۲۸ پیکسله که بهش «توکن تصویری» می‌گن. این توکن‌ها هم مثل توکن‌های متن به بردار تبدیل می‌شن و کنار توکن‌های سوال شما توی یه پرامپت می‌شینن. از این به بعد برای مدل، یه عکس و یه جمله دیگه فرق اساسی ندارن: هر دو یه دنباله‌ی توکنن.

یه پژوهش ۲۰۲۰ با اسم «یه تصویر ارزش ۱۶ در ۱۶ کلمه رو داره» نشون داد یه مدل از همون نوعی که برای متن ساخته شده بود، اگه مستقیم روی دنباله‌ی تکه‌های یه عکس کار کنه، عکس‌ها رو خیلی خوب دسته‌بندی می‌کنه.

عکس و متن

خب، مدل از کجا می‌فهمه این مربع‌ها یعنی «نون»؟ یه راه اصلیش اینه که عکس و حرف رو با هم ببینه.

یه پژوهش ۲۰۲۱ یه کار خیلی ساده کرد: ۴۰۰ میلیون جفت عکس و توضیحش رو از اینترنت جمع کرد و به مدل یاد داد حدس بزنه کدوم توضیح مال کدوم عکسه. همین کار ساده باعث شد مدل یاد بگیره عکس‌ها و کلمه‌ها رو توی یه فضای مشترک بذاره؛ طوری که بعدا بشه با زبان معمولی به چیزی که توی عکس هست اشاره کرد، حتی برای کاری که مدل جدا براش آموزش ندیده. همون فکر شباهت معنایی، ولی بین عکس و کلمه.

صدا رو درس بعد، گفتگوی صوتی، باز می‌کنه.

پل بین چشم و زبان

حالا یه مدل که عکس و کلمه رو کنار هم می‌شناسه داریم، و یه مدل زبانی که خوب حرف می‌زنه. چطور این دو رو به هم وصل کنیم؟

یه پژوهش ۲۰۲۳ یه راه ساده نشون داد که خیلی رایج شد. بخش «چشم» همون مدل ۲۰۲۱ هست که عکس رو به بردار تبدیل می‌کنه. بین چشم و مدل زبانی یه «پل» کوچیک می‌ذارن، یه لایه‌ی ساده که بردارهای عکس رو هم‌شکل بردارهای کلمه‌ها می‌کنه؛ اون‌وقت مدل زبانی تکه‌های عکس رو مثل چند کلمه‌ی تازه می‌خونه. بعد کل این سیستم رو با دستورهای نمونه آموزش دادن، که این بار عکس هم داشتن، مثل «توی این عکس چه اتفاقی افتاده؟» با یه جواب خوب.

جالبیش اینه که این دستورهای نمونه رو آدم ننوشته بود؛ یه مدل زبانی قوی که فقط متن می‌فهمید، از روی توضیح متنی هر عکس، سوال و جواب ساخته بود. نتیجه روی یه مجموعه‌ی ساختگی از همین دستورها، ۸۵٫۱ درصد امتیاز همون مدل قوی بود، و روی یه آزمون سوال‌های علمی عکس‌دار، با کمک اون مدل، ۹۲٫۵ درصد درستی گرفت.

هر عکس چند توکن

چون هر مربع یه توکنه، حساب هزینه‌ی یه عکس ساده‌ست: عرض رو تقسیم بر ۲۸ کن، ارتفاع رو هم تقسیم بر ۲۸ کن، و این دو رو در هم ضرب کن.

یه عکس ۲۰۰ در ۲۰۰ فقط ۶۴ توکنه؛ ولی یه عکس ۱۰۰۰ در ۱۰۰۰، ۱۲۹۶ توکن. یعنی یه عکس بزرگ می‌تونه به‌اندازه‌ی یه متن بلند جا بگیره، هم از پنجره‌ی زمینه، هم از هزینه. راهنمای Claude می‌گه عکس‌های خیلی بزرگ پیش از خونده شدن کوچیک می‌شن تا از یه سقف بیشتر نشن؛ و همین کوچیک شدن ممکنه نوشته‌های ریز رو ناخوانا کنه.

PDF چطور خونده می‌شه

یه PDF، مثل یه فاکتور یا یه گزارش، هم متن داره هم شکل: جدول، نمودار، امضا. مدل کدوم رو می‌خونه؟

راهنمای Claude می‌گه هر دو. هر صفحه‌ی PDF به یه عکس تبدیل می‌شه، و متن همون صفحه هم جدا بیرون کشیده می‌شه و کنار عکسش قرار می‌گیره؛ پس Claude هم نوشته‌ها رو می‌خونه، هم جدول و نمودار و شکل رو می‌بینه. هزینه‌ش هم دو تیکه‌ست: متن هر صفحه معمولا بین ۱۵۰۰ تا ۳۰۰۰ توکنه، بسته به اینکه صفحه چقدر پره، و عکس صفحه هم مثل هر عکس دیگه حساب می‌شه. برای همین یه PDF بلند و پر از جدول می‌تونه زودتر از اونی که فکر می‌کنید زمینه رو پر کنه؛ راهنما پیشنهاد می‌کنه سندهای بزرگ رو تیکه‌تیکه بدید.

کجا اشتباه می‌کنه

راهنمای Claude چهار محدودیت رو صاف می‌گه. Claude اسم آدم‌های توی عکس رو نمی‌گه. روی عکس بی‌کیفیت، چرخیده، یا خیلی کوچیک، یعنی زیر ۲۰۰ پیکسل، ممکنه اشتباه کنه یا توهم کنه. وقتی جای دقیق یه چیز رو توی عکس می‌گه، تقریبیه. و شمردن هم تقریبیه، مخصوصا وقتی چیزهای کوچیک زیادی توی عکس هست. یعنی اگه بپرسید «توی این قفسه چند تا نون هست؟»، جواب رو مثل یه حدس خوب ببینید، نه یه شمارش دقیق.

عکس خوب بدید

از همین‌ها چند تا کار ساده درمیاد که راهنمای Claude هم می‌گه. عکس رو واضح بدید، نه تار. اگه عکس متن مهمی داره، مطمئن بشید خوانا و درشته، ولی بخش‌های مهم عکس رو هم برای درشت‌تر کردن متن نبرید. عکس رو خیلی فشرده نکنید، چون ممکنه نوشته‌ها رو خراب کنه. و عکس رو پیش از سوالتون بذارید؛ همون‌طور که توی درس مهندسی پرامپت دیدیم سند بلند بالا و سوال پایین بهتر کار می‌کنه، Claude هم وقتی عکس پیش از متن میاد، بهتر کار می‌کنه.

ساختن عکس

تا اینجا مدل عکس رو می‌خوند. ولی خیلی از ابزارها عکس هم می‌سازن؛ معمولا با یه روش دیگه به اسم مدل انتشار، به انگلیسی Diffusion Model.

فکرش از عقب به جلوئه. اول، موقع آموزش، به هزاران عکس قدم به قدم نویز اضافه می‌کنن، مثل برفک تلویزیون، تا آخرش فقط نویز بمونه؛ و به یه مدل یاد می‌دن هر قدم رو برعکس کنه، یعنی از یه عکس نویزدار، یه کم نویز برداره. ویکی‌پدیا می‌گه روش معروفش سال ۲۰۲۰ مطرح شد. برای ساختن عکس تازه، از نویز خالص شروع می‌کنن و این نویزگیری رو بارها تکرار می‌کنن تا یه عکس تمیز دربیاد. برای اینکه عکس همون چیزی باشه که نوشتید، مدل نویزگیر رو به یه بخش متن‌خون وصل می‌کنن تا هر قدم، به سمت متن شما بره.

پس خوندن عکس و ساختن عکس دو کار جدان، با دو جور مدل؛ یه چت‌بات که عکس می‌سازه، معمولا متن شما رو به یه مدل عکس‌ساز می‌ده. و همون‌طور که مدل زبانی ممکنه توهم کنه، عکس‌ساز هم ممکنه چیزی بکشه که با متن شما یا با دنیای واقعی جور نیست؛ پس عکس ساخته‌شده رو هم مثل یه جواب بسنجید.

چند نکته

• عکس هم توکنه. مربع به مربع.
• عکس بزرگ، توکن زیاد. اگه لازم نیست، کوچیکش کنید.
• واضح و پیش از سوال. متن ریز رو خوانا نگه دارید.
• شمردن و جای دقیق، تقریبی. چیز مهم رو بسنجید.

درس بعد سراغ صدا می‌ره: گفتگوی صوتی با مدل.