آموزشمدل‌های زبانی بزرگ (LLM)

درس ۷۷ از ۸۵، هوش مصنوعی، حدود ۱۲ دقیقه خواندن

مدل وزن‌باز و متن‌باز: فرقشان

جواب کوتاه

وزن‌باز یعنی سازنده فایل وزن‌های آموزش‌دیده‌ی مدل رو منتشر کرده، یعنی همون میلیاردها عددی که مدل یاد گرفته؛ پس می‌شه مدل رو روی کامپیوتر خودتون اجرا یا فاین‌تیون کرد. متن‌باز، طبق تعریف هوش مصنوعی متن‌باز ۱٫۰، یعنی علاوه بر وزن‌ها، کد کامل آموزش و اطلاعات کافی درباره‌ی داده‌ی آموزش هم منتشر شده، طوری که یه آدم ماهر بتونه مدلی تقریبا مثل اون بسازه. مثل فرق غذای آماده با دستور پختشه: با غذای آماده می‌شه خورد و ادویه زد، ولی نمی‌شه فهمید دقیقا چی توشه یا از نو پختش. مدل بسته هم فقط از راه سرویس سازنده‌ش در دسترسه.

یعنی چی

وزن‌باز یعنی غذای آماده رو بهتون دادن. متن‌باز یعنی دستور پخت و فهرست مواد رو هم دادن.

مثلا فرض کنید یه غذای آماده بهتون بدن. می‌تونید بخوریدش، گرمش کنید، یه کم ادویه بهش اضافه کنید. ولی نمی‌دونید دقیقا چی توشه و نمی‌تونید از اول بپزیدش. حالا اگه دستور پخت و فهرست مواد رو هم بدن، هم می‌فهمید توش چیه و هم می‌تونید خودتون از نو بپزید. مدل‌های زبانی هم همین‌طورن: بعضی‌ها فقط غذای آماده رو می‌دن، بعضی‌ها دستور پخت رو هم، و بعضی‌ها هیچ‌کدوم رو؛ فقط می‌شه توی رستوران خودشون غذا خورد.

مدل از چی ساخته شده

برای اینکه بفهمیم چی منتشر می‌شه، اول ببینیم یه مدل از چی ساخته شده.

تعریف هوش مصنوعی متن‌باز ۱٫۰، که نهاد نگه‌دارنده‌ی تعریف نرم‌افزار متن‌باز نوشته، می‌گه یه مدل سه بخش داره. معماری، یعنی شکل شبکه، چند لایه و چه جوری به هم وصلن. وزن‌ها، یعنی همون پارامترهایی که مدل موقع آموزش یاد گرفته و روی معماری می‌شینن تا از ورودی خروجی بسازن. و کد اجرا، برنامه‌ای که با این دو تا جواب می‌سازه. چیزی که همه‌ی هزینه‌ی سنگین آموزش پشتشه، وزن‌هاست.

توی پوشه چیه

وقتی یه مدل وزن‌باز رو دانلود می‌کنید، یه پوشه می‌گیرید با چند فایل. هر کدوم یکی از بخش‌هایی‌ان که بالا دیدیم.

یه فایل تنظیمات کوچیک شکل شبکه رو می‌گه؛ یه فایل دیگه واژه‌نامه و روش توکن کردن رو داره؛ و فایل بزرگ، که می‌تونه چند گیگابایت باشه، خود وزن‌هاست. معمولا یه فایل توضیح هم کنارشه که کارت مدل و مجوز رو داره.

یه نکته‌ی امنیتی هم درباره‌ی فایل وزن‌ها هست: قالب‌های قدیمی‌تر می‌تونن موقع باز شدن کد اجرا کنن، ولی قالب تازه‌تری به اسم safetensors فقط عدد نگه می‌داره. درس اجرای مدل روی کامپیوتر این رو کامل می‌گه؛ فعلا یادتون باشه فایل از منبع ناشناس رو باز نکنید.

سه سطح

حالا سه سطح باز بودن رو کنار هم بذاریم و ببینیم هر کدوم چه کاری رو ممکن می‌کنه.

توی سطح بسته هیچ فایلی منتشر نمی‌شه؛ فقط از راه سرویس سازنده، با اینترنت، ازش سوال می‌پرسید. توی وزن‌باز فایل وزن‌ها و کد اجرا منتشر می‌شه. می‌تونید دانلودش کنید، روی کامپیوتر خودتون اجرا کنید، و فاین‌تیونش کنید. ولی کد آموزش، خود داده‌ی آموزش و جزئیاتش منتشر نمی‌شه. و توی متن‌باز، به‌علاوه‌ی همه‌ی این‌ها، کد کامل آموزش و اطلاعات داده هم منتشر می‌شه.

اطلاعات داده یعنی چی؟ طبق همون تعریف، توضیحی اون‌قدر کامل که یه آدم ماهر بتونه سیستمی تقریبا هم‌ارز بسازه: داده از کجا اومده، چطور جمع و انتخاب و پالایش شده، و فهرست داده‌های عمومی با جای گرفتنشون.

چهار آزادی

چرا این‌قدر سخت‌گیره؟ چون «متن‌باز» از اول یعنی چهار آزادی.

استفاده برای هر کاری بی اجازه گرفتن، مطالعه‌ی اینکه چطور کار می‌کنه، تغییر برای هر کاری، و به اشتراک گذاشتن. همون تعریف می‌گه شرط این آزادی‌ها اینه که «شکل مناسب برای تغییر» دستتون باشه، و برای یه مدل، این یعنی هر سه بخش: داده، کد و وزن‌ها. فقط با وزن‌ها می‌شه استفاده و تغییر داد، ولی مطالعه‌ی واقعی نه. یه نتیجه‌ی ساده هم داره: اگه مجوز یه مدل بگه برای فلان کار نمی‌شه ازش استفاده کرد، طبق این تعریف متن‌باز نیست، حتی اگه وزن‌هاش منتشر شده باشه.

کارت مدل

یه مدل باز فقط فایل نیست؛ باید بدونید برای چی خوبه و برای چی نه. برای همین یه پژوهش ۲۰۱۹ پیشنهاد کرد هر مدل یه «کارت» داشته باشه.

کارت مدل یه سند کوتاهه که کنار مدل منتشر می‌شه و می‌گه مدل برای چه کاری ساخته شده، برای چه کارهایی مناسب نیست، روی چه داده‌ای آموزش دیده و چطور سنجیده شده. نکته‌ی اصلی اون پژوهش این بود که نتیجه‌ی آزمون رو فقط یه عدد کلی نگید، بلکه جدا برای گروه‌ها و شرایط مختلف؛ چون یه مدل ممکنه روی میانگین خوب باشه و روی یه گروه خاص بد. همون حرفی که توی درس آزمون‌های استاندارد زدیم: یه عدد میانگین، ناهمواری رو قایم می‌کنه. پیش از اینکه یه مدل باز رو برای کاری انتخاب کنید، کارتش رو بخونید، مخصوصا بخش «برای چه کاری نه».

وزن‌باز چی می‌ده

برای بیشتر آدم‌ها، وزن‌باز همون چیزیه که لازم دارن. اول، مدل روی کامپیوتر خودتون اجرا می‌شه، پس متن‌هاتون از دستگاهتون بیرون نمی‌ره؛ همون نگرانی که توی درس حریم خصوصی و داده‌ی شما گفتیم. دوم، بی اینترنت هم کار می‌کنه. سوم، می‌تونید با داده‌ی خودتون فاین‌تیونش کنید. و چهارم، برای هر سوال پولی به کسی نمی‌دید؛ هزینه‌تون سخت‌افزار و برقه. درس‌های بعدی همین ایستگاه می‌گن چطور اجراش کنید و چقدر حافظه می‌خواد.

چی نمی‌ده

صفحه‌ی همون نهاد درباره‌ی وزن‌باز دو مرز اصلی می‌شمره. اولیش بازسازیه؛ بی کد آموزش و نقطه‌های میانی آموزش، کسی نمی‌تونه مسیر ساخت رو تکرار کنه و بفهمه یه سوگیری یا خطا از کجا اومده. دومی داده‌ی پنهانه؛ نمی‌دونید مدل از چه متن‌هایی یاد گرفته. یه نتیجه‌ش اینه که بیرونی‌ها نمی‌تونن مستقیم چک کنن سوال‌های یه آزمون توی داده‌ی آموزش بوده یا نه؛ همون آلودگی که درس قبل دیدیم. با این حال، وزن‌باز از مدل کاملا بسته شفاف‌تره؛ دست‌کم عددها جلوی چشمتونه.

جور مجوزها

«وزن‌ها منتشر شده» با «هر کاری می‌تونید بکنید» یکی نیست. اینکه چه کاری مجازه رو مجوز می‌گه.

یه سر طیف، مجوزهای آزاد نرم‌افزاری‌ان که تقریبا هر کاری رو اجازه می‌دن، حتی کار تجاری، و فقط می‌خوان اسم سازنده و متن مجوز بمونه. وسط، مجوزهایی‌ان که بهشون می‌گن «مجوز هوش مصنوعی مسئولانه»: یه فهرست از کارهای ممنوع دارن، و سایتشون می‌گه این شرط‌ها به هر نسخه‌ای که از مدل ساخته بشه هم می‌رسه؛ یعنی اگه مدل رو فاین‌تیون کنید، باز هم همون شرط‌ها سر جاشه. و سر دیگه، مجوزهایی که فقط پژوهش رو اجازه می‌دن، نه کار تجاری.

طبق همون تعریف متن‌باز که بالا دیدیم، هر مجوزی که یه کاری رو ممنوع کنه، متن‌باز نیست؛ هر چقدر هم که هدفش خوب باشه. این قضاوت درباره‌ی خوب یا بد بودن اون مجوزها نیست، فقط یعنی اسمش رو درست بذاریم. و برای شما یه قانون ساده داره: پیش از هر کار تجاری با یه مدل باز، خود متن مجوزش رو بخونید، نه خلاصه‌ی کسی دیگه رو.

چند نکته

  • «باز» رو دقیق بپرسید. وزن‌ها؟ یا داده و کد آموزش هم؟
  • مجوز رو بخونید. ببینید برای کار شما، مثلا کار تجاری، اجازه هست یا نه.
  • برای حریم خصوصی، وزن‌باز کافیه. اجرا روی دستگاه خودتون.
  • برای پژوهش و بازرسی، متن‌باز لازمه.

درس بعد یاد می‌ده یه مدل وزن‌باز رو چطور روی کامپیوتر خودتون، بی اینترنت، اجرا کنید: اجرای مدل زبانی روی کامپیوتر.

جمع‌بندی. آنچه از این درس با خودتان می‌برید.

  • مدل: معماری، وزن‌ها، کد اجرا.
  • وزن‌باز: عددها رو دارید.
  • متن‌باز: داده و کد آموزش هم.
  • وزن‌باز: اجرا و فاین‌تیون روی دستگاه خودتون.
  • پیش از استفاده، مجوز رو بخونید.

خودتون رو بسنجید

۱۵ پرسش، هر بار تازه از میان ۳۰ پرسش این درس. آخرش فقط کارنامه رو می‌بینید: چند تا درست، چند تا نادرست.

خودتون رو بسنجید

۱۵ پرسش

  • هر بار پرسش‌ها و ترتیب گزینه‌ها عوض می‌شه.
  • تا آخر نمی‌گیم کدوم جواب درست بوده؛ می‌تونید برگردید و جوابتون رو عوض کنید.
  • آخرش کارنامه می‌گیرید: چند تا درست، چند تا نادرست.
  • اگه وسطش بستید، دوباره که باز کنید از همون‌جا ادامه می‌دید.

فصل‌های این درس

درس بعد