آموزشساختن اپ با مدل زبانی

درس ۵ از ۴۸، برنامه‌نویسی و علوم کامپیوتر، حدود ۳۰ دقیقه خواندن

انتخاب مدل مناسب

جواب کوتاه

برای انتخاب یه مدل باز، سه چیز رو کنار هم می‌ذارید: سخت‌افزار، کار، و اندازه‌ی مدل. مدل باید توی حافظه جا بشه؛ بهترین حالت، طبق سند رسمی Ollama، اینه که کامل توی حافظه‌ی کارت گرافیک جا بشه و چیزی به پردازنده نره، که با ستون PROCESSOR دستور ollama ps می‌بینیدش. یه خانواده‌ی مدل، معمولا چند اندازه داره؛ مثلا توی صفحه‌ی رسمی gemma4، کوچیک‌ترین نسخه حدود ۴.۶ تا ۷.۵ گیگابایته و بزرگ‌ترین حدود ۱۹ تا ۲۰ گیگابایت. کوانتیزه کردن، یعنی ذخیره‌ی عددهای مدل با دقت کمتر، مدل رو کوچیک‌تر می‌کنه؛ و طول زمینه‌ی بزرگ‌تر، حافظه‌ی بیشتری می‌خواد. روش: با کوچیک‌ترین مدلی شروع کنید که کار رو درست انجام می‌ده، با چند سوال واقعی بسنجیدش، و فقط اگه کافی نبود، بزرگ‌ترش کنید.

انتخاب ماشین، برای پارکینگ و جاده‌ای که دارید

وقتی ماشین می‌خرید، بزرگ‌ترین و قوی‌ترین ماشین، همیشه بهترین انتخاب نیست. اول باید توی پارکینگتون جا بشه؛ بعد باید به جاده‌ای که هر روز می‌رید بخوره؛ و آخر، خرج نگه‌داریش رو بتونید بدید. یه ماشین کوچیک شهری، برای رفت‌وآمد روزانه، از یه کامیون خیلی بهتره.

انتخاب مدل زبانی هم، همینه. توی درس قبل، Ollama رو نصب کردیم و یه مدل گرفتیم. ولی کدوم مدل؟ و کدوم اندازه؟ این درس، یه روش ساده یاد می‌ده، که با اون، مدلی رو پیدا کنید که توی کامپیوترتون جا بشه، به کارتون بخوره، و سریع جواب بده.

سه سوال، پیش از انتخاب

پیش از انتخاب هر مدلی، سه سوال بپرسید:

  1. سخت‌افزار: کامپیوترم چقدر حافظه داره، و کارت گرافیکم چیه؟
  2. کار: این مدل قراره چی کار کنه؟ گفت‌وگو، خلاصه، کد، تصویر؟
  3. اندازه: کوچیک‌ترین مدلی که این کار رو، به اندازه‌ی کافی خوب، انجام می‌ده، کدومه؟

بقیه‌ی این درس، هر کدوم از این سه سوال رو، باز می‌کنه.

اندازه‌ی مدل: پارامترها

همون‌طور که توی مسیر ریاضی برای هوش مصنوعی دیدیم، یه مدل، در اصل، یه عالمه عدده، که بهشون وزن یا پارامتر (Parameter) می‌گن. هر چی پارامترها بیشتر باشن، مدل، معمولا چیزهای بیشتری بلده و جواب‌های بهتری می‌ده؛ ولی حافظه‌ی بیشتری هم می‌خواد، و کندتره.

برای همین، اندازه‌ی مدل‌ها رو، معمولا با تعداد پارامترهاشون می‌گن، با یه حرف b، از کلمه‌ی Billion، یعنی میلیارد. مثلا یه مدل 12b، یعنی حدود دوازده میلیارد پارامتر. وقتی این حرف رو توی اسم یه مدل می‌بینید، بدونید که داره اندازه‌ش رو می‌گه.

یه خانواده، چند اندازه

بیشتر مدل‌های باز، توی یه خانواده، با چند اندازه منتشر می‌شن. مثلا صفحه‌ی رسمی gemma4 روی سایت Ollama، این اندازه‌ها رو نشون می‌ده: e2b، e4b، 12b، 26b و 31b. همون صفحه، برای هر کدوم، یه اندازه‌ی تقریبی روی دیسک و حافظه هم نوشته:

  • e2b: حدود ۴.۶ تا ۷.۵ گیگابایت.
  • e4b: حدود ۶.۶ تا ۹.۵ گیگابایت.
  • 12b: حدود ۷.۷ تا ۸ گیگابایت.
  • 26b: حدود ۱۶ تا ۱۹ گیگابایت.
  • 31b: حدود ۱۹ تا ۲۰ گیگابایت.

یه نکته: این عددها، از همون صفحه‌ی رسمی، در روزی که ما خوندیمش، اومده؛ و ممکنه با نسخه‌های تازه عوض بشن. همیشه، پیش از گرفتن یه مدل، صفحه‌ی خودش رو ببینید.

اسم و برچسب مدل

اسم یه مدل توی Ollama، دو بخش داره، که با دونقطه از هم جدا می‌شن: اسم خانواده، و یه برچسب (Tag). مثلا gemma4:e2b، یعنی خانواده‌ی gemma4، اندازه‌ی e2b. اگه برچسب ننویسید، مثل gemma4 خالی، Ollama برچسب پیش‌فرض، یعنی latest، رو می‌گیره.

طبق صفحه‌ی برچسب‌های رسمی gemma4، برچسب latest، همون e4b ـه. یعنی وقتی توی درس قبل نوشتیم ollama pull gemma4، در واقع، نسخه‌ی e4b رو گرفتیم. این، یه نکته‌ی مهمه: همیشه بدونید دقیقا کدوم نسخه رو دارید؛ و توی کد، اسم کامل، با برچسب، بنویسید، تا با عوض شدن latest، اپتون بی‌خبر عوض نشه.

خوندن صفحه‌ی یه مدل

صفحه‌ی هر مدل، روی سایت Ollama، چند چیز مفید داره. اول، یه توضیح کوتاه، که می‌گه مدل برای چه کارهایی ساخته شده. دوم، برچسب‌های توانایی؛ مثلا روی صفحه‌ی gemma4، برچسب‌هایی مثل vision، یعنی دیدن تصویر، tools، یعنی کار با ابزار، و thinking، یعنی فکر کردن پیش از جواب.

سوم، فهرست نسخه‌ها، با اندازه، طول زمینه، و نوع ورودی؛ مثلا متن، یا متن و تصویر. و چهارم، نمونه‌کد، برای ترمینال، curl، پایتون و جاوااسکریپت. پیش از انتخاب، این صفحه رو کامل بخونید؛ بیشتر سوال‌هاتون، همون‌جا جواب داره.

مهم‌ترین محدودیت: حافظه

یه مدل، برای کار کردن، باید کامل توی حافظه بار بشه. دو جور حافظه داریم: حافظه‌ی اصلی سیستم، یعنی RAM، و حافظه‌ی کارت گرافیک، یعنی VRAM، کوتاه‌شده‌ی Video RAM. کارت گرافیک، برای حساب‌های مدل، معمولا خیلی سریع‌تره؛ ولی حافظه‌ش، معمولا کمتره.

پس اولین سوال، اینه که کارت گرافیکتون چقدر حافظه داره. اگه مدل، کامل توی VRAM جا بشه، سریع‌ترین حالته. اگه جا نشه، بخشیش توی RAM می‌ره و با پردازنده حساب می‌شه، که کندتره. و اگه کارت گرافیک ندارید، همه‌چیز با پردازنده‌ست؛ که کار می‌کنه، فقط کندتر.

کدوم کارت گرافیک‌ها

طبق سند سخت‌افزار رسمی Ollama، از کارت‌های انویدیا با توانایی محاسباتی (Compute Capability) ۵ یا بالاتر، و درایور نسخه‌ی ۵۵۰ یا تازه‌تر، پشتیبانی می‌شه. سند، یه جدول بلند از کارت‌ها داره، که می‌تونید کارت خودتون رو توش پیدا کنید.

همون سند می‌گه کارت‌های AMD Radeon، از راه کتابخونه‌ای به اسم ROCm، و بعضی کارت‌های دیگه، از راه Vulkan، پشتیبانی می‌شن؛ و روی دستگاه‌های اپل، از راه Metal. اگه کارتتون توی فهرست نیست، نگران نباشید؛ Ollama با پردازنده هم کار می‌کنه.

یه نکته درباره‌ی مک

طبق سند رسمی مک، روی مک‌های با تراشه‌ی سری M اپل، Ollama هم از پردازنده و هم از کارت گرافیک استفاده می‌کنه؛ ولی روی مک‌های اینتل، فقط از پردازنده.

روی مک‌های سری M، حافظه‌ی سیستم و کارت گرافیک، از یه حافظه‌ی مشترک استفاده می‌کنن؛ یعنی حافظه‌ی کل مک، جای مدل رو تعیین می‌کنه. ولی یادتون باشه: سیستم‌عامل و برنامه‌های دیگه‌تون هم، از همین حافظه استفاده می‌کنن؛ پس همه‌ش برای مدل نیست.

بررسی کنید مدل کجا بار شده

بهترین راه فهمیدن اینکه یه مدل، روی سخت‌افزارتون چطور اجرا می‌شه، امتحان کردنه. مدل رو اجرا کنید، یه سوال بپرسید، و توی یه ترمینال دیگه، ollama ps بزنید. طبق پرسش‌های رایج رسمی، ستون PROCESSOR، می‌گه مدل کجا بار شده: 100% GPU، یعنی کامل روی کارت گرافیک؛ 100% CPU، یعنی کامل توی حافظه‌ی سیستم؛ و دو عدد کنار هم، یعنی تقسیم بین هر دو.

سند طول زمینه می‌گه برای بهترین کارایی، از بار شدن مدل روی پردازنده دوری کنید، و تقسیم رو، با همین ستون، بررسی کنید. پس قاعده‌ی ساده: اگه ستون، کامل GPU بود، مدل برای سخت‌افزارتون مناسبه؛ اگه تقسیم شده بود، یه نسخه‌ی کوچیک‌تر رو هم امتحان کنید و سرعتشون رو مقایسه کنید.

کوانتیزه کردن: فشرده‌تر کردن مدل

یه راه کوچیک‌تر کردن مدل، بی کم کردن پارامترها، اینه که هر عدد، با دقت کمتری ذخیره بشه. به این کار، کوانتیزه کردن (Quantization) می‌گن. مثل اینکه به جای نوشتن ۳.۱۴۱۵۹۲۶، بنویسید ۳.۱۴؛ جای کمتری می‌گیره، و بیشتر وقت‌ها، به اندازه‌ی کافی دقیقه.

صفحه‌ی برچسب‌های رسمی gemma4، این رو خیلی خوب نشون می‌ده: همون نسخه‌ی e2b، با سه دقت مختلف، سه اندازه‌ی متفاوت داره. نسخه‌ی q4_K_M، که عددها رو با حدود ۴ بیت نگه می‌داره، حدود ۴.۶ گیگابایته؛ نسخه‌ی q8_0، با ۸ بیت، حدود ۶ گیگابایت؛ و نسخه‌ی bf16، با ۱۶ بیت، حدود ۱۰ گیگابایت.

کوانتیزه کردن، کیفیت رو کم می‌کنه؟

کمی، آره. هر چی دقت کمتر، مدل کوچیک‌تر و معمولا سریع‌تر، ولی جواب‌ها ممکنه کمی ضعیف‌تر بشن. پرسش‌های رایج رسمی Ollama، درباره‌ی یه بخش دیگه از حافظه، که پایین‌تر می‌بینیمش، می‌گه ۸ بیت، معمولا تاثیر محسوسی روی کیفیت نداره، ولی ۴ بیت، ممکنه افت بیشتری داشته باشه؛ و میزان این تاثیر، به مدل و کار بستگی داره.

پس دوباره، جواب، سنجشه. یه انتخاب رایج اینه که یه مدل بزرگ‌تر با دقت کمتر، گاهی از یه مدل کوچیک‌تر با دقت کامل، بهتر کار کنه؛ ولی این، برای هر کار، فرق می‌کنه. تنها راه دونستن، امتحان کردن هر دو، روی سوال‌های واقعی خودتونه.

طول زمینه، دوباره

توی درس دوم گفتیم طول زمینه، بیشترین تعداد توکنیه که مدل، توی حافظه، بهش دسترسی داره. حالا ببینیم توی انتخاب مدل، چه نقشی داره. هر مدل، یه بیشترین طول زمینه داره؛ مثلا روی صفحه‌ی رسمی gemma4، نسخه‌های کوچیک، ۱۲۸ هزار توکن، و نسخه‌های بزرگ‌تر، ۲۵۶ هزار توکن.

ولی این، فقط بیشترین مقدار ممکنه؛ Ollama، به‌طور پیش‌فرض، از همه‌ش استفاده نمی‌کنه، چون حافظه‌ی زیادی می‌خواد. بخش بعدی، می‌گه پیش‌فرض‌ها چی‌ان.

طول زمینه‌ی پیش‌فرض Ollama

طبق سند طول زمینه‌ی رسمی Ollama، طول زمینه‌ی پیش‌فرض، بسته به حافظه‌ی کارت گرافیک، این‌طوریه:

  • کمتر از ۲۴ گیگابایت VRAM: ۴ هزار توکن.
  • بین ۲۴ تا ۴۸ گیگابایت: ۳۲ هزار توکن.
  • ۴۸ گیگابایت یا بیشتر: ۲۵۶ هزار توکن.

همون سند می‌گه کارهایی که زمینه‌ی بزرگ لازم دارن، مثل جستجوی وب، ایجنت‌ها و ابزارهای برنامه‌نویسی، باید دست‌کم روی ۶۴ هزار توکن تنظیم بشن. یعنی روی یه کامپیوتر معمولی، با پیش‌فرض ۴ هزار توکن، برای این کارها، باید خودتون عددش رو بالا ببرید.

زمینه‌ی بزرگ‌تر، حافظه‌ی بیشتر

سند رسمی، صاف می‌گه: تنظیم طول زمینه‌ی بزرگ‌تر، حافظه‌ی لازم برای اجرای مدل رو بیشتر می‌کنه؛ پس مطمئن بشید VRAM کافی دارید. یعنی یه مدل که با ۴ هزار توکن، کامل توی کارت گرافیکتون جا می‌شه، ممکنه با ۶۴ هزار توکن، دیگه جا نشه و بخشیش به پردازنده بره.

برای عوض کردنش، سند چند راه داره: یه لغزنده توی تنظیمات برنامه‌ی Ollama، یا یه متغیر محیطی به اسم OLLAMA_CONTEXT_LENGTH، موقع شروع سرور. و توی خروجی ollama ps، یه ستون CONTEXT هم هست، که طول زمینه‌ی واقعی بار‌شده رو نشون می‌ده. پس هر بار که عوض کردید، با ps بررسی کنید که مدل هنوز کامل روی GPU ـه.

درخواست‌های همزمان هم حافظه می‌خوان

طبق پرسش‌های رایج رسمی، اگه بخواید یه مدل، چند درخواست رو همزمان پردازش کنه، حافظه‌ی لازم، به نسبت تعداد درخواست‌های همزمان، بیشتر می‌شه. مثال خود سند: یه زمینه‌ی ۲ هزار توکنی، با ۴ درخواست همزمان، مثل یه زمینه‌ی ۸ هزار توکنی، حافظه می‌گیره.

برای یه کامپیوتر شخصی، که فقط شما ازش سوال می‌پرسید، این مهم نیست؛ پیش‌فرض، طبق همون سند، یه درخواست در یک زمانه. ولی وقتی یه اپ برای چند کاربر می‌سازید، یادتون باشه که حافظه، فقط برای خود مدل نیست؛ برای هر گفت‌وگوی همزمان هم، جای جدا لازمه.

یه ترفند برای حافظه‌ی زمینه

پرسش‌های رایج رسمی، یه ترفند پیشرفته‌تر هم داره: بخشی از حافظه که برای نگه داشتن زمینه استفاده می‌شه، که بهش حافظه‌ی K/V می‌گن، رو هم می‌شه کوانتیزه کرد. طبق سند، پیش‌فرضش f16 ـه؛ q8_0 حدود نصف اون حافظه رو می‌گیره، با افت دقت خیلی کم، که معمولا اثر محسوسی نداره؛ و q4_0 حدود یک چهارم، با افت کم تا متوسط، که توی زمینه‌های بزرگ‌تر، ممکنه بیشتر دیده بشه.

این تنظیم، با متغیر OLLAMA_KV_CACHE_TYPE انجام می‌شه، و سند می‌گه فعلا برای همه‌ی مدل‌ها یکیه. برای شروع، لازمش ندارید؛ ولی وقتی یه روز خواستید زمینه‌ی خیلی بزرگ رو، روی یه کارت کوچیک، جا بدید، بدونید که وجود داره.

کار، مدل رو تعیین می‌کنه

سوال دوم، کاره. یه گفت‌وگوی ساده یا خلاصه کردن یه متن کوتاه، معمولا با یه مدل کوچیک، خوب انجام می‌شه. ولی کارهای سخت‌تر، مثل استدلال چندمرحله‌ای، نوشتن کد پیچیده، یا کار با ابزارها، معمولا مدل بزرگ‌تری لازم دارن.

و یه چیز دیگه، زبانه. همه‌ی مدل‌ها، همه‌ی زبان‌ها رو یکسان خوب بلد نیستن. اگه اپتون فارسیه، حتما مدل‌ها رو با متن‌های فارسی واقعی خودتون امتحان کنید؛ چون یه مدل که توی انگلیسی عالیه، ممکنه توی فارسی، خیلی ضعیف‌تر باشه.

توانایی‌های لازم

گاهی، کارتون یه توانایی خاص لازم داره، که فقط بعضی مدل‌ها دارن. مثلا اگه می‌خواید مدل، تصویر ببینه، باید مدلی بگیرید که برچسب vision داره، و ورودیش، متن و تصویره. اگه می‌خواید با ابزار کار کنه، که توی ایستگاه ایجنت‌ها می‌بینیم، باید برچسب tools داشته باشه.

این برچسب‌ها، روی صفحه‌ی هر مدل، بالای صفحه، نوشته شدن. پیش از انتخاب، اول ببینید کارتون چه توانایی‌هایی لازم داره؛ بعد، فقط بین مدل‌هایی بگردید که اون توانایی‌ها رو دارن. اینطوری، فهرست انتخاب، خیلی کوتاه‌تر می‌شه.

دما: خلاق یا یکنواخت

وقتی مدل رو انتخاب کردید، چند تنظیم هم هست که رفتارش رو عوض می‌کنه. مهم‌ترینش، دما (Temperature) ـه. طبق سند رسمی Modelfile، بالاتر بردن دما، جواب‌ها رو خلاقانه‌تر می‌کنه؛ و پیش‌فرضش، ۰.۸ ـه.

برای کارهایی که یه جواب درست دارن، مثل استخراج اطلاعات یا دسته‌بندی، معمولا دمای پایین‌تر بهتره؛ چون جواب‌ها یکنواخت‌تر می‌شن. برای کارهای خلاق، مثل نوشتن داستان، دمای بالاتر. این، همون تنظیمیه که توی درس دوم گفتیم تصادفی بودن رو کنترل می‌کنه؛ و ایستگاه بعدی، کامل یادش می‌ده.

عدد شروع: جواب تکرارپذیر

یه تنظیم دیگه، که برای تست خیلی به کار میاد، عدد شروع (Seed) ـه. طبق سند رسمی Modelfile، اگه این رو روی یه عدد مشخص تنظیم کنید، مدل، برای یه پرامپت یکسان، همون متن رو تولید می‌کنه.

این، برای پیدا کردن و درست کردن مشکل‌ها عالیه؛ چون می‌تونید یه رفتار بد رو، دقیقا تکرار کنید. ولی یادتون باشه: توی اجرای واقعی اپ، معمولا عدد شروع ثابت نمی‌ذارید؛ و تست‌هاتون هم باید روی چند اجرا، با عددهای مختلف، سنجیده بشن، نه فقط یکی.

یه روش ساده برای انتخاب

حالا همه‌چیز رو کنار هم بذاریم. این روش، تقریبا برای هر انتخابی کار می‌کنه:

  1. کارتون و توانایی‌های لازمش رو بنویسید.
  2. حافظه‌ی کارت گرافیک یا سیستمتون رو بدونید.
  3. از صفحه‌ی مدل‌ها، دو یا سه مدل که توانایی لازم رو دارن، پیدا کنید.
  4. از هر کدوم، کوچیک‌ترین نسخه رو بگیرید.
  5. با چند سوال واقعی، امتحانشون کنید و با ps ببینید کجا بار شدن.
  6. اگه هیچ‌کدوم کافی نبود، یه نسخه‌ی بزرگ‌تر رو امتحان کنید.

قاعده‌ی کلی: از کوچیک‌ترین مدلی که کار رو درست انجام می‌ده، شروع کنید؛ نه از بزرگ‌ترین مدلی که جا می‌شه.

سنجیدن با سوال‌های واقعی

برای مقایسه‌ی مدل‌ها، به جای سوال‌های تصادفی، یه فهرست ثابت ده‌تایی از سوال‌های واقعی کارتون بنویسید؛ مثلا ده سوال که واقعا مشتری‌هاتون می‌پرسن، با جواب خوب هر کدوم. بعد، هر مدل رو، روی همین ده سوال، اجرا کنید، و جواب‌ها رو کنار هم بذارید.

این، اولین قدم سنجش (Evaluation) ـه، که توی درس دوم گفتیم مهم‌ترین تفاوت اپ حرفه‌ای با آزمایش آماتوریه. اینجا، هنوز با چشم مقایسه می‌کنید؛ ولی ایستگاه نهم، یاد می‌ده چطور همین کار رو، خودکار و با عدد، انجام بدید.

یه نکته درباره‌ی مجوز

مدل‌های باز، همه یه جور «باز» نیستن. هر مدل، یه مجوز (License) داره، که می‌گه چطور می‌تونید ازش استفاده کنید؛ بعضی‌ها تقریبا هر استفاده‌ای رو اجازه می‌دن، و بعضی‌ها، شرط‌هایی دارن، مثلا برای استفاده‌ی تجاری.

برای یاد گرفتن و آزمایش شخصی، معمولا مشکلی نیست. ولی پیش از اینکه یه مدل رو توی یه محصول واقعی، که بهش پول می‌گیرید، به کار ببرید، مجوزش رو، از صفحه‌ی خود مدل یا سازنده‌ش، بخونید. این هم، بخشی از مهندسیه.

اگه هیچ مدل محلی‌ای کافی نبود

گاهی، کاری که دارید، از توان سخت‌افزارتون بیشتره؛ مثلا یه مدل خیلی بزرگ لازم داره، که روی هیچ کامپیوتر شخصی‌ای جا نمی‌شه. اون موقع، سه راه دارید: کار رو ساده‌تر کنید و به چند تیکه‌ی کوچیک‌تر بشکنید؛ زمینه رو کوتاه‌تر کنید، با رسوندن فقط اطلاعات لازم؛ یا از یه مدل ابری استفاده کنید.

اگه سراغ مدل ابری رفتید، همه‌ی چیزهایی که توی درس دوم گفتیم، یعنی هزینه، حریم خصوصی و زمان جواب، مهم می‌شن. و خبر خوب: هر چی توی این مسیر، با مدل محلی یاد بگیرید، با مدل‌های ابری هم کار می‌کنه؛ چون همون‌طور که درس بعد می‌بینیم، شکل API‌هاشون، خیلی به هم نزدیکه.

دیسک هم حساب کنید

حافظه، فقط یه طرف ماجراست؛ هر مدلی که می‌گیرید، روی دیسک هم جا می‌گیره. اگه روش این درس رو برید و سه یا چهار مدل رو امتحان کنید، با عددهایی که از صفحه‌ی gemma4 دیدیم، راحت ده‌ها گیگابایت پر می‌شه. سند رسمی مک هم گفته مدل‌ها، روی هم، می‌تونن از چند ده تا چند صد گیگابایت جا بگیرن.

پس یه عادت ساده: بعد از هر مقایسه، با ollama ls ببینید چی دارید، و مدل‌هایی که انتخاب نکردید رو، با ollama rm پاک کنید. اگه بعدا لازم شدن، دوباره می‌گیریدشون. دیسک پر، کل کامپیوتر رو کند می‌کنه، نه فقط Ollama رو.

انتخابتون رو بنویسید

وقتی یه مدل رو انتخاب کردید، چند خط درباره‌ی انتخابتون بنویسید: اسم کامل مدل با برچسب، طول زمینه‌ای که تنظیم کردید، دما، نتیجه‌ی ده سوال آزمون، و اینکه ps چی نشون داد. این یادداشت، شاید الان زیادی به نظر بیاد؛ ولی چند ماه بعد، وقتی یه نسخه‌ی تازه از مدل اومد، یا یه نفر دیگه پرسید چرا این مدل، طلاست.

این، همون فرق مهندسی با حدس زدنه، که توی درس دوم گفتیم. هر تصمیم، با دلیل و عدد، نوشته می‌شه؛ و هر وقت خواستید عوضش کنید، می‌دونید که مدل تازه رو، با همون ده سوال، می‌سنجید و با عدد قبلی مقایسه می‌کنید.

جواب کوتاه

اگه کسی پرسید «کدوم مدل رو انتخاب کنم»:

اول ببینید کارتون چیه و چه توانایی‌ای لازم داره، و کامپیوترتون چقدر حافظه داره. بعد، از کوچیک‌ترین مدلی شروع کنید که اون توانایی‌ها رو داره، و با ollama ps ببینید کامل روی کارت گرافیک بار شده یا نه. کوانتیزه کردن مدل رو کوچیک‌تر می‌کنه، و زمینه‌ی بزرگ‌تر حافظه‌ی بیشتر می‌خواد. با ده سوال واقعی بسنجید، و فقط اگه کافی نبود، بزرگ‌ترش کنید.

چند باور رایج

  • «بزرگ‌ترین مدل، همیشه بهترینه.» کوچیک‌ترین مدل کافی.
  • «بی کارت گرافیک، نمی‌شه.» با پردازنده هم، فقط کندتر.
  • «gemma4 خالی، یعنی بزرگ‌ترین نسخه.» طبق صفحه‌ی رسمی، latest همون e4b ـه.
  • «طول زمینه رو تا ته بالا ببرید.» حافظه‌ی بیشتر می‌خواد.
  • «مدلی که توی انگلیسی خوبه، توی فارسی هم خوبه.» با متن فارسی خودتون بسنجید.

یه مثال

یه برنامه‌نویس، می‌خواست یه دستیار بسازه که ایمیل‌های فارسی شرکت رو، به سه دسته تقسیم کنه. اول، بزرگ‌ترین مدلی که فکر می‌کرد جا می‌شه رو گرفت؛ ولی جواب‌ها خیلی کند بودن، و ps نشون داد که مدل بین کارت گرافیک و پردازنده تقسیم شده.

بعد، روش این درس رو رفت: ده ایمیل واقعی، با دسته‌ی درستشون، نوشت؛ و سه نسخه‌ی کوچیک‌تر رو، روی همین ده تا، امتحان کرد. یه نسخه‌ی کوچیک، نه از ده تا رو درست دسته‌بندی کرد، کامل روی کارت گرافیک بار شد، و چند برابر سریع‌تر بود. دمای پایین هم گذاشت، تا جواب‌ها یکنواخت بشن.

تمرین امروز

امروز، مدل مناسب کامپیوتر خودتون رو پیدا کنید.

  1. حافظه‌ی کارت گرافیک یا سیستمتون رو پیدا کنید.
  2. صفحه‌ی یه مدل رو روی سایت Ollama کامل بخونید.
  3. دو اندازه از یه خانواده رو بگیرید.
  4. ده سوال واقعی بنویسید و هر دو رو باهاشون امتحان کنید.
  5. با ps ببینید هر کدوم کجا بار شده، و یکی رو انتخاب کنید.

درس بعدی، اولین بار، از داخل کد، به همین مدل سوال می‌فرسته.

جمع‌بندی. آنچه از این درس با خودتان می‌برید.

  • مدل باید توی حافظه جا بشه؛ بهتر از همه، کامل توی حافظه‌ی کارت گرافیک.
  • ستون PROCESSOR در ollama ps می‌گه مدل کجا بار شده.
  • هر خانواده چند اندازه داره؛ بزرگ‌تر، معمولا بهتر ولی سنگین‌تر.
  • کوانتیزه کردن کوچیک‌تر می‌کنه؛ زمینه‌ی بزرگ‌تر حافظه‌ی بیشتر می‌خواد.
  • از کوچیک‌ترین مدل کافی شروع کنید و با سوال واقعی بسنجید.

خودتون رو بسنجید

۱۵ پرسش، هر بار تازه از میان ۳۰ پرسش این درس. آخرش فقط کارنامه رو می‌بینید: چند تا درست، چند تا نادرست.

خودتون رو بسنجید

۱۵ پرسش

  • هر بار پرسش‌ها و ترتیب گزینه‌ها عوض می‌شه.
  • تا آخر نمی‌گیم کدوم جواب درست بوده؛ می‌تونید برگردید و جوابتون رو عوض کنید.
  • آخرش کارنامه می‌گیرید: چند تا درست، چند تا نادرست.
  • اگه وسطش بستید، دوباره که باز کنید از همون‌جا ادامه می‌دید.

فصل‌های این درس

درس بعد