آموزشساختن اپ با مدل زبانی

درس ۴ از ۴۸، برنامه‌نویسی و علوم کامپیوتر، حدود ۳۰ دقیقه خواندن

اجرای مدل باز روی کامپیوتر خودتان

جواب کوتاه

برای اجرای یه مدل زبانی باز روی کامپیوتر خودتون، یه ابزار رایگان و متن‌باز به اسم Ollama هست. روی مک، فایل نصب رو باز می‌کنید و برنامه رو به پوشه‌ی Applications می‌کشید؛ روی ویندوز، برنامه‌ی نصب رو اجرا می‌کنید، که دسترسی مدیر لازم نداره؛ و روی لینوکس، یه دستور نصب رسمی رو توی ترمینال اجرا می‌کنید. بعد، توی ترمینال، با دستور ollama pull و اسم مدل، یه مدل رو می‌گیرید، و با ollama run و همون اسم، باهاش گفت‌وگو می‌کنید. ollama ls مدل‌های گرفته‌شده رو نشون می‌ده، ollama ps مدل‌های در حال اجرا رو، ollama stop یه مدل رو از حافظه بیرون می‌بره، و ollama rm پاکش می‌کنه. همزمان، Ollama یه API روی localhost و دریچه‌ی ۱۱۴۳۴ باز می‌کنه، که اپ‌هاتون ازش استفاده می‌کنن. وقتی محلی اجرا می‌کنید، طبق سند رسمی، پرامپت‌ها و داده‌هاتون دیده نمی‌شن.

به جای رستوران، توی آشپزخونه‌ی خودتون

وقتی از رستوران غذا سفارش می‌دید، سریع و راحته؛ ولی نمی‌دونید دقیقا چی توشه، هر بار پول می‌دید، و آشپز، سفارش شما رو می‌بینه. وقتی توی آشپزخونه‌ی خودتون می‌پزید، کمی کار بیشتر داره؛ ولی مواد دست خودتونه، هزینه‌ی هر وعده تقریبا صفره، و هیچ‌کس نمی‌دونه چی پختید.

اجرای مدل زبانی روی کامپیوتر خودتون، همون آشپزخونه‌ی خونه‌ست. توی درس قبل دیدیم مهندسی هوش مصنوعی چیه؛ امروز، اولین قدم عملی رو برمی‌داریم: یه مدل باز رو، روی کامپیوتر خودتون، نصب و اجرا می‌کنیم. بقیه‌ی این مسیر، روی همین مدل محلی تمرین می‌کنه.

چرا مدل رو محلی اجرا کنیم

سه دلیل اصلی داره. یک، حریم خصوصی: طبق پرسش‌های رایج رسمی Ollama، وقتی محلی اجرا می‌کنید، پرامپت‌ها و داده‌هاتون دیده نمی‌شن. دو، هزینه: هر درخواست، هزینه‌ی مستقیمی نداره؛ پس می‌تونید هزار بار آزمایش کنید، بی نگرانی. سه، استقلال: نه حساب کاربری لازمه، نه کلید، نه اینترنت، بعد از گرفتن مدل.

یه بهای کوچیک هم داره: مدل‌های محلی، به سخت‌افزار شما محدودن؛ پس معمولا کوچیک‌تر و کندتر از بزرگ‌ترین مدل‌های ابری‌ان. ولی برای یاد گرفتن، و برای خیلی از کارهای واقعی، کاملا کافی‌ان. و هر چیزی که با مدل محلی یاد بگیرید، بعدا، با هر مدل دیگه‌ای هم به کار میاد.

Ollama چیه

Ollama، یه ابزار رایگان و متن‌بازه، برای گرفتن و اجرای مدل‌های زبانی باز، روی مک، ویندوز و لینوکس. دو بخش داره: یه برنامه که توی پس‌زمینه اجرا می‌شه و مدل‌ها رو مدیریت می‌کنه، و یه دستور ترمینال به اسم ollama، که باهاش کار می‌کنید.

یه نکته: سند رسمی Ollama، از مدل‌های ابری و ورود به حساب هم حرف می‌زنه؛ ولی این‌ها، اختیاری‌ان. توی این مسیر، فقط از بخش محلی استفاده می‌کنیم؛ نه حساب می‌سازیم، نه کلید می‌گیریم، و نه چیزی به بیرون می‌فرستیم. سند شروع سریع رسمی هم می‌گه برای مدل‌های محلی، مرحله‌ی کلید رو رد کنید.

پیش از نصب، چی لازمه

مهم‌ترین چیز، جای خالی روی دیسکه. سند رسمی مک می‌گه بعد از نصب، برای نگه داشتن مدل‌های زبانی بزرگ، جای اضافه لازم دارید، که می‌تونه از چند ده تا چند صد گیگابایت باشه، بسته به مدل‌هایی که می‌گیرید. پس پیش از شروع، ببینید چقدر جا دارید.

دومین چیز، حافظه و کارت گرافیکه؛ که درس بعدی، کامل درباره‌شه. فعلا همین‌قدر بدونید: مدل‌های کوچیک‌تر، روی کامپیوترهای معمولی هم اجرا می‌شن؛ فقط کندتر. و سومین چیز، یه ترمینال؛ که توی مسیرهای قبلی کتابخونه، باهاش آشنا شدیم.

سه راه نصب، برای سه سیستم

روش نصب، به سیستم‌عامل شما بستگی داره. سه بخش بعد، هر کدوم، یه سیستم رو، دقیقا از روی سند رسمی خودش، نشون می‌دن. فقط بخشی که مال سیستم خودتونه رو بخونید، و بعد، از بخش «بررسی نصب» ادامه بدید.

نصب روی مک

طبق سند رسمی، Ollama روی مک، macOS Sonoma، یعنی نسخه‌ی ۱۴، یا تازه‌تر لازم داره. روی مک‌های با تراشه‌ی سری M اپل، هم از پردازنده و هم از کارت گرافیک استفاده می‌کنه؛ و روی مک‌های اینتل، فقط از پردازنده.

روش پیشنهادی سند: فایل ollama.dmg رو از سایت رسمی بگیرید، بازش کنید، و برنامه‌ی Ollama رو به پوشه‌ی Applications بکشید. وقتی برنامه رو اجرا می‌کنید، خودش بررسی می‌کنه که دستور ollama توی ترمینال در دسترس باشه، و اگه نبود، اجازه می‌خواد که اضافه‌ش کنه.

نصب روی ویندوز

طبق سند رسمی، Ollama روی ویندوز، ویندوز ۱۰ نسخه‌ی 22H2 یا تازه‌تر، Home یا Pro، لازم داره؛ و اگه کارت گرافیک انویدیا دارید، درایور نسخه‌ی 551.61 یا تازه‌تر. ساده‌ترین راه، برنامه‌ی نصب OllamaSetup.exe ـه، که از سایت رسمی می‌گیرید.

دو نکته‌ی خوب از سند: نصب، دسترسی مدیر سیستم لازم نداره، و به‌طور پیش‌فرض، توی پوشه‌ی خونه‌ی کاربر نصب می‌شه؛ و دست‌کم ۴ گیگابایت جا برای خود برنامه لازمه، جدا از مدل‌ها. بعد از نصب، Ollama توی پس‌زمینه اجرا می‌شه، و دستور ollama توی cmd، PowerShell یا هر ترمینال دیگه‌ای در دسترسه.

یه نکته‌ی کوچیک دیگه از سند: Ollama برای نشون دادن پیشرفت، از چند نویسه‌ی خاص استفاده می‌کنه، که توی بعضی فونت‌های قدیمی ترمینال ویندوز ۱۰، به شکل مربع دیده می‌شن. اگه دیدید، فونت ترمینال رو عوض کنید؛ مشکلی توی کار نیست.

نصب روی لینوکس

طبق سند رسمی، روی لینوکس، یه دستور نصب هست، که توی ترمینال اجراش می‌کنید: curl -fsSL https://ollama.com/install.sh | sh. این دستور، اسکریپت نصب رسمی رو می‌گیره و اجراش می‌کنه.

یه عادت امنیتی خوب، که توی مسیر لینوکس کتابخونه هم گفتیم: پیش از اجرای هر اسکریپتی از اینترنت، مطمئن بشید که از نشانی رسمی میاد؛ اینجا، همون ollama.com. سند، یه روش نصب دستی هم داره، برای کسایی که می‌خوان خودشون فایل‌ها رو بذارن؛ و برای به‌روز کردن، همون دستور نصب رو دوباره اجرا می‌کنید.

بررسی نصب

حالا، روی هر سیستمی، یه ترمینال باز کنید و بنویسید ollama -v. اگه نسخه‌ی Ollama چاپ شد، نصب درسته. سند لینوکس، همین دستور رو برای بررسی پیشنهاد می‌ده.

اگه پیام داد که دستور پیدا نشد، چند حالت داره: روی مک، شاید برنامه هنوز یه بار اجرا نشده؛ روی ویندوز، یه ترمینال تازه باز کنید، چون ترمینالی که پیش از نصب باز بوده، مسیرهای تازه رو نمی‌شناسه؛ و روی لینوکس، شاید سرویس هنوز شروع نشده. اگه سرویس اجرا نیست، ollama serve اون رو شروع می‌کنه.

گرفتن اولین مدل

حالا یه مدل بگیرید. توی سند رسمی دستورها، مثال، مدل باز gemma4 ـه؛ پس ما هم همون رو می‌گیریم: ollama pull gemma4. این دستور، فایل‌های مدل رو دانلود می‌کنه و یه نوار پیشرفت نشون می‌ده.

این دانلود، ممکنه با توجه به اندازه‌ی مدل و سرعت اینترنت، کمی طول بکشه. فقط یه بار انجام می‌شه؛ بعد از اون، مدل روی کامپیوترتونه، و برای اجراش، دیگه اینترنت لازم نیست. اگه کامپیوترتون ضعیفه، درس بعدی یاد می‌ده یه مدل کوچیک‌تر انتخاب کنید.

اولین گفت‌وگو

حالا بنویسید ollama run gemma4. بعد از چند لحظه، که مدل توی حافظه بار می‌شه، یه علامت آماده می‌بینید. یه سوال بنویسید، مثلا «یه جمله درباره‌ی آسمون بگو»، و منتظر بمونید. جواب، کلمه به کلمه، ظاهر می‌شه.

تبریک؛ الان یه مدل زبانی، کاملا روی کامپیوتر خودتون، جواب داد. هیچ‌چیزی از کامپیوترتون بیرون نرفت. چند سوال دیگه بپرسید، و به چیزهایی که توی درس قبل یاد گرفتیم دقت کنید: یه سوال رو دو بار بپرسید و ببینید جواب‌ها کمی فرق می‌کنن؛ و یه سوال درباره‌ی یه چیز خیلی تازه بپرسید، و ببینید مدل چه می‌کنه.

نوشتن چند خط

طبق سند رسمی، اگه بخواید یه پیام چندخطی بنویسید، متن رو بین سه علامت نقل‌قول می‌ذارید؛ یعنی اول پیام، سه علامت نقل‌قول می‌نویسید، بعد خط‌هاتون رو، و آخر، دوباره سه علامت نقل‌قول. این، برای چسبوندن یه متن طولانی، مثل یه نامه برای خلاصه کردن، به کار میاد.

و یه کار جالب دیگه، از همون سند: می‌تونید سوال رو، مستقیم، کنار دستور بنویسید؛ مثلا ollama run gemma4 و بعد سوال، توی نقل‌قول. اینطوری، مدل یه جواب می‌ده و دستور تموم می‌شه؛ که برای اسکریپت‌ها، به کار میاد.

دیدن مدل‌های گرفته‌شده

دستور ollama ls فهرست مدل‌هایی رو نشون می‌ده که روی کامپیوترتون گرفتید. مثل نگاه کردن به قفسه‌ی آشپزخونه: ببینید چی دارید، و هر کدوم، چقدر جا گرفته.

این دستور، وقتی چند مدل رو امتحان می‌کنید، خیلی به کار میاد؛ چون مدل‌ها جای زیادی می‌گیرن، و خیلی راحته که چند تا رو بگیرید و یادتون بره. هر چند وقت یه بار، فهرست رو ببینید و مدل‌هایی که لازم ندارید رو پاک کنید.

مدل‌های در حال اجرا

دستور ollama ps مدل‌هایی رو نشون می‌ده که الان توی حافظه بار شدن. فرقش با ls اینه که ls، همه‌ی مدل‌های روی دیسک رو نشون می‌ده، ولی ps، فقط اونایی که الان، آماده‌ی جواب دادن، توی حافظه‌ان.

طبق پرسش‌های رایج رسمی، به‌طور پیش‌فرض، یه مدل، بعد از آخرین استفاده، ۵ دقیقه توی حافظه می‌مونه و بعد خالی می‌شه. این، برای این ـه که اگه چند درخواست پشت سر هم بفرستید، هر بار منتظر بار شدن نمونید.

بیرون بردن یه مدل از حافظه

اگه حافظه‌تون رو برای کار دیگه‌ای لازم دارید، و نمی‌خواید ۵ دقیقه صبر کنید، ollama stop gemma4 همون لحظه، مدل رو از حافظه بیرون می‌بره. مدل، روی دیسک می‌مونه؛ دفعه‌ی بعد که run بزنید، دوباره بار می‌شه.

این، روی کامپیوترهایی که حافظه‌ی کمی دارن، خیلی مهمه؛ چون یه مدل بار‌شده، بخش بزرگی از حافظه رو می‌گیره، و ممکنه بقیه‌ی برنامه‌ها کند بشن. وقتی کار با مدل تموم شد، stop بزنید.

پاک کردن یه مدل

ollama rm gemma4 یه مدل رو از دیسک پاک می‌کنه، و جاش رو آزاد می‌کنه. اگه دوباره لازمش داشتید، باید دوباره pull کنید و دانلودش کنید؛ پس فقط مدل‌هایی رو پاک کنید که مطمئنید فعلا لازم ندارید.

یه خلاصه از پنج دستور اصلی: pull می‌گیره، run اجرا و گفت‌وگو می‌کنه، ls فهرست روی دیسک رو می‌ده، ps فهرست توی حافظه رو، stop از حافظه بیرون می‌بره، و rm از دیسک پاک می‌کنه. با همین شش دستور، تقریبا همه‌ی کار روزانه انجام می‌شه.

مدل کجا اجرا می‌شه: پردازنده یا کارت گرافیک

وقتی ollama ps رو می‌زنید، طبق پرسش‌های رایج رسمی، یه ستون به اسم PROCESSOR می‌بینید، که می‌گه مدل توی کدوم حافظه بار شده. اگه نوشته بود 100% GPU، یعنی مدل کامل روی کارت گرافیکه؛ اگه 100% CPU، یعنی کامل توی حافظه‌ی اصلی سیستمه؛ و اگه دو عدد کنار هم بود، مثلا بخشی CPU و بخشی GPU، یعنی مدل، بین هر دو تقسیم شده.

چرا مهمه؟ چون کارت گرافیک، برای این نوع حساب، معمولا خیلی سریع‌تره. اگه جواب‌ها کندن و این ستون CPU نشون می‌ده، یعنی مدل، توی حافظه‌ی کارت گرافیک جا نشده. درس بعدی، دقیق می‌گه چرا، و چطور یه مدل کوچیک‌تر انتخاب کنید که جا بشه.

زودتر آماده کردن مدل

اولین جواب، همیشه کندتره؛ چون مدل باید از دیسک، توی حافظه بار بشه. طبق پرسش‌های رایج رسمی، اگه می‌خواید پیش از اولین سوال، مدل آماده باشه، می‌تونید دستور run رو با یه متن خالی بزنید؛ اینطوری مدل بار می‌شه، ولی چیزی نمی‌پرسید.

همون سند می‌گه با یه متغیر محیطی به اسم OLLAMA_KEEP_ALIVE، می‌تونید عوض کنید که مدل‌ها، به جای ۵ دقیقه، چقدر توی حافظه بمونن؛ مثلا ده دقیقه یا یه روز. ولی یادتون باشه: هر چی مدل بیشتر توی حافظه بمونه، اون حافظه برای برنامه‌های دیگه کمتره. برای یه کامپیوتر شخصی، همون پیش‌فرض، معمولا خوبه.

ساختن یه نسخه‌ی شخصی از مدل

سند رسمی دستورها، یه کار جالب رو هم نشون می‌ده: ساختن یه نسخه‌ی شخصی از یه مدل، با یه دستور ثابت. یه فایل متنی به اسم Modelfile می‌سازید؛ توش می‌نویسید که از کدوم مدل شروع کنه، و یه پیام سیستمی، که رفتار کلیش رو تعیین می‌کنه. مثال خود سند، مدلیه که همیشه مثل یه گربه‌ی شاد حرف می‌زنه.

بعد، با ollama create -f Modelfile، اون نسخه ساخته می‌شه. این، اولین برخورد ما با پیام سیستمیه؛ همون بخش ثابت پرامپت، که توی درس قبل گفتیم مثل شرح وظایف کارمنده. توی ایستگاه بعدی، همین کار رو، به جای فایل، از داخل کد انجام می‌دیم؛ که انعطاف خیلی بیشتری داره.

یه هشدار درباره‌ی باز کردن در به شبکه

طبق پرسش‌های رایج رسمی، Ollama به‌طور پیش‌فرض، فقط روی 127.0.0.1 و دریچه‌ی ۱۱۴۳۴ گوش می‌ده؛ و می‌شه با متغیری به اسم OLLAMA_HOST، این رو عوض کرد، تا کامپیوترهای دیگه‌ی شبکه هم بهش وصل بشن. سند، این کار رو توضیح می‌ده؛ ولی برای این مسیر، لازمش نداریم.

یه هشدار مهم: توی هیچ‌کدوم از مثال‌های API محلی سند رسمی، کلید یا ورودی نمی‌بینید؛ درخواست، مستقیم به localhost می‌ره. یعنی اگه درش رو به شبکه، یا بدتر، به اینترنت باز کنید، هر کسی که به اون دریچه برسه، می‌تونه درخواست بفرسته، و از مدل و سخت‌افزار شما استفاده کنه. پس تا وقتی دقیق نمی‌دونید چی کار می‌کنید، همون تنظیم پیش‌فرض رو نگه دارید؛ این، همون حصاریه که لازم نیست هیچ کدی براش بنویسید.

وقتی درخواست‌ها زیاد بشن

طبق پرسش‌های رایج رسمی، Ollama درخواست‌هایی که همزمان می‌رسن رو، توی یه صف نگه می‌داره؛ و به‌طور پیش‌فرض، تا ۵۱۲ درخواست رو صف می‌کنه. اگه بیشتر بشه، با یه خطای 503، یعنی سرور شلوغه، جواب می‌ده. همون سند می‌گه به‌طور پیش‌فرض، هر مدل، هر بار یه درخواست رو پردازش می‌کنه.

برای یه آدم که توی ترمینال سوال می‌پرسه، این عددها مهم نیستن؛ ولی وقتی یه اپ می‌سازید که چند کاربر یا چند بخش همزمان ازش سوال می‌پرسن، مهم می‌شن. این، یکی از همون فرق‌های مهندسی با آزمایشه، که توی درس قبل گفتیم؛ و ایستگاه بعدی، وقتی خطا و تلاش دوباره رو یاد می‌ده، دوباره سراغش میاد.

مدل‌ها کجا ذخیره می‌شن

طبق پرسش‌های رایج رسمی، مدل‌ها، روی مک، توی پوشه‌ی ~/.ollama/models ذخیره می‌شن؛ روی لینوکس، با نصب استاندارد، توی /usr/share/ollama/.ollama/models؛ و روی ویندوز، توی پوشه‌ی .ollama\models داخل پوشه‌ی کاربر.

اگه دیسک اصلی‌تون جای کافی نداره، سند می‌گه می‌تونید یه متغیر محیطی به اسم OLLAMA_MODELS بسازید و یه پوشه‌ی دیگه، مثلا روی یه دیسک بزرگ‌تر، بهش بدید. سند ویندوز، مراحل ساختن این متغیر رو، از راه تنظیمات ویندوز، قدم به قدم گفته.

در API: دریچه‌ی ۱۱۴۳۴

یه چیز مهم، که شاید متوجهش نشید: وقتی Ollama اجراست، فقط ترمینال نیست؛ یه API هم باز می‌کنه. طبق سند رسمی ویندوز، API روی http://localhost:11434 در دسترسه؛ و طبق پرسش‌های رایج، Ollama به‌طور پیش‌فرض، فقط روی 127.0.0.1، یعنی خود کامپیوتر شما، گوش می‌ده.

این دریچه، همون چیزیه که اپ‌هاتون، توی درس ششم و بعد، ازش استفاده می‌کنن. ترمینال، برای شما آدم‌هاست؛ API، برای برنامه‌ها. و چون فقط روی کامپیوتر خودتون باز می‌شه، هیچ‌کس از بیرون نمی‌تونه بهش وصل بشه؛ مگر اینکه خودتون، عمدا، تنظیمش رو عوض کنید.

خاموش کردن بخش‌های ابری

اگه می‌خواید مطمئن باشید که Ollama فقط محلی کار می‌کنه، سند رسمی یه راه داره: متغیر محیطی OLLAMA_NO_CLOUD=1 رو بسازید و Ollama رو دوباره اجرا کنید. سند می‌گه با این کار، مدل‌های ابری و جستجوی وب، از دسترس خارج می‌شن، و توی گزارش‌های Ollama، یه خط می‌بینید که می‌گه بخش ابری خاموشه.

برای این مسیر، این کار لازم نیست، چون ما فقط از مدل‌های محلی استفاده می‌کنیم؛ ولی اگه روی داده‌ی حساس کار می‌کنید، یا روی کامپیوتر یه شرکت، این یه حصار ساده و خوبه. همون اصلی که توی درس قبل گفتیم: حصار، توی تنظیم و کد، نه فقط توی قول.

شروع خودکار با روشن شدن کامپیوتر

طبق پرسش‌های رایج رسمی، Ollama روی ویندوز و مک، موقع نصب، خودش رو جزو برنامه‌هایی می‌ذاره که با روشن شدن کامپیوتر شروع می‌شن. اگه نمی‌خواید، روی ویندوز، از بخش برنامه‌های شروع توی Task Manager، و روی مک، از تنظیمات Login Items، خاموشش کنید.

چرا ممکنه بخواید خاموشش کنید؟ چون حتی بی مدل بار‌شده، یه برنامه‌ی دیگه توی پس‌زمینه‌ست. اگه فقط گاهی ازش استفاده می‌کنید، می‌تونید هر وقت لازم شد، دستی اجراش کنید.

به‌روز کردن

طبق پرسش‌های رایج رسمی، Ollama روی مک و ویندوز، خودش به‌روزرسانی‌ها رو دانلود می‌کنه؛ و برای نصبشون، روی آیکون Ollama توی نوار بالای صفحه یا نوار پایین ویندوز می‌زنید و گزینه‌ی راه‌اندازی دوباره برای به‌روزرسانی رو انتخاب می‌کنید. روی لینوکس، همون دستور نصب رو دوباره اجرا می‌کنید.

به‌روز نگه داشتنش، مهمه؛ چون سند ویندوز می‌گه Ollama، مرتب به‌روز می‌شه تا از مدل‌های تازه پشتیبانی کنه. اگه یه مدل تازه رو نتونستید بگیرید یا اجرا کنید، اولین کار، به‌روز کردن Ollama ـه.

اگه خواستید حذفش کنید

روی ویندوز، طبق سند رسمی، از بخش افزودن یا حذف برنامه‌ها توی تنظیمات ویندوز، حذفش می‌کنید. سند یه هشدار هم داره: اگه جای مدل‌ها رو عوض کرده باشید، برنامه‌ی حذف، مدل‌ها رو پاک نمی‌کنه؛ پس خودتون اون پوشه رو پاک کنید.

روی مک و لینوکس، سند رسمی، فهرست دقیق فایل‌ها و پوشه‌هایی رو داره که باید پاک بشن؛ از جمله پوشه‌ی ~/.ollama، که مدل‌ها و تنظیمات توشه. اگه روزی خواستید حذفش کنید، دقیقا از روی همون فهرست برید.

چند مشکل رایج

این‌ها، مشکل‌های رایج اولین اجران:

  • دستور ollama پیدا نشد: یه ترمینال تازه باز کنید، یا برنامه رو یه بار اجرا کنید.
  • دانلود مدل خیلی کنده: صبر کنید؛ فقط یه بار انجام می‌شه.
  • جواب خیلی کند میاد: مدل برای سخت‌افزارتون بزرگه؛ درس بعدی.
  • جای دیسک تموم شد: با ls ببینید و با rm پاک کنید.
  • کامپیوتر کند شد: با stop مدل رو از حافظه بیرون ببرید.

و اگه مشکل دیگه‌ای بود، سند رسمی می‌گه گزارش‌های Ollama کجان؛ مثلا روی مک، توی پوشه‌ی ~/.ollama/logs. خوندن گزارش، اولین قدم هر رفع مشکله.

جواب کوتاه

اگه کسی پرسید «چطور یه مدل زبانی رو روی کامپیوتر خودم اجرا کنم»:

Ollama رو، که رایگان و متن‌بازه، نصب کنید: روی مک، کشیدن به Applications؛ روی ویندوز، برنامه‌ی نصب؛ روی لینوکس، دستور نصب رسمی. بعد، توی ترمینال، ollama pull و اسم مدل، برای گرفتن، و ollama run و اسم مدل، برای گفت‌وگو. همزمان، یه API روی localhost و دریچه‌ی ۱۱۴۳۴ باز می‌شه، برای اپ‌هاتون. و چون محلیه، داده‌تون بیرون نمی‌ره.

چند باور رایج

  • «برای مدل محلی، حساب و کلید لازمه.» برای محلی، نه.
  • «نصب روی ویندوز، دسترسی مدیر می‌خواد.» طبق سند، نه.
  • «بعد از دانلود هم اینترنت لازمه.» مدل روی دیسکه.
  • «stop مدل رو پاک می‌کنه.» فقط از حافظه؛ rm پاک می‌کنه.
  • «API محلی، از بیرون در دسترسه.» پیش‌فرض، فقط خود کامپیوتر.

یه مثال

یه دانشجو، می‌خواست یادداشت‌های درسیش رو، با یه مدل زبانی، خلاصه کنه؛ ولی نمی‌خواست یادداشت‌های شخصیش، جایی بره. Ollama رو روی لپ‌تاپش نصب کرد، یه مدل گرفت، و یادداشت‌ها رو، با سه علامت نقل‌قول، توی گفت‌وگو چسبوند.

اولش، جواب‌ها کند بودن؛ با ps دید که مدل توی حافظه‌ست، و با یه مدل کوچیک‌تر، سرعت بهتر شد. یه بار هم دیسکش پر شد، چون سه مدل مختلف رو امتحان کرده بود؛ با ls دیدشون و دو تا رو با rm پاک کرد. هیچ هزینه‌ای نداد، و هیچ یادداشتی، از لپ‌تاپش بیرون نرفت.

تمرین امروز

امروز، اولین مدل محلی‌تون رو اجرا کنید.

  1. جای خالی دیسکتون رو ببینید.
  2. Ollama رو، از روی بخش سیستم خودتون، نصب کنید.
  3. با ollama -v نصب رو بررسی کنید.
  4. یه مدل بگیرید و باهاش سه سوال بپرسید؛ یکیش رو دو بار.
  5. با ls و ps فرقشون رو ببینید، و آخر، stop بزنید.

درس بعدی، یاد می‌ده چطور مدل مناسب سخت‌افزارتون رو انتخاب کنید.

جمع‌بندی. آنچه از این درس با خودتان می‌برید.

  • Ollama، یه ابزار رایگان برای اجرای مدل باز روی کامپیوتر خودتونه.
  • مک: کشیدن به Applications؛ ویندوز: برنامه‌ی نصب؛ لینوکس: دستور نصب.
  • pull می‌گیره، run گفت‌وگو می‌کنه، ls فهرست می‌ده، rm پاک می‌کنه.
  • API محلی روی localhost و دریچه‌ی ۱۱۴۳۴ باز می‌شه.
  • اجرای محلی، داده رو توی کامپیوتر خودتون نگه می‌داره.

خودتون رو بسنجید

۱۵ پرسش، هر بار تازه از میان ۳۰ پرسش این درس. آخرش فقط کارنامه رو می‌بینید: چند تا درست، چند تا نادرست.

خودتون رو بسنجید

۱۵ پرسش

  • هر بار پرسش‌ها و ترتیب گزینه‌ها عوض می‌شه.
  • تا آخر نمی‌گیم کدوم جواب درست بوده؛ می‌تونید برگردید و جوابتون رو عوض کنید.
  • آخرش کارنامه می‌گیرید: چند تا درست، چند تا نادرست.
  • اگه وسطش بستید، دوباره که باز کنید از همون‌جا ادامه می‌دید.

فصل‌های این درس

درس بعد