آموزشساختن اپ با مدل زبانی

درس ۶ از ۴۸، برنامه‌نویسی و علوم کامپیوتر، حدود ۳۰ دقیقه خواندن

API هوش مصنوعی چیست

جواب کوتاه

API هوش مصنوعی، دریچه‌ایه که برنامه‌ها از راهش با یه مدل حرف می‌زنن: برنامه یه درخواست با شکل ثابت می‌فرسته، و یه جواب با شکل ثابت می‌گیره. توی Ollama، طبق سند رسمی، API محلی روی نشانی localhost و دریچه‌ی ۱۱۴۳۴ و مسیر /api ـه، و برای گفت‌وگو، یه درخواست POST به /api/chat می‌فرستید. بدنه‌ی درخواست، JSON ـه، با دو بخش لازم: اسم مدل، و فهرست پیام‌ها، که هر پیام یه نقش، مثل system، user یا assistant، و یه متن داره. جواب هم JSON ـه، و متن جواب، توی message.content ـه. به‌طور پیش‌فرض، جواب تیکه‌تیکه، یعنی stream، میاد، و با stream برابر false، یه‌جا میاد. API حافظه نداره؛ برای ادامه‌ی گفت‌وگو، کل تاریخچه رو هر بار می‌فرستید. برای API محلی، کلید لازم نیست. و Ollama یه API سازگار با OpenAI هم روی مسیر /v1 داره، که یعنی خیلی از کتابخونه‌ها، با عوض کردن یه نشانی، کار می‌کنن.

گارسون، بین میز و آشپزخونه

توی رستوران، شما مستقیم به آشپزخونه نمی‌رید. سفارشتون رو روی یه برگه‌ی ثابت می‌نویسید، گارسون اون رو به آشپزخونه می‌بره، و یه بشقاب، روی یه سینی، براتون برمی‌گردونه. لازم نیست بدونید آشپزخونه چطور کار می‌کنه؛ فقط باید بدونید سفارش رو چطور بنویسید، و غذا رو از کجای سینی بردارید.

API، همون گارسونه؛ بین برنامه‌ی شما و مدل. توی درس قبل یه مدل مناسب انتخاب کردیم، و تا حالا، فقط از ترمینال باهاش حرف زدیم. امروز، اولین بار، از داخل کد، بهش سوال می‌فرستیم؛ که پایه‌ی هر اپ مدل زبانیه.

API هوش مصنوعی چیست

API، کوتاه‌شده‌ی Application Programming Interface، یعنی رابط برنامه‌نویسی برنامه، یه قرارداده، بین دو برنامه: یکی درخواست می‌فرسته، با یه شکل مشخص؛ و اون یکی، جواب می‌ده، با یه شکل مشخص. API هوش مصنوعی، همین قرارداده، برای حرف زدن با یه مدل.

اگه مسیر هونو یا مسیرهای وب کتابخونه رو رفته باشید، با این ایده آشنایید: یه نشانی، یه درخواست HTTP، یه بدنه‌ی JSON، و یه جواب JSON. API هوش مصنوعی، هیچ فرق خاصی با بقیه‌ی API‌ها نداره؛ فقط آشپزخونه‌ش، به جای یه دیتابیس، یه مدل زبانیه.

یه نکته‌ی دیگه: API، فقط یه قرارداده؛ یعنی آشپزخونه‌ی پشتش، می‌تونه عوض بشه، بی اینکه سفارش دادن شما عوض بشه. امروز، آشپزخونه، یه مدل محلی روی کامپیوتر خودتونه؛ فردا، شاید یه مدل بزرگ‌تر، روی یه سرور دیگه. اگه کدتون رو درست بنویسید، این تغییر، فقط عوض کردن یه نشانی و یه اسم مدله.

چرا از API استفاده می‌کنیم

ترمینال، برای آدم‌هاست؛ API، برای برنامه‌ها. با ترمینال، می‌تونید یه سوال بپرسید و جواب رو ببینید؛ ولی نمی‌تونید جواب رو، خودکار، توی یه صفحه‌ی وب نشون بدید، توی دیتابیس ذخیره کنید، یا به یه تابع دیگه بدید.

با API، مدل، یه تیکه از برنامه‌تون می‌شه؛ مثل هر تابع دیگه. همه‌ی کارهایی که توی درس دوم گفتیم، یعنی پرامپت ثابت، رسوندن زمینه، بررسی جواب و سنجش، همه، از همین راه انجام می‌شن. پس این درس، پایه‌ی همه‌ی ایستگاه‌های بعدیه.

نشانی پایه

طبق صفحه‌ی معرفی API رسمی Ollama، نشانی پایه‌ی API محلی، http://localhost:11434/api ـه. localhost یعنی خود کامپیوتر شما، و ۱۱۴۳۴، همون دریچه‌ایه که توی درس نصب دیدیم. همون صفحه، دو نشانی دیگه هم داره: یکی برای سازگاری با OpenAI، روی http://localhost:11434/v1، که آخر درس می‌بینیمش، و یکی برای کتابخونه‌های Anthropic.

یه نکته از همون سند: درخواست‌های محلی، کلید لازم ندارن. سند، نشانی‌های ابری و کلید رو هم توضیح داده؛ ولی توی این مسیر، همه‌چیز محلیه. پس فقط کافیه Ollama در حال اجرا باشه، و مدلی که می‌خواید، از قبل گرفته شده باشه.

نقطه‌ی گفت‌وگو: /api/chat

هر API، چند نقطه (Endpoint) داره؛ مثل چند در، برای چند کار مختلف. برای گفت‌وگو با مدل، طبق سند رسمی، یه درخواست POST به /api/chat می‌فرستید؛ یعنی نشانی کاملش، http://localhost:11434/api/chat می‌شه.

سند API کامل Ollama، نقطه‌های دیگه‌ای هم داره؛ مثلا یکی برای فهرست مدل‌های محلی، یکی برای گرفتن مدل، و یکی برای ساختن بردار عددی از متن، که توی ایستگاه RAG به کار میاد. ولی امروز، فقط با همین یکی کار داریم؛ چون بیشتر کار یه اپ، از همین در می‌گذره.

بدنه‌ی درخواست

بدنه‌ی درخواست، یه JSON ـه. طبق سند رسمی /api/chat، دو بخش لازم داره: model، یعنی اسم مدل، و messages، یعنی تاریخچه‌ی گفت‌وگو، به شکل یه فهرست از پیام‌ها. بقیه‌ی بخش‌ها، اختیاری‌ان.

ساده‌ترین بدنه، این شکلیه: {"model": "gemma4", "messages": [{"role": "user", "content": "why is the sky blue?"}]}. یعنی به مدل gemma4، یه پیام، از طرف کاربر، با این متن. این، دقیقا مثال خود سند رسمیه.

پیام‌ها

هر پیام، یه شیء JSON با دو بخش اصلیه: role، یعنی نقش، که می‌گه این پیام از طرف کیه؛ و content، یعنی متن پیام. فهرست پیام‌ها، به ترتیب، کل گفت‌وگو رو نشون می‌ده؛ از اولین پیام، تا آخرین سوال.

چرا فهرست، و نه فقط یه سوال؟ چون طبق سند API کامل، همین فهرست، حافظه‌ی گفت‌وگوئه. مدل، هر بار، کل فهرست رو می‌خونه و بر اساس همه‌ش، پیام بعدی رو می‌سازه. این، یه نکته‌ی خیلی مهمه، که چند بخش بعد، دوباره بهش برمی‌گردیم.

نقش‌ها

طبق سند API کامل Ollama، نقش هر پیام، یکی از این چهار تاست:

  • system: دستورهای کلی برنامه‌نویس، درباره‌ی رفتار مدل.
  • user: پیام کاربر.
  • assistant: جواب‌های قبلی مدل.
  • tool: نتیجه‌ی یه ابزار، که توی ایستگاه ایجنت‌ها می‌بینیم.

این چهار نقش، تقریبا توی همه‌ی API‌های مدل‌های زبانی، یه شکل دارن؛ پس اگه یه بار یادشون بگیرید، همه‌جا به کار میان.

پیام سیستمی: شرح وظایف

پیام با نقش system، همون بخش ثابت پرامپته، که توی درس دوم گفتیم مثل شرح وظایف کارمنده. معمولا، اولین پیام فهرسته، و برنامه‌نویس می‌نویسدش، نه کاربر. مثلا: «تو دستیار یه نونوایی هستی؛ فقط درباره‌ی نون‌ها و ساعت کاری جواب بده، کوتاه و فارسی.»

توی درس نصب، با Modelfile، یه پیام سیستمی ثابت روی خود مدل گذاشتیم. اینجا، همون کار رو از داخل کد می‌کنیم؛ که خیلی منعطف‌تره، چون می‌تونید برای هر کاربر، یا هر بخش از اپ، یه پیام سیستمی متفاوت بفرستید. ایستگاه بعدی، نوشتن پیام سیستمی خوب رو کامل یاد می‌ده.

اولین درخواست، با curl

ساده‌ترین راه امتحان، ابزار curl توی ترمیناله، که درخواست HTTP می‌فرسته. سند رسمی /api/chat، دقیقا این مثال رو داره: curl http://localhost:11434/api/chat -d '{"model": "gemma4", "messages": [{"role": "user", "content": "why is the sky blue?"}], "stream": false}'. ما فقط "stream": false رو اضافه کردیم، که پایین‌تر می‌گیم چرا.

اگه Ollama اجرا باشه و gemma4 رو گرفته باشید، بعد از چند لحظه، یه JSON چاپ می‌شه، که جواب مدل توشه. اگه مدل دیگه‌ای انتخاب کردید، فقط اسمش رو، با برچسب کامل، جای gemma4 بذارید.

خوندن جواب

طبق سند رسمی، متن جواب رو، از message.content می‌خونید. یعنی جواب، یه شیء JSON ـه، که یه بخش به اسم message داره، و اون بخش، دو چیز: role، که برابر assistant ـه، و content، که متن جوابه.

این، همون سینی گارسونه: همیشه، غذا رو از همون جای سینی برمی‌دارید. توی کد، یعنی هر بار، بعد از گرفتن جواب، message.content رو برمی‌دارید و به کاربر نشون می‌دید، ذخیره می‌کنید، یا به مرحله‌ی بعد می‌دید.

بقیه‌ی بخش‌های جواب

جواب، به جز message، چند بخش مفید دیگه هم داره. طبق سند رسمی /api/chat: done، که می‌گه جواب تموم شده یا نه؛ done_reason، یعنی دلیل تموم شدن؛ prompt_eval_count، تعداد توکن‌های پرامپت؛ و eval_count، تعداد توکن‌هایی که مدل تولید کرده.

این دو عدد آخر، خیلی به درد می‌خورن: بهتون می‌گن هر درخواست، چند توکن خرج کرده. توی درس دوم گفتیم طول زمینه، هزینه و سرعت، همه با توکن اندازه گرفته می‌شن؛ حالا، برای هر درخواست، عددش رو دارید. یه اپ خوب، این عددها رو نگه می‌داره، تا بدونه کجا خرج زیادی داره.

زمان‌ها، به نانوثانیه

جواب، چند عدد زمان هم داره؛ مثل total_duration، کل زمان، و load_duration، زمانی که صرف بار کردن مدل شده. طبق سند API کامل، همه‌ی زمان‌ها، به نانوثانیه‌ان؛ یعنی یک میلیاردم ثانیه. پس برای تبدیل به ثانیه، بر یه میلیارد تقسیم کنید.

یه نکته‌ی عملی: اگه load_duration بزرگ بود، یعنی مدل، تازه بار شده؛ همون چیزی که توی درس نصب گفتیم اولین جواب رو کند می‌کنه. اگه کوچیک بود، مدل از قبل توی حافظه بوده. این عددها، برای پیدا کردن دلیل کندی، عالی‌ان.

تیکه‌تیکه، یا یه‌جا

طبق سند رسمی، stream به‌طور پیش‌فرض true ـه؛ یعنی جواب، تیکه‌تیکه، به شکل یه سری شیء JSON، پشت سر هم، میاد؛ همون‌طور که توی ترمینال، جواب کلمه به کلمه ظاهر می‌شد. سند API کامل می‌گه شیء آخر این سری، آمارها و اطلاعات اضافه رو داره.

اگه "stream": false بفرستید، طبق همون سند، جواب، یه‌جا، به شکل یه شیء JSON کامل، برمی‌گرده. برای شروع، و برای خیلی از اپ‌ها، این ساده‌تره: یه درخواست، یه جواب، و خوندن message.content. برای همین، توی مثال‌های این مسیر، stream رو false می‌ذاریم.

API، حافظه نداره

یه نکته‌ی خیلی مهم، که خیلی‌ها رو گیج می‌کنه: API، گفت‌وگوی قبلی شما رو یادش نیست. هر درخواست، کاملا جداست. اگه یه بار بپرسید «اسم من مریمه»، و توی درخواست بعدی بپرسید «اسم من چیه؟»، مدل نمی‌دونه؛ چون درخواست دوم، هیچ خبری از اولی نداره.

پس حافظه‌ی گفت‌وگو کجاست؟ دست خود شما. همون‌طور که سند API کامل می‌گه، فهرست messages، حافظه‌ی گفت‌وگوئه. برنامه‌ی شما، باید هر پیام کاربر و هر جواب مدل رو نگه داره، و هر بار، کل فهرست رو دوباره بفرسته.

فرستادن تاریخچه

یعنی برای سوال دوم، فهرست پیام‌ها این شکلی می‌شه: پیام سیستمی، بعد پیام اول کاربر، بعد جواب مدل با نقش assistant، و آخر، پیام دوم کاربر. مدل، کل این فهرست رو می‌خونه، و جواب سوال دوم رو، با در نظر گرفتن همه‌ش، می‌ده.

یه پیامد مهم: هر چی گفت‌وگو طولانی‌تر بشه، فهرست بلندتر می‌شه؛ و هر درخواست، توکن بیشتری خرج می‌کنه. و یه روز، فهرست، از طول زمینه، که توی درس قبل دیدیم، بزرگ‌تر می‌شه. برای همین، اپ‌های واقعی، تاریخچه‌ی قدیمی رو، خلاصه می‌کنن یا کنار می‌ذارن؛ که خودش یه تصمیم مهندسیه.

تنظیم‌ها: options

طبق سند رسمی، توی بدنه، یه بخش اختیاری به اسم options هست، برای تنظیم‌هایی که تولید متن رو کنترل می‌کنن. سند API کامل می‌گه این تنظیم‌ها، همون‌هایی‌ان که توی سند Modelfile فهرست شدن؛ مثل temperature، یعنی دما، که توی درس قبل دیدیم.

یعنی برای یه درخواست، می‌تونید بنویسید "options": {"temperature": 0}، تا جواب‌ها یکنواخت‌تر بشن. اینطوری، برای هر بخش از اپ، می‌تونید تنظیم جدا داشته باشید: برای دسته‌بندی، دمای پایین؛ برای پیشنهاد اسم، دمای بالاتر.

شکل ثابت برای جواب

یه بخش اختیاری دیگه، format ـه. طبق سند رسمی /api/chat، می‌تونه json باشه، یا یه JSON Schema، یعنی یه توصیف دقیق از شکل جوابی که می‌خواید. سند API کامل می‌گه وقتی یه schema می‌دید، مدل، جوابی می‌سازه که با اون schema جور باشه.

این، برای اپ‌ها، خیلی مهمه؛ چون برنامه، متن آزاد رو به سختی می‌فهمه، ولی JSON با شکل ثابت رو، راحت. مثلا برای دسته‌بندی ایمیل، می‌تونید بخواید جواب، همیشه یه JSON با یه بخش category باشه. ایستگاه بعدی، کامل درباره‌ی جواب ساختاریافته‌ست؛ و درس دوم گفت چرا باز هم باید جواب رو بررسی کنید.

یه در دیگه: /api/generate

سند API کامل Ollama، یه نقطه‌ی دیگه هم برای تولید متن داره: POST /api/generate. فرقش با chat اینه که به جای فهرست پیام‌ها، یه prompt تکی می‌گیره؛ یعنی برای کارهای یه‌باره، مثل «این متن رو خلاصه کن»، که گفت‌وگو و تاریخچه لازم ندارن، ساده‌تره.

همون سند می‌گه generate، یه بخش اختیاری system هم داره، که پیام سیستمی تعریف‌شده توی Modelfile رو کنار می‌ذاره. ولی برای بیشتر اپ‌ها، پیشنهاد ما، همون chat ـه؛ چون هم برای کارهای یه‌باره کار می‌کنه، هم برای گفت‌وگو، و هم شکلش، با بیشتر API‌های دیگه یکیه. یه شکل یاد بگیرید، همه‌جا به کار ببرید.

یه هشدار درباره‌ی حالت JSON

سند API کامل، درباره‌ی گذاشتن format روی json، یه هشدار مهم داره: باید توی خود پرامپت هم، به مدل بگید که با JSON جواب بده؛ وگرنه، طبق سند، ممکنه مدل، مقدار زیادی فاصله‌ی خالی تولید کنه. یعنی format، به‌تنهایی، کافی نیست.

این، یه درس کلی‌تر هم داره، که توی درس دوم گفتیم: تنظیم‌های API و دستورهای پرامپت، با هم کار می‌کنن؛ هیچ‌کدوم، جای اون یکی رو نمی‌گیره. و هر جواب JSON ـی که می‌گیرید، پیش از استفاده، باید بررسی بشه که واقعا همون شکلیه که خواستید.

نگه داشتن مدل از راه API

توی درس نصب دیدیم که مدل، به‌طور پیش‌فرض، ۵ دقیقه بعد از آخرین استفاده، توی حافظه می‌مونه. طبق سند API کامل، توی هر درخواست chat، یه بخش اختیاری به اسم keep_alive هست، که همین زمان رو، برای همون درخواست، تعیین می‌کنه؛ پیش‌فرضش، 5m، یعنی ۵ دقیقه.

پرسش‌های رایج رسمی می‌گه می‌شه اون رو یه زمان مثل 10m یا 24h گذاشت، یا 0، که مدل رو بلافاصله بعد از جواب، از حافظه بیرون می‌بره. یه اپ که هر چند ثانیه یه درخواست می‌فرسته، از زمان بیشتر سود می‌بره؛ و یه اسکریپت که روزی یه بار اجرا می‌شه، با 0، حافظه رو زودتر آزاد می‌کنه.

فرستادن تصویر

اگه مدلی انتخاب کردید که برچسب vision داره، طبق سند API کامل، هر پیام، می‌تونه یه بخش اختیاری images هم داشته باشه: فهرستی از تصویرها، برای مدل‌هایی که تصویر می‌فهمن. یعنی همون پیام user، به جای فقط متن، متن و تصویر رو با هم می‌بره.

این، یه نمونه‌ی خوب از قدرت یه API ثابته: برای یه توانایی تازه، شکل کلی عوض نمی‌شه؛ فقط یه بخش به پیام اضافه می‌شه. همین الگو رو، توی ایستگاه ایجنت‌ها، برای ابزارها هم می‌بینیم؛ که با بخش tools به درخواست، و نقش tool به پیام‌ها، اضافه می‌شن.

اسم مدل توی API

طبق سند API کامل، اسم مدل‌ها، شکل model:tag دارن، و اگه برچسب ننویسید، latest در نظر گرفته می‌شه. همون چیزی که توی درس قبل دیدیم. توی API، این مهم‌تر هم هست؛ چون کد شما، ماه‌ها اجرا می‌شه، و latest ممکنه روزی به یه نسخه‌ی دیگه اشاره کنه.

پس توی کد، همیشه اسم کامل، با برچسب، بنویسید؛ مثلا gemma4:e2b، نه فقط gemma4. و بهتر از اون، اسم مدل رو، یه جا، توی تنظیمات برنامه، نگه دارید؛ تا عوض کردنش، فقط یه خط باشه.

فهرست مدل‌ها از راه API

طبق سند API کامل، یه نقطه‌ی دیگه هست، GET /api/tags، که فهرست مدل‌های محلی رو برمی‌گردونه؛ همون کاری که ollama ls توی ترمینال می‌کرد. یه برنامه، می‌تونه با این، پیش از شروع، بررسی کنه که مدل لازم، گرفته شده یا نه.

این، یه نمونه‌ی خوب از یه عادت مهندسیه: برنامه، پیش از اینکه به کاربر بگه آماده‌ست، پیش‌نیازهاش رو بررسی می‌کنه. اگه مدل نبود، یه پیام روشن می‌ده، به جای اینکه وسط کار، با یه خطای گیج‌کننده، از کار بیفته.

خطا هم یه جوابه

همیشه، همه‌چیز درست پیش نمی‌ره: شاید Ollama اجرا نباشه، شاید مدل گرفته نشده باشه، یا شاید سرور شلوغ باشه. طبق راهنمای رسمی کتابخونه‌ی پایتون Ollama، اگه درخواست، یه وضعیت خطا برگردونه، یه خطا از نوع ResponseError پرتاب می‌شه؛ و مثال همون راهنما، اگه کد وضعیت ۴۰۴ بود، یعنی مدل پیدا نشد، مدل رو می‌گیره.

و توی درس نصب دیدیم که طبق پرسش‌های رایج، وقتی سرور شلوغ باشه، با کد ۵۰۳ جواب می‌ده. یه اپ خوب، این خطاها رو می‌گیره و با هر کدوم، کار درست رو می‌کنه: پیام روشن به کاربر، یا یه بار دیگه تلاش، بعد از یه مکث. ایستگاه بعدی، یه درس کامل درباره‌ی خطا و تلاش دوباره داره.

با کتابخونه‌ی رسمی پایتون

نوشتن درخواست HTTP با دست، برای یاد گرفتن خوبه؛ ولی توی اپ واقعی، معمولا از یه کتابخونه استفاده می‌کنید. طبق راهنمای رسمی کتابخونه‌ی پایتون Ollama، با pip install ollama نصبش می‌کنید، و پیش‌نیازش، اینه که Ollama نصب و در حال اجرا باشه، و مدل گرفته شده باشه.

بعد، با تابع chat، و همون دو بخش، model و messages، درخواست می‌فرستید؛ و طبق همون راهنما، جواب رو با response.message.content می‌خونید. دقیقا همون شکل API؛ فقط کتابخونه، کار فرستادن و خوندن JSON رو براتون می‌کنه. اگه مسیر پایتون کتابخونه رو رفتید، این، اولین قدم واقعی‌تونه.

با کتابخونه‌ی رسمی جاوااسکریپت

برای کسایی که با جاوااسکریپت یا تایپ‌اسکریپت کار می‌کنن، Ollama یه کتابخونه‌ی رسمی دیگه هم داره. صفحه‌ی رسمی مدل gemma4، نمونه‌ی همین کتابخونه رو نشون می‌ده: ollama.chat رو، با model و messages، صدا می‌زنید، و جواب رو، از response.message.content می‌خونید.

یعنی چه پایتون، چه جاوااسکریپت، چه curl، شکل کار یکیه: اسم مدل، فهرست پیام‌ها، و خوندن message.content. این، قدرت یه API خوبه: یه بار یادش می‌گیرید، و با هر زبانی، به کار می‌برید.

API سازگار با OpenAI

طبق سند سازگاری رسمی Ollama، Ollama بخشی از API شرکت OpenAI رو هم پشتیبانی می‌کنه؛ روی نشانی http://localhost:11434/v1. چرا مهمه؟ چون خیلی از کتابخونه‌ها و ابزارها، برای API اون شرکت نوشته شدن؛ و با این سازگاری، با عوض کردن فقط نشانی پایه، به مدل محلی شما وصل می‌شن.

یه تفاوت کوچیک: توی این شکل، طبق همون سند، جواب رو از choices[0].message.content می‌خونید، نه مستقیم از message. و یه نکته‌ی جالب: کتابخونه‌ی OpenAI، یه مقدار کلید لازم داره، ولی سند می‌گه Ollama، اون رو نادیده می‌گیره؛ پس یه متن دلخواه، مثل ollama، می‌ذارید.

یه نکته درباره‌ی کلید

برای API محلی، کلید لازم نیست. ولی اگه یه روز، با هر سرویس ابری‌ای کار کردید، یه کلید API می‌گیرید؛ و این کلید، مثل رمز حسابتونه. سند شروع سریع رسمی Ollama، یه قاعده‌ی خوب داره: کلید رو، روی سرور برنامه نگه دارید، بیرون از کد مرورگر، و بیرون از کنترل نسخه، یعنی جایی مثل گیت‌هاب.

یعنی هیچ‌وقت، کلید رو، مستقیم توی کد ننویسید؛ از متغیر محیطی بخونیدش. و هیچ‌وقت، از صفحه‌ای که توی مرورگر کاربر اجرا می‌شه، مستقیم به یه API ابری با کلید وصل نشید؛ چون هر کسی، کلید رو می‌بینه. درخواست، از مرورگر به سرور شما می‌ره، و سرور، با کلید، به مدل.

جواب کوتاه

اگه کسی پرسید «API هوش مصنوعی چیه»:

دریچه‌ای که برنامه‌ها از راهش با مدل حرف می‌زنن. توی Ollama، یه درخواست POST به localhost:11434/api/chat می‌فرستید، با اسم مدل و فهرست پیام‌ها، که هر کدوم یه نقش، مثل system یا user، و یه متن داره؛ و جواب رو از message.content می‌خونید. با stream برابر false، جواب یه‌جا میاد. API حافظه نداره؛ تاریخچه رو هر بار خودتون می‌فرستید.

چند باور رایج

  • «API، گفت‌وگوی قبلی رو یادشه.» نه؛ تاریخچه رو خودتون می‌فرستید.
  • «API محلی، کلید می‌خواد.» طبق سند، نه.
  • «جواب، همیشه یه‌جا میاد.» پیش‌فرض stream؛ با false یه‌جا.
  • «هر کتابخونه، شکل کار متفاوتی داره.» مدل، پیام‌ها، message.content؛ همه‌جا.
  • «کلید رو می‌شه توی کد صفحه گذاشت.» روی سرور، بیرون از کد.

یه مثال

یه برنامه‌نویس، یه دستیار ساده برای سایتش ساخت. اول، هر سوال کاربر رو، تنها، به API می‌فرستاد؛ و کاربرها شکایت کردن که دستیار، چیزی که دو پیام قبل گفتن رو، یادش نمی‌مونه. فهمید که API حافظه نداره، و شروع کرد به نگه داشتن تاریخچه و فرستادن کل فهرست.

چند هفته بعد، گفت‌وگوهای طولانی، کند شدن؛ با نگاه به prompt_eval_count، دید که بعضی درخواست‌ها، هزاران توکن تاریخچه دارن. آخر، فقط ده پیام آخر رو نگه داشت، و یه پیام سیستمی کوتاه و روشن نوشت. دستیار، هم یادش موند، هم سریع شد.

تمرین امروز

امروز، اولین درخواست‌تون رو، از بیرون ترمینال گفت‌وگو، بفرستید.

  1. مطمئن بشید Ollama اجراست و مدلتون گرفته شده.
  2. مثال curl این درس رو، با اسم مدل خودتون، اجرا کنید.
  3. توی جواب، message.content و eval_count رو پیدا کنید.
  4. یه پیام system اضافه کنید و ببینید جواب چطور عوض می‌شه.
  5. یه گفت‌وگوی دوپیامی، با تاریخچه‌ی کامل، بفرستید.

از اینجا، ایستگاه بعدی شروع می‌شه: نوشتن پرامپت درست، از داخل کد.

جمع‌بندی. آنچه از این درس با خودتان می‌برید.

  • API، دریچه‌ی حرف زدن برنامه با مدله؛ درخواست و جواب با شکل ثابت.
  • API محلی Ollama: localhost، دریچه‌ی ۱۱۴۳۴، مسیر /api/chat.
  • درخواست: اسم مدل و فهرست پیام‌ها با نقش و متن.
  • جواب توی message.content؛ پیش‌فرض stream، با false یه‌جا.
  • API حافظه نداره؛ تاریخچه رو خودتون هر بار می‌فرستید.

خودتون رو بسنجید

۱۵ پرسش، هر بار تازه از میان ۳۰ پرسش این درس. آخرش فقط کارنامه رو می‌بینید: چند تا درست، چند تا نادرست.

خودتون رو بسنجید

۱۵ پرسش

  • هر بار پرسش‌ها و ترتیب گزینه‌ها عوض می‌شه.
  • تا آخر نمی‌گیم کدوم جواب درست بوده؛ می‌تونید برگردید و جوابتون رو عوض کنید.
  • آخرش کارنامه می‌گیرید: چند تا درست، چند تا نادرست.
  • اگه وسطش بستید، دوباره که باز کنید از همون‌جا ادامه می‌دید.

فصل‌های این درس