فاین‌تیون، RAG یا پرامپت: کدام

سه دکمه

سه تا دکمه دارید: حرفتون رو بهتر بزنید، یه یادداشت بذارید جلوی مدل، یا مغزش رو یه کم عوض کنید. اول همیشه اولی.

پرامپت: فقط متنی که به مدل می‌دید عوض می‌شه؛ نقش، دستور، مثال، قالب. RAG، یا «تولید همراه با بازیابی»: موقع پرسیدن، متن‌های مرتبط از سندهای شما پیدا می‌شن و همراه سوال می‌رن توی پنجره‌ی زمینه. فاین‌تیون: خود پارامترهای مدل با داده‌ی شما عوض می‌شن.

فرقشون کجاست؟ دو تای اول به مدل دست نمی‌زنن؛ فقط چیزی که جلوش می‌ذارید رو عوض می‌کنن. سومی خود مدل رو عوض می‌کنه. برای همین دو تای اول ارزون‌تر و سریع‌ترن و هر وقت خواستید عوضشون می‌کنید؛ سومی آموزش می‌خواد.

اول معیار

قبل از اینکه بپرسید «کدوم؟»، یه سوال مهم‌تر هست: «از کجا بفهمم بهتر شد؟». مستندات Claude می‌گه پیش از هر کاری سه چیز لازمه: یه معیار روشن برای موفقیت، یه راه برای آزمودن جواب‌ها در برابر اون معیار، و یه پیش‌نویس اولیه.

مثلا «جواب‌ها خوب باشن» معیار نیست؛ «از ۲۰ سوال نمونه‌ی مشتری‌ها، حداقل ۱۸ تا جواب درست و زیر سه جمله بگیرن» معیاره. بی معیار، نمی‌دونید کدوم دکمه کمک کرد. این عددها مثاله؛ معیار رو هر کسی برای کار خودش می‌نویسه.

اول پرامپت

پرامپت هیچ آموزشی نمی‌خواد، فوری امتحان می‌شه، و هر وقت خواستید عوضش می‌کنید. توی درس مدل پایه دیدیم یه مدل بزرگ فقط با چند مثال توی پرامپت کارهای زیادی رو خوب انجام داد. خیلی وقت‌ها مشکل این نیست که مدل بلد نیست؛ اینه که نمی‌دونه شما دقیقا چی می‌خواید.

ولی مستندات Claude یه هشدار هم داره: هر معیاری با پرامپت بهتر نمی‌شه. مثلا اگه مشکل سرعت یا هزینه‌ست، گاهی راحت‌ترین راه انتخاب یه مدل دیگه‌ست، نه پرامپت بهتر.

برای دانش: RAG

اگه مدل باید چیزی رو بدونه که توی داده‌ی آموزشش نبوده، مثل قیمت‌های امروز شما یا دستورالعمل‌های داخلی شرکتتون، چی؟

اینجا RAG بهترین گزینه‌ست. پژوهش ۲۰۲۰ که RAG رو معرفی کرد، گفت مدل‌ها دانش رو توی پارامترهاشون نگه می‌دارن، ولی دسترسی دقیق به اون، گفتن منبع، و به‌روز کردنش سخته؛ و ترکیب با یه حافظه‌ی بیرونی این رو بهتر می‌کنه. یادتونه از درس تاریخ برش دانش که مدل از چیزهای تازه خبر نداره؟ RAG همون یادداشت تازه رو می‌ذاره روی میز.

یه پژوهش ۲۰۲۳ هم مستقیم این دو تا رو مقایسه کرد: برای اضافه کردن دانش، RAG همیشه از فاین‌تیون بهتر بود، هم برای دانشی که مدل قبلا دیده بود، هم برای دانش کاملا تازه. و دید مدل‌ها با فاین‌تیون سخت دانش تازه یاد می‌گیرن، مگه اینکه هر واقعیت رو به چند شکل مختلف ببینن. ایستگاه RAG این روش رو کامل باز می‌کنه.

برای سبک: فاین‌تیون

پس فاین‌تیون کی به کار میاد؟ وقتی چیزی که می‌خواید، دانش نیست، رفتاره: یه سبک نوشتن خاص، یه قالب ثابت، یه لحن یکدست، یا یه کار تکراری که پرامپت هر بار درست درنمیاره.

مستندات Claude هم فاین‌تیون رو برای تطبیق با یه حوزه، یه کار یا یه سبک نوشتن مفید می‌دونه. پژوهش ۲۰۲۳ که توی درس تنظیم با دستور دیدیم، نشون داد قالب جواب از چند نمونه یاد گرفته می‌شه، ولی دانش بیشترش از پیش‌آموزشه. یعنی فاین‌تیون بیشتر «چطور گفتن» رو یاد می‌ده تا «چی گفتن». توی آزمایش نونوایی هم دیدیم کلمه‌های خاص اون نونوایی یاد گرفته شد، ولی چیزهای قبلی کم‌رنگ شد.

جدول انتخاب

همه‌ی این‌ها رو بذاریم کنار هم:

این‌ها با هم دشمن نیستن؛ می‌شه ترکیبشون کرد. مثلا یه مدل فاین‌تیون‌شده برای لحن شرکت، که با RAG دستورالعمل‌های تازه رو هم می‌خونه، و یه پرامپت روشن هم داره. ولی ترتیب امتحان کردن مهمه: اول ارزون‌تر، بعد گرون‌تر.

یه مسیر تصمیم

همه‌ی این‌ها رو بذاریم کنار هم، یه مسیر ساده درمیاد که از بالا به پایین می‌شه طیش کرد.

اول ببینید با یه پرامپت بهتر مشکل حل می‌شه یا نه؛ اگه شد، همین‌جا تمومه. اگه نه، بپرسید مشکل از دانشیه که مدل نداره، مثل قیمت‌ها یا قانون‌های شرکت؛ اگه آره، سراغ RAG برید. اگه مشکل سبک، لحن یا قالب ثابت جوابه، فاین‌تیون. و خیلی وقت‌ها هر دو.

ترکیبشون هم پژوهش داره. یه پژوهش ۲۰۲۴ به اسم RAFT، کوتاه‌شده‌ی Retrieval-Augmented Fine-Tuning یعنی «فاین‌تیون برای RAG»، مدل رو طوری فاین‌تیون کرد که توی RAG بهتر کار کنه: یاد بگیره سندهای بی‌ربطی که بازیاب آورده رو نادیده بگیره، از سند درست نقل قول کنه و قدم‌به‌قدم استدلال کنه. روی سه مجموعه‌ی آزمون، از مقاله‌های پزشکی تا سوال‌های چندپرشی، RAG تخصصی رو بهتر کرد.

چند نکته

• اول معیار بنویسید. بی معیار، نمی‌دونید چی کار کرد.
• اول پرامپت. ارزون، فوری، تغییرپذیر.
• دانش، با RAG. مخصوصا اگه تازه‌ست یا عوض می‌شه.
• سبک و قالب، با فاین‌تیون. وقتی پرامپت جواب نداد.
• سرعت و هزینه، شاید مدل دیگه. نه پرامپت بیشتر.

درس بعد یه راه سبک برای فاین‌تیون رو نشون می‌ده: LoRA.