سؤال مصاحبه

بازیابی یا فاین‌تیونینگ برای ویکی خط‌مشی‌ها

Retrieval or fine-tuning for the policy wiki

  • سطح ۱: غربالگری
  • مفهومی
  • ۶ دقیقه

یک تیم محصول می‌خواهد دستیاری بسازد که به پرسش‌های مربوط به ویکیِ خط‌مشی‌های داخلی پاسخ دهد. یکی از مهندسان پیشنهاد می‌کند مدل روی صفحات ویکی فاین‌تیون (Fine-tuning) شود. مهندس دیگری پیشنهاد می‌دهد هنگام پرسیدن سوال، صفحات مرتبط جست‌وجو شده و نتایج منطبق درون پرامپت (Prompt) قرار گیرند. شما کدام روش را انتخاب می‌کنید، و در چه حالتی همچنان سراغ فاین‌تیونینگ مدل می‌روید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

برای دانش و داده‌ها، بازیابی (Retrieval) را انتخاب کنید. در این حالت مدل هرگز تغییر نمی‌کند، مخزن اسناد ظرف چند دقیقه به‌روزرسانی می‌شود و می‌توانید بخش‌هایی از متن را که پاسخ بر اساس آن‌ها شکل گرفته نشان دهید. فاین‌تیونینگ زمانی مناسب است که به سبک نگارش، لحن یا الگوی استدلالی مشخصی نیاز دارید که پرامپت به آن نمی‌رسد؛ نه زمانی که صرفاً نیازمند فکت‌ها هستید.

پاسخ کامل

چرا بازیابی در فکت‌ها برنده است

این درس هر دو روش را از منظر پنج دغدغه مقایسه می‌کند:

دغدغه مدل فاین‌تیون‌شده بازیابی
هزینه هزینه‌ی هر بار آموزش از 1,000 تا بیش از 100,000 دلار است هزینه‌ی هر پرس‌وجو برای امبدینگ و فراخوانی مدل بین 0.01 تا 0.10 دلار است
تازگی تا دور بعدی آموزش، داده‌ها قدیمی و دست‌نخورده می‌مانند با بازایندکس کردن صفحه‌ی تغییریافته، پرس‌وجوی بعدی بلافاصله آن را می‌بیند
بازرسی هیچ راهی برای ردگیری محاسبات یک فکت تا صفحه‌ی مبدأ وجود ندارد بخش‌های بازیابی‌شده مشخص‌اند و می‌توان آن‌ها را بازگرداند
ارجاع‌دهی مکانی مدل همچنان آزادانه از خودش فکت جعل می‌کند پرامپت به مدل می‌گوید فقط بر اساس همان بخش‌ها پاسخ دهد
حریم خصوصی صفحات درون وزن‌های مدل تثبیت می‌شوند صفحات در مخزن خودتان باقی می‌مانند

فاین‌تیونینگ وزن‌های مدل را برای همیشه تغییر می‌دهد. در مقابل، بازیابی فقط زمینه (Context) را برای یک درخواست تغییر می‌دهد. برای کار با فکت‌ها، دقیقاً یک زمینه‌ی موقت همان چیزی است که نیاز دارید.

تنها مورد مناسب برای فاین‌تیونینگ

وقتی هدف شما شیوه‌ی نگارش یا نحوه استدلال مدل باشد و پرامپت‌نویسی به آن نرسد، فاین‌تیونینگ ابزار مناسب است. یک لحن پایدار، قالب سازمانی یا عادت استدلالی مشخص، درون وزن‌های مدل بسیار بهتر از یک دستورالعمل طولانی می‌نشیند.

ساختار سیستم

بازیابی در دو فاز اجرا می‌شود: در فاز ایندکس، هر صفحه به تکه‌های کوچک‌تر (Chunks) تقسیم می‌شود، برای هر تکه امبدینگ (Embedding) ساخته می‌شود و این بردارها در کنار متن ذخیره می‌شوند. در فاز پرس‌وجو، سوال امبد می‌شود، k تکه‌ی برتر پیدا می‌شوند، پرامپتی بر پایه‌ی آن‌ها ساخته شده و مدل فراخوانی می‌شود. این درس مقدار k را 5 تا 10 تکه و حجم متن بازیابی‌شده را 2,500 تا 5,000 توکن (Token) به ازای هر پرس‌وجو تعیین می‌کند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: یکی از صفحات خط‌مشی تغییر می‌کند. در هر رویکرد چه اتفاقی می‌افتد؟ پاسخ مورد انتظار: در بازیابی، آن صفحه را بازایندکس می‌کنید و پاسخ بعدی از متن جدید استفاده می‌کند؛ در مدل فاین‌تیون‌شده، فکت قبلی تا زمان آموزش دوباره باقی می‌ماند.
  • سطح 2: یک بازرس حقوقی می‌پرسد پاسخ داده‌شده از کدام صفحه آمده است. کدام رویکرد می‌تواند آن را نشان دهد؟ پاسخ مورد انتظار: بازیابی؛ چون بخش‌هایی از متن که وارد پرامپت شده‌اند مشخص هستند و می‌توان آن‌ها را همراه با پاسخ برگرداند.
  • سطح 2: چرا وضعیت حریم خصوصی در این دو متفاوت است؟ پاسخ مورد انتظار: در بازیابی، صفحات در مخزن خودتان باقی می‌مانند و فقط تکه‌های منطبق، آن هم برای یک فراخوانی به مدل ارسال می‌شوند؛ در فاین‌تیونینگ، محتوا درون وزن‌های مدلی که مستقر می‌کنید جا می‌گیرد.
  • سطح 3: با وجود این‌که بخش متنیِ درست در مخزن است، پاسخ مدل اشتباه است. ابتدا کدام مرحله را بررسی می‌کنید؟ پاسخ مورد انتظار: بازیابی، از طریق بررسی بازخوانی (Recall) در k؛ زیرا اگر جست‌وجو متنی را برنگردانده باشد، مدل به‌هیچ‌وجه نمی‌تواند از آن استفاده کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «مدل را فاین‌تیون کنید، چون این‌طوری اسناد را یاد می‌گیرد.» وزن‌های مدل نسخه‌ای را نگه می‌دارند که به‌مرور کهنه می‌شود، و هیچ بخشی از خروجی نشان نمی‌دهد که یک فکت از کدام صفحه آمده است.
  • «بازیابی همیشه بهتر است.» یک سبک ثابت، لحن مشخص یا الگوی استدلالی، با فاین‌تیونینگ بسیار بهتر از یک پرامپت فراگرفته می‌شود.
  • «جست‌وجو را حذف کنید و کل ویکی را در پرامپت بگذارید.» این درس برای هر پرس‌وجو 2,500 تا 5,000 توکن متن بازیابی‌شده در نظر گرفته است؛ کل ویکی اصلاً جا نمی‌شود و متن‌های نامربوط هم کارایی پرامپت را تضعیف می‌کنند.

کجای دوره آموزش داده می‌شود

درس RAG این دو رویکرد را مقایسه می‌کند و فازهای ایندکس و پرس‌وجو را می‌سازد.