سؤال مصاحبه

چند نمونه در پرامپت بگذاریم، و کدام نمونه‌ها؟

How many examples go in the prompt, and which ones

  • سطح ۲: میانی
  • بده‌بستان
  • ۷ دقیقه

یک پرامپت دسته‌بندی، 8 برچسب خروجی دارد. یک مهندس می‌خواهد برای اطمینان 20 نمونه در پرامپت بیاورد، و مهندس دیگری ترجیح می‌دهد هیچ نمونه‌ای نگذارد و در عوض دستورالعمل مفصل‌تری بنویسد. شما چند نمونه اضافه می‌کنید، کدام نمونه‌ها را انتخاب می‌کنید، و ملاک تصمیم‌گیری چیست؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

برای بیشتر وظایف، بین 3 تا 5 نمونه؛ و برای یک مدل دسته‌بندی با برچسب‌های متعدد، یک نمونه به ازای هر برچسب، یعنی در این مورد 8 نمونه. نمونه‌هایی را انتخاب کنید که از نظر معنایی به ورودی نزدیک باشند و همه‌ی برچسب‌ها را پوشش دهند؛ زیرا در وظایف دسته‌بندی، نمونه‌های مشابه 5 تا 15 درصد بهتر از نمونه‌های تصادفی عمل می‌کنند. اگر کمتر از 3 نمونه بگذارید، مدل سیگنال بسیار کمی برای استخراج الگو دارد؛ بالاتر از 5 نمونه هم در ازای بازدهی نزولی، در هر فراخوانی هزینه‌ی توکن‌های بافت (context) پرداخت می‌کنید.

پاسخ کامل

نمونه‌ها همان دستورالعمل‌های فشرده هستند

به‌جای توصیف فرمت، آن را نشان می‌دهید. به‌جای توضیح شیوه‌ی استدلال، آن را در عمل به تصویر می‌کشید. مدل یک الگو را بسیار مطمئن‌تر از تفسیر یک قانون انتزاعی مطابقت می‌دهد. در وظایف ساده‌ی تحلیل احساسات، نتایج روش بدون نمونه (zero-shot) و چند نمونه (few-shot) در حد 2 درصد با هم تفاوت دارند؛ اما در محاسبات چندمرحله‌ای و استدلال‌های نمادین، نمونه‌ها 10 تا 25 درصد به دقت اضافه می‌کنند.

کدام نمونه‌ها؟

  1. شباهت معنایی. نمونه‌هایی را انتخاب کنید که در فضای امبدینگ (embedding) بیشترین نزدیکی را به ورودی دارند. در زمان ارسال درخواست، این کار به‌معنای داشتن مجموعه‌ای از نمونه‌های برچسب‌دار و انتخاب نزدیک‌ترین همسایه‌ها برای هر پرس‌وجو است.
  2. تنوع برچسب‌ها. تمام دسته‌بندی‌های خروجی را پوشش دهید، وگرنه مدل اصلاً متوجه وجود چنین برچسبی نخواهد شد.
  3. همخوانی سطح دشواری. پیچیدگی نمونه‌ها باید با پیچیدگی مسئله‌ی هدف همخوانی داشته باشد.

جنبه‌ی هزینه

روش چند نمونه (few-shot) بین 200 تا 500 توکن به هر فراخوانی اضافه می‌کند. دو راهکار این هزینه را پایین نگه می‌دارد: اول، تعداد نمونه‌ها را در نقطه‌ی عطف بازدهی، یعنی بین 3 تا 5 نگه دارید. دوم، اگر نمونه‌ها مجموعه‌ای ثابت هستند، آن‌ها را در بخش پایدار پرامپت قرار دهید؛ یعنی بعد از پیام سیستمی (system message) و تعریف ابزارها (tool definitions)، و قبل از هر چیزی که با هر درخواست تغییر می‌کند. با این کار، کش پیشوند (prefix cache) آن‌ها را با نرخ تخفیف‌خورده سرو می‌کند. نمونه‌هایی که با نزدیک‌ترین همسایه به ازای هر پرس‌وجو انتخاب می‌شوند، بین درخواست‌ها تغییر می‌کنند و کش پیشوند هم در اولین توکنِ متفاوت متوقف می‌شود. این نمونه‌ها را زیر نقطه‌ی شکست کش (cache breakpoint) بگذارید؛ در این حالت پیام سیستمی و تعریف ابزارهای بالاتر از آن همچنان مشمول کش می‌شوند و برای نمونه‌ها نرخ کامل پرداخت می‌شود.

چه زمانی zero-shot برنده است؟

در سؤالات فکت‌محور ساده، وظایف خلاقانه که در آن‌ها نمونه‌ها خروجی را محدود می‌کنند، و وظایفی که پیدا کردن نمونه‌ی خوب در آن‌ها سخت‌تر از نوشتن یک دستورالعمل مناسب است. با این حال، در درس مهندسی پرامپت توصیه می‌شود برای پرامپتی که باید روی ارائه‌دهندگان مختلف رفتار یکسانی داشته باشد، 2 یا 3 نمونه بگذارید؛ چون نمونه‌ها بهتر از دستورالعملِ صرف منتقل می‌شوند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چه زمانی رویکرد بدون نمونه (zero-shot) برنده است؟ انتظار می‌رود: سؤالات فکت‌محور ساده، وظایف خلاقانه که در آن‌ها نمونه‌ها خروجی را محدود می‌کنند، و وظایفی که پیدا کردن نمونه‌های خوب در آن‌ها سخت‌تر از نوشتن یک دستورالعمل مناسب است.
  • سطح 2: نمونه‌ها چه کاری انجام می‌دهند که یک دستورالعمل نمی‌تواند؟ انتظار می‌رود: آن‌ها به‌جای توصیف فرمت و استدلال، آن را نمایش می‌دهند؛ و مدل، الگوی نشان‌داده‌شده را مطمئن‌تر از یک قاعده‌ی انتزاعی مطابقت می‌دهد.
  • سطح 3: در زمان ارسال درخواست، چگونه نمونه‌ها را انتخاب می‌کنید؟ انتظار می‌رود: امبدینگ مجموعه‌ای از داده‌های برچسب‌دار را بسازید و نزدیک‌ترین نمونه‌ها به ورودی را با حفظ پوشش تمام برچسب‌ها انتخاب کنید؛ در درس اندازه‌گیری شد که این روش نسبت به انتخاب تصادفی 5 تا 15 درصد بهبود ایجاد می‌کند.
  • سطح 3: نمونه‌ها 200 تا 500 توکن به ازای هر فراخوانی هزینه دارند. چطور این هزینه را مهار می‌کنید؟ انتظار می‌رود: تعداد را بین 3 تا 5 نگه دارید؛ مجموعه‌ی ثابتی از نمونه‌ها را در پیشوند پایدار بگذارید تا کش کردن پرامپت (prompt caching) آن‌ها را با نرخ تخفیف‌خورده سرو کند؛ و نمونه‌هایی را که برای هر پرس‌وجو انتخاب می‌شوند، زیر نقطه‌ی شکست کش قرار دهید، چون با هر درخواست تغییر می‌کنند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «نمونه‌ی بیشتر همیشه مطمئن‌تر است.» بالاتر از 5 نمونه بازدهی نزولی دارد و هر نمونه در هر فراخوانی، ظرفیت کانتکست را پر می‌کند و هزینه می‌سازد.
  • «نمونه‌های تصادفی کافی هستند، مدل خودش تعمیم می‌دهد.» در وظایف دسته‌بندی، نمونه‌های مشابه بین 5 تا 15 درصد بهتر از نمونه‌های تصادفی عمل می‌کنند.
  • «برچسب‌ها را با جزئیات توصیف کنید و نمونه‌ها را کنار بگذارید.» برای یک وظیفه‌ی حساس به فرمت با برچسب‌های متعدد، نمونه‌ها الگو را بسیار بهتر از توضیحات متنی منتقل می‌کنند؛ این موضوع حتی بین ارائه‌دهندگان مختلف هم صادق است.

کجای دوره آموزش داده می‌شود

درس یادگیری با چند نمونه و زنجیره‌ی افکار تعداد بهینه و اصول انتخاب نمونه‌ها را آموزش می‌دهد، درس مهندسی پرامپت استفاده از نمونه‌ها را برای پرامپت‌های سازگار با ارائه‌دهندگان مختلف پیشنهاد می‌کند، و درس کش کردن پرامپت جای‌گذاری آن‌ها را در پیشوند قابل‌کش بررسی می‌کند.