سؤال مصاحبه

هر مرحله‌ی استدلال باید توجیه اقتصادی داشته باشد

Make each reasoning stage earn its cost

  • سطح ۴: استف
  • بده‌بستان
  • ۱۵ دقیقه

تیمی تمام پرسش‌ها را از کل پایپ‌لاین ارتقای مرحله‌به‌مرحله‌ی (escalation pipeline) ارائه‌شده در درس عبور می‌دهد: ابتدا یک زنجیره‌ی قطعی (deterministic)، سپس پنج زنجیره‌ی نمونه‌برداری‌شده همراه با رای‌گیری، و در نهایت اگر رای‌گیری ضعیف بود، یک جست‌وجوی درختی (tree search). اکنون تاخیر و هزینه به اصلی‌ترین شکایت کاربران تبدیل شده است. شما به‌عنوان مهندس ارشد (Staff Engineer)، چگونه این پایپ‌لاین را بازسازی می‌کنید و برای دفاع از ساختار جدید چه معیارهایی را می‌سنجید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

پایپ‌لاین را طوری بازسازی کنید که ورود به هر مرحله نیازمند توجیه باشد. بیشتر پرسش‌ها باید در همان مرحله‌ی ارزان پاسخ بگیرند؛ بنابراین رای‌گیری را با حداقل تعداد یعنی 3 نمونه شروع کنید و فقط هنگام اختلاف‌نظر تعداد را بالا ببرید. جست‌وجوی درختی را هم — که با ضریب branch برابر 3 و عمق 3، تا 39 فراخوانی هزینه می‌تراشد — فقط برای پرسش‌هایی نگه دارید که رای‌گیری در آن‌ها شکست می‌خورد. دقت را در برابر هزینه‌ی هر پرسش برای تک‌تک مراحل روی یک مجموعه‌ی نگه‌داشته‌شده (held-out) بسنجید و سهم پرسش‌هایی را که در هر مرحله حل‌وفصل می‌شوند گزارش کنید.

پاسخ کامل

پایپ‌لاین درس چه می‌کند

زنجیره‌ی قطعی یک بار اجرا می‌شود. مرحله‌ی رای‌گیری پنج نمونه را با دمای 0.7 می‌سازد و اگر 4 نمونه از 5 تا هم‌نظر باشند (اطمینان 0.8) و اکثریت با پاسخ قطعی همخوانی داشته باشد، خروجی پذیرفته می‌شود. هر حالت دیگری به جست‌وجوی درختی فرستاده می‌شود؛ جایی که هر گره معادل یک فراخوانی مدل است.

هزینه‌ها کجا مصرف می‌شوند

مرحله فراخوانی‌ها سربار توکن
یک زنجیره‌ی چند-نمونه‌ای (few-shot) 1 300 تا 600 توکن
رای‌گیری روی پنج زنجیره 5 پنج برابر توکن
جست‌وجوی درختی 10 تا 40 یا بیشتر 10 تا 40 برابر توکن
یک مدل استدلالی (reasoning model) 1 پنهان، 2 تا 10 برابر داخلی

اگر این فرایند را روی همه‌ی پرسش‌ها اجرا کنید، فقط همان مرحله‌ی رای‌گیری صورت‌حساب را پنج برابر می‌کند؛ هزینه‌ی جست‌وجوی درختی هم در انتهای توزیع (موارد مرزی و دشوار) عملاً مهارنشدنی است.

بازسازی پایپ‌لاین

  1. ابتدا مسیردهی بر اساس وظیفه (task) را انجام دهید. بازخوانی‌های ساده (recall) و دسته‌بندی‌های تک‌مرحله‌ای فقط به یک فراخوانی صفر-نمونه‌ای (zero-shot) نیاز دارند؛ زنجیره‌سازی و رای‌گیری مخصوص مسائل چندمرحله‌ای هستند.
  2. رای‌گیری را محدود شروع کنید و فقط هنگام تردید گسترش دهید. 3 نمونه حداقل تعداد برای یک رای‌گیری معنادار است و 5 نمونه بخش عمده‌ی مزیت را تامین می‌کند؛ پس کار را با 3 نمونه آغاز کنید و فقط زمانی که این سه با هم اختلاف داشتند، نمونه‌های بیشتری اضافه کنید.
  3. برای درخت سقف بگذارید. این مرحله را فقط برای مسائلی نگه دارید که فضای جست‌وجوی بزرگ اما ارزیابی‌پذیر دارند، برای هر پرسش سقف بودجه‌ی فراخوانی تعیین کنید و گزارش دهید چند وقت یک‌بار این سقف پُر می‌شود.
  4. یک مدل استدلالی را به‌عنوان جایگزین مستقیم بیازمایید. این مدل زنجیره را درون خودش اجرا می‌کند و در بسیاری از وظایف عملاً جای رای‌گیری را می‌گیرد؛ هزینه‌ی پنهان آن هم باید روی همان منحنی سنجشِ سایر مراحل قرار بگیرد.

داده‌های لازم برای دفاع از طرح

  • منحنی دقت در برابر کل توکن‌های مصرفی از طریق پویش مقادیر N روی 1، 3، 5، 7 و 10 در یک مجموعه‌ی نگه‌داشته‌شده، با مشخص کردن نقطه‌ی زانویی (knee point).
  • سهم پرسش‌های حل‌شده در هر مرحله و دقت هر مرحله روی پرسش‌هایی که پاسخ داده است.
  • سهم پرسش‌هایی که فقط جست‌وجوی درختی از پس آن‌ها برمی‌آید، در برابر سهمی که این مرحله از کل صورت‌حساب دارد.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: جست‌وجوی درختی با تنظیمات پیش‌فرض درس چقدر هزینه دارد؟ انتظار می‌رود: هر گره یک فراخوانی مدل است؛ بنابراین ضریب branch برابر 3 و عمق 3 به معنای حداکثر 39 فراخوانی خواهد بود.
  • سطح 4: جایگاه مدل استدلالی در ساختار جدید کجاست؟ انتظار می‌رود: به‌عنوان جایگزینی مستقیم برای زنجیره و رای‌گیری در بسیاری از وظایف؛ یعنی یک فراخوانی با استدلال داخلی پنهان که بین 2 تا 10 برابر توکن مصرف می‌کند و روی همان منحنیِ دقت در برابر هزینه مقایسه می‌شود.
  • سطح 4: اندازه‌ی رای‌گیری را چطور انتخاب می‌کنید؟ انتظار می‌رود: N را روی 1، 3، 5، 7 و 10 در یک مجموعه‌ی نگه‌داشته‌شده پویش کنید و نمودار دقت در برابر کل توکن‌ها را بکشید؛ طبق درس، نقطه‌ی زانویی نزدیک 5 است و حداقل رای‌گیری معنادار با 3 نمونه انجام می‌شود.
  • سطح 4: کدام عدد مشخصاً توجیه‌کننده‌ی حفظ جست‌وجوی درختی است؟ انتظار می‌رود: سهم پرسش‌هایی که فقط و فقط جست‌وجوی درختی پاسخ درستشان را پیدا می‌کند، در برابر سهم این مرحله از کل صورت‌حساب؛ اگر این سهم نزدیک به صفر باشد، باید این مرحله را کلاً حذف کنید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «برای رسیدن به بالاترین دقت، جست‌وجوی درختی را روی همه‌چیز اجرا کنید.» این کار بین 10 تا 40 فراخوانی یا بیشتر برای هر پرسش هزینه می‌برد؛ درس این روش را فقط برای فضاهای جست‌وجوی بزرگ و ارزیابی‌پذیر نگه می‌دارد.
  • «مرحله‌ی رای‌گیری را حذف کنید و فقط یک زنجیره با دمای صفر نگه دارید.» یک زنجیره ارزان تمام می‌شود اما هیچ سیگنالی از میزان اطمینان نمی‌دهد؛ درحالی‌که سهم آرا دقیقاً همان معیاری است که زمان توقف یا رفتن به مرحله‌ی بعد را مشخص می‌کند.
  • «برای اطمینان کامل، حد آستانه‌ی پذیرش را روی 1.0 بگذارید.» در این حالت، هر اختلاف‌نظرِ کوچکی باعث اجرای جست‌وجوی درختی می‌شود؛ درحالی‌که درس، نسبت 4 از 5 را می‌پذیرد.

کجای دوره آموزش داده می‌شود

درس چند-نمونه‌ای و زنجیره‌ی افکار پایپ‌لاین ارتقای مرحله‌به‌مرحله را می‌سازد و هزینه‌ی هر تکنیک را نشان می‌دهد.