سؤال مصاحبه

تعیین تعداد کاندیداهایی که بازرتبه‌بند امتیازدهی می‌کند

Pick how many candidates the reranker scores

  • سطح ۳: ارشد
  • بده‌بستان
  • ۱۰ دقیقه

شما یک کراس‌ان‌کودر (cross-encoder) را بعد از یک بازیاب ترکیبی (hybrid retriever) اضافه می‌کنید. پرامپت (prompt) قرار است K تکه متن (chunk) دریافت کند. تیم به‌دنبال قاعده‌ای برای تعیین N، یعنی تعداد کاندیداهایی است که بازرتبه‌بند (reranker) امتیازدهی می‌کند، و یکی از مهندسان برای حفظ سقف تاخیر (latency budget) مقدار پایینی را برای N پیشنهاد می‌دهد. چطور N را انتخاب می‌کنید و چه چیزی را رد خواهید کرد؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

مقدار N را با در نظر گرفتن هم‌زمان نمودار بازخوانی (recall curve) خروجیِ بازرتبه‌بندی‌شده و سقف تاخیر انتخاب کنید. روی یک مجموعه‌ی پرس‌وجوی نگه‌داشته‌شده (held-out query set) مقادیر مختلف N را جاروب (sweep) کنید؛ بهبود کیفیت معمولاً در نقطه‌ی زانویی (knee) حوالی 20 تا 50 کاندیدا اشباع می‌شود و فراتر از آن، هر کاندیدای اضافه صرفاً یک گذر رو به جلو (forward pass) بی‌فایده و هزینه‌بر است. مقدار N را دست‌کم سه برابر K نگه دارید؛ چون بازرتبه‌بند تنها می‌تواند تکه‌ای را ارتقا دهد که بازیاب از ابتدا در استخر کاندیداها قرار داده باشد.

پاسخ کامل

تنها متغیر قابل تنظیم

این پایپ‌لاین دومرحله‌ای (two-stage pipeline) فقط یک پیچ تنظیم دارد. بای‌ان‌کودر (bi-encoder) تعداد N کاندیدا برمی‌گرداند، کراس‌ان‌کودر به هر جفت امتیاز می‌دهد و K مورد برتر را نگه می‌دارد. این درس شکل نمودار را با مقادیر نمونه نشان می‌دهد: بازخوانی در رتبه‌ی 1 (recall at 1) با افزایش N از 5 به 20 رشد می‌کند، از 20 تا 50 شیب رشد کم می‌شود، و در N برابر با 100 دیگر هیچ تغییری نمی‌کند. این مقادیر برگرفته از سنجش‌های یک مجموعه‌داده‌ی نمونه (fixture) نیستند، اما نقطه‌ی زانویی کاملاً واقعی است.

سقف بازخوانی

کراس‌ان‌کودر نمی‌تواند بازخوانی را از بازخوانیِ بای‌ان‌کودر در N کاندیدا فراتر ببرد. یک N کوچک، نه‌فقط تاخیر، بلکه کیفیت را هم محدود می‌کند. اگر N برابر با K باشد، بازرتبه‌بند می‌تواند همان K کاندیدا را بازچینی کند، ولی قادر نیست گزینه‌ی جدیدی وارد کند؛ بنابراین بازخوانی در K تغییری نمی‌کند و بهبود کیفیت عملاً صفر خواهد بود.

بخش هزینه‌ها

  • تمام N جفت را در قالب یک دسته (batch) وارد یک گذر رو به جلو کنید. اگر آن‌ها را دانه‌دانه امتیازدهی کنید، تاخیر N برابر می‌شود.
  • برای حافظه برنامه‌ریزی کنید. یک کراس‌ان‌کودر با 22M پارامتر، در دقت float32 و حتی پیش از ورود هرگونه دسته‌ای، 88 MB فضا می‌گیرد.
  • خروجی بازرتبه‌بند را بر اساس هشِ پرس‌وجو و شناسه‌ی سند کَش کنید. در یک پیکره متنی (corpus) پایدار، بازرتبه‌بندی نتایج یکسان خواهد بود؛ بنابراین هیت‌های کَش (cache hits) کاهش تاخیری کاملاً رایگان برایتان به همراه می‌آورند.

این سه بخش را با هم قفل کنید

بای‌ان‌کودر، کراس‌ان‌کودر و N یک تصمیم واحدند. هر تغییری در هرکدام از آن‌ها، سنجش عملکرد را باطل می‌کند؛ بنابراین با تغییر مدل، فرایند جاروب مقادیر N باید دوباره اجرا شود.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا نمودار مسطح می‌شود؟ انتظار می‌رود بگویید: بعد از نقطه‌ی زانویی، کاندیداهای اضافی به‌ندرت مرتبط هستند؛ در نتیجه بازرتبه‌بند چیزی برای بالا کشیدن پیدا نمی‌کند، در حالی که هر کاندیدا همچنان هزینه‌ی یک گذر رو به جلو را تحمیل می‌کند.
  • سطح 3: برای صرفه‌جویی در تاخیر، N را از 50 به 10 کاهش می‌دهید. چه چیز دیگری تغییر می‌کند؟ انتظار می‌رود بگویید: سقف بازخوانی جابه‌جا می‌شود، چون بازرتبه‌بند تکه‌های خارج از استخر را اصلاً نمی‌بیند؛ به‌جای حدس زدن، ارزیابی را دوباره اجرا کنید.
  • سطح 4: مدل تعبیه‌ساز (embedder) ارتقا یافته است. آیا N قبلی هنوز معتبر است؟ انتظار می‌رود بگویید: خیر؛ بای‌ان‌کودر جدید بازخوانی در N را تغییر می‌دهد، پس پیش از انتشار نهایی باید فرایند جاروب مقادیر را دوباره اجرا کرد.
  • سطح 4: چطور می‌توان بدون کم کردن N، تاخیر را جبران کرد؟ انتظار می‌رود بگویید: با یک گذر رو به جلوی دسته‌ای برای N جفت، و یک کَش با کلیدِ پرس‌وجو و شناسه‌ی سند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «برای صرفه‌جویی در زمان، N را برابر با K بگذارید.» در این حالت، بازرتبه‌بند فقط می‌تواند همان K تکه را بازچینی کند و هرگز کاندیدای جدیدی نمی‌آورد؛ بنابراین بازخوانی در K تغییری نمی‌کند.
  • «هرچه N بزرگ‌تر باشد، بهتر است.» بعد از نقطه‌ی زانویی، بهبود کیفیت اشباع می‌شود و هر کاندیدای اضافی هزینه‌ی یک گذر رو به جلو را به همراه دارد.
  • «یک‌بار N را انتخاب کنید و روی همان بمانید.» N به این دو مدل گره خورده است؛ تغییر در هرکدام، انتخاب قبلی را نامعتبر می‌کند.

کجای دوره آموزش داده می‌شود

درس کراس‌ان‌کودر نمودار مقایسه‌ی تاخیر در برابر کیفیت، قاعده‌ی «دست‌کم سه برابر K» و نکات مربوط به دسته‌بندی و حافظه را آموزش می‌دهد.