سؤال مصاحبه

محاسبه حجم کار بازرتبه‌بند روی کل ایندکس

Count the work of a reranker over the whole index

  • سطح ۲: میانی
  • تخمین
  • ۸ دقیقه

پیشنهادی مطرح شده که بازیاب برداری (vector retriever) را با یک کراس‌ان‌کودر (cross-encoder) جایگزین کنیم تا تمام چانک‌ها در یک ایندکس 10 میلیون‌چانکی امتیازدهی شوند و هیچ سندی از قلم نیفتد. حجم کار لازم برای یک پرسش را تخمین بزنید و بگویید چه راهکاری را به‌جای آن پیشنهاد می‌کنید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

یک گذر رو به جلو (forward pass) به‌ازای هر چانک یعنی 10 میلیون گذر رو به جلو برای تنها یک پرسش؛ رقمی که با بودجه‌ی زمانی هیچ درخواستی همخوانی ندارد. برای مرحله‌ی اول یک بای‌ان‌کودر (bi-encoder) نگه دارید، چون بردارهای اسناد آن یک‌بار هنگام ساخت ایندکس محاسبه می‌شوند، و سپس کراس‌ان‌کودر را روی مجموعه‌ای شامل 50 تا 200 کاندیدا اجرا کنید. در درس RAG پیشرفته، هزینه‌ی پردازش هر جفت در کراس‌ان‌کودر بین 100 تا 1000 برابر مقایسه‌ی بای‌ان‌کودر برآورد شده است.

پاسخ کامل

محاسبه‌ی حجم کار

مرحله حجم کار در زمان ساخت ایندکس حجم کار به‌ازای هر پرسش
بای‌ان‌کودر یک امبدینگ به‌ازای هر چانک، ذخیره می‌شود یک امبدینگ برای پرسش، سپس یک مقایسه‌ی برداری به‌ازای هر چانک
کراس‌ان‌کودر چیزی ذخیره نمی‌شود؛ امتیاز به پرسش بستگی دارد یک گذر رو به جلو به‌ازای هر جفت، یعنی یکی به‌ازای هر چانک در مجموعه کاندیداها

اگر کراس‌ان‌کودر روی کل ایندکس اجرا شود، مجموعه کاندیداها همان کل ایندکس خواهد بود. یک ایندکس 10 میلیون‌چانکی یعنی 10 میلیون گذر برای یک پرسش.

ساختار چندمرحله‌ای

ابتدا با مرحله‌ای ارزان‌تر مجموعه‌ی بزرگ‌تری از کاندیداها را بازیابی کنید؛ مثلاً 50 نتیجه‌ی برتر از جستجوی ترکیبی (hybrid search). سپس با کراس‌ان‌کودر آن‌ها را بازرتبه‌بندی کنید تا به 5 نتیجه‌ی نهایی برسید. با این کار، مدل سنگین به‌جای 10 میلیون بار فقط 50 بار اجرا می‌شود و تاثیر مثبت آن دقیقاً جایی اعمال می‌شود که اهمیت دارد: در رتبه‌بندی نهایی.

دو عدد دیگر برای برنامه‌ریزی دقیق‌تر

  • یک کراس‌ان‌کودر مناسب محیط عملیاتی (production) با حدود 22 میلیون پارامتر، در فرمت float32 حدود 88 MB حافظه می‌گیرد. آن را یک‌بار لود کنید و مقیم حافظه نگه دارید.
  • تعداد N کاندیدا را در قالب یک دسته (batch) اجرا کنید. اگر آن‌ها یکی‌یکی امتیازدهی شوند، تاخیر (latency) پردازش N برابر می‌شود.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: کدام بخش از هزینه‌ی بای‌ان‌کودر فقط یک‌بار پرداخت می‌شود؟ پاسخ مورد انتظار: امبدینگ اسناد در زمان ساخت ایندکس؛ در زمان پرسش فقط هزینه‌ی یک امبدینگ و مقایسه‌ها پرداخت می‌شود.
  • سطح 2: چرا استفاده از مدل گران‌قیمت روی 50 نتیجه‌ی برتر کاملاً توجیه‌پذیر است؟ پاسخ مورد انتظار: پردازش 50 گذر با بودجه‌ی زمانی درخواست می‌خواند و بهبود ایجادشده در ترتیب نهایی کاندیداها متمرکز می‌شود.
  • سطح 3: اگر حجم ایندکس دو برابر شود، هزینه‌ی پردازش کدام مرحله به‌ازای هر پرسش افزایش می‌یابد؟ پاسخ مورد انتظار: مرحله‌ی اول، چون باید با تمام چانک‌ها مقایسه شود؛ اما تعداد گذرهای بازرتبه‌بند تا زمانی که N ثابت باشد تغییری نمی‌کند.
  • سطح 3: در چنین مقیاسی، مرحله‌ی اول دیگر یک پیمایش همه‌جانبه نیست. از چه روشی استفاده می‌کند و هزینه‌ی آن چیست؟ پاسخ مورد انتظار: یک ایندکس تقریبی نزدیک‌ترین همسایه (approximate nearest neighbor) که اندکی از بازخوانی (recall) را فدای سرعت می‌کند؛ درس RAG پیشرفته اشاره می‌کند که در 2 میلیون چانک، خطا می‌تواند چانک مرتبط را به بیرون از k نتیجه‌ی برتر push کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «همه‌چیز را امتیازدهی کنید، GPUها سریع هستند.» 10 میلیون گذر به‌ازای هر پرسش تاخیری نیست که کاربر برایش منتظر بماند، و مدل مطرح‌شده در درس پیش از هر دسته‌ای خودش 88 MB جا می‌گیرد.
  • «امتیاز کراس‌ان‌کودر را برای تمام چانک‌ها از قبل محاسبه کنید.» امتیاز به پرسش وابسته است؛ بنابراین چیزی برای پیش‌محاسبه وجود ندارد.
  • «از یک کراس‌ان‌کودر کوچک‌تر روی کل پیکره متنی (corpus) استفاده کنید.» بازرتبه‌بندهای کوچک‌تر سریع‌تر از آن‌که تاخیر را کم کنند، کیفیت را از دست می‌دهند و تعداد گذرها هم کماکان یکسان باقی می‌ماند.

کجای دوره آموزش داده می‌شود

در درس کراس‌ان‌کودر شمارش گذرها و ابعاد مدل بررسی شده و در درس RAG پیشرفته شکاف هزینه و قیف تبدیل 50 نتیجه به 5 نتیجه مطرح شده است.