سؤال مصاحبه

مدل بازیاب و مدل بازرتبه‌بند

The retriever model and the reranker model

  • سطح ۱: غربالگری
  • مفهومی
  • ۶ دقیقه

یک پایپ‌لاین بازیابی (retrieval pipeline) از یک مدل برای پیدا کردن چانک‌های کاندید و از مدلی دیگر برای مرتب‌سازی آن‌ها استفاده می‌کند. توضیح دهید ورودی هر مدل چیست و چرا مدل دوم روی کل پیکره متنی (corpus) اجرا نمی‌شود.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

یک بای‌ان‌کودر (bi-encoder) پرسمان (query) و هر سند را جداگانه به امبدینگ (embedding) تبدیل و بردارها را با هم مقایسه می‌کند؛ بنابراین بردار هر سند فقط یک‌بار در زمان ساخت ایندکس محاسبه می‌شود. در مقابل، یک کراس‌ان‌کودر (cross-encoder) پرسمان و یک سند را با هم در قالب یک توالی واحد می‌خواند و یک نمره‌ی مرتبط بودن تحویل می‌دهد؛ در نتیجه می‌تواند برهم‌کنش میان این دو متن را ببیند. به‌دست‌آوردن این نمره برای هر جفت‌متن نیازمند یک گذر رو به جلو (forward pass) است؛ به همین دلیل کراس‌ان‌کودر را فقط روی فهرست کوتاهی از کاندیدها اجرا می‌کنیم.

پاسخ کامل

شکل ورودی

بای‌ان‌کودر متن را به یک بردار نگاشت می‌دهد. بردار پرسمان و بردارهای اسناد در یک فضا قرار دارند و رتبه (rank) بر اساس شباهت کسینوسی میان آن‌ها تعیین می‌شود. این دو فرایند کُدگذاری هیچ‌وقت همدیگر را نمی‌بینند؛ بنابراین مدل مجبور است بدون دانستن پرسش، تمام اطلاعات مفید یک سند را در قالب یک بردار فشرده کند.

کراس‌ان‌کودر عبارت [CLS] query_tokens [SEP] document_tokens [SEP] را به‌صورت یک توالی واحد دریافت می‌کند. اتنشن (attention) در سرتاسر نقطه‌ی اتصال اجرا می‌شود و به این ترتیب، هر توکن (token) سند می‌تواند به تک‌تک توکن‌های پرسمان توجه کند. خروجیِ موقعیت اول وارد یک هد (head) خطی می‌شود و یک عدد تولید می‌کند.

هزینه

بای‌ان‌کودر فقط یک‌بار امبدینگ می‌سازد و بعد از آن تا ابد به پرسمان‌ها پاسخ می‌دهد. اما کراس‌ان‌کودر باید برای هر جفت‌متن یک‌بار اجرا شود. در یک پیکره متنی با 10 میلیون سند، این یعنی 10 میلیون گذر رو به جلو برای پاسخ به تنها یک پرسمان؛ هزینه‌ای که با بودجه‌ی زمانی هیچ درخواستی جور درنمی‌آید. درس RAG پیشرفته این اختلاف سرعت را بین 100 تا 1000 برابر کندتر از بای‌ان‌کودر برآورد می‌کند.

مرحله‌بندی

ابتدا N مورد برتر را با مدلی سبک و ارزان بازیابی کنید، سپس با مدل گران‌تر، آن N مورد را بازرتبه‌بندی کرده و به K مورد برسانید. مقدار N کوچک است؛ معمولاً بین 50 تا 200. کیفیت نهایی همان کیفیت کراس‌ان‌کودر خواهد بود، اما سقف آن را میزان بازخوانی (recall) مرحله‌ی اول در نقطه‌ی N تعیین می‌کند. پایین بودن N نه‌تنها تاخیر (latency)، بلکه کیفیت را هم محدود می‌کند.

نقطه‌ی بهینه‌ی محیط عملیاتی (production)، یک کراس‌ان‌کودر با حدود 22M پارامتر است. بازرتبه‌بندهای بزرگ‌تر برای کارهای آفلاین یا مقادیر بسیار کوچک K کنار گذاشته می‌شوند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: کدام‌یک از این دو خروجی را می‌توانید پیش از رسیدن پرسمان محاسبه کنید؟ پاسخ مورد انتظار: بردارهای اسناد در بای‌ان‌کودر؛ نمره‌ی کراس‌ان‌کودر به خود پرسمان وابسته است.
  • سطح 2: چه عاملی سقف کیفیت پایپ‌لاین دومرحله‌ای (two-stage pipeline) را محدود می‌کند؟ پاسخ مورد انتظار: بازخوانی مرحله‌ی اول در نقطه‌ی N؛ زیرا بازرتبه‌بند فقط می‌تواند مواردی را مرتب کند که بازیاب تحویل داده است.
  • سطح 2: آیا ترتیب دو متن در جفت ورودی اهمیت دارد؟ پاسخ مورد انتظار: بله، کراس‌ان‌کودر متقارن نیست؛ ابتدا باید پرسمان را به آن بدهید، وگرنه بازخوانی به‌شدت افت می‌کند.
  • سطح 3: تیمی وعده می‌دهد با یک بازرتبه‌بند 22M پارامتری، شاخص p95 را زیر 100 میلی‌ثانیه نگه دارد. ابتدا برای چه مواردی برنامه‌ریزی می‌کنید؟ پاسخ مورد انتظار: حافظه، چون وزن‌ها با فرمت float32 حدود 88 مگابایت فضا می‌گیرند؛ و دسته‌بندی (batching)، چون اگر به N کاندید یکی‌یکی نمره بدهید، تاخیر N برابر می‌شود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «کراس‌ان‌کودر مدل امبدینگ بهتری است.» این مدل اصلاً امبدینگ تولید نمی‌کند؛ بلکه برای یک پرسمان و یک سند، تنها یک نمره خروجی می‌دهد.
  • «برای رسیدن به بالاترین کیفیت، کراس‌ان‌کودر را روی همه‌ی چانک‌ها اجرا کنید.» در یک پیکره متنی با 10 میلیون سند، این یعنی 10 میلیون گذر رو به جلو به ازای هر پرسمان.
  • «بازرتبه‌بند بزرگ‌تر همیشه برنده است.» مدل‌های حدود 22M پارامتر نقطه‌ی بهینه‌ی محیط عملیاتی هستند؛ مدل‌های بزرگ‌تر بیش از آنچه کیفیت را بالا ببرند، تاخیر سیستم را تلف می‌کنند و فقط به درد بازرتبه‌بندی آفلاین یا Kهای بسیار کوچک می‌خورند.

کجای دوره آموزش داده می‌شود

درس cross-encoder پایپ‌لاین دومرحله‌ای را پیاده‌سازی می‌کند و درس advanced RAG شکاف هزینه‌ی آن‌ها را نشان می‌دهد.