سؤال مصاحبه

بازرتبه‌بند آفلاین عالی کار می‌کند اما در محیط عملیاتی خراب می‌شود

The reranker is perfect offline and worse in production

  • سطح ۲: میانی
  • اشکال‌یابی
  • ۸ دقیقه

یک بازرتبه‌بند کراس‌ان‌کودر (cross-encoder reranker) جدید، معیار MRR را روی مجموعه‌داده‌ی نمونه‌ی (fixture) آفلاین به عددی نزدیک به بی‌نقص می‌رساند. اما در محیط عملیاتی (production)، همین بازرتبه‌بند باعث می‌شود نتیجه‌ی اول حتی از خروجیِ بازیابِ تنها هم بدتر شود. دلایلی را که بررسی می‌کنید به ترتیب نام ببرید و بگویید هر کدام چطور خود را نشان می‌دهند.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

ابتدا داده‌های آموزشی را بررسی کنید: اگر جفت‌های آموزشیِ دستی برچسب‌گذاری‌شده شامل پرس‌وجوهای ارزیابی باشند، ارزیابی صرفاً یک آزمون حافظه است و رشد معیار واقعی نیست. سپس ترتیب جفت‌ها را در محیط عملیاتی بررسی کنید؛ چون کراس‌ان‌کودر متقارن نیست و جابه‌جا شدن پرس‌وجو و سند، بازخوانی (recall) را نابود می‌کند. در نهایت استخر کاندیداها را چک کنید؛ زیرا کاندیداهای محیط عملیاتی از یک بای‌ان‌کودر (bi-encoder) واقعی می‌آیند و میزان بازخوانی آن در N، سقفِ دیدِ بازرتبه‌بند را محدود می‌کند.

پاسخ کامل

علت 1: نشت داده‌های ارزیابی به داده‌های آموزش

در درس بازرتبه‌بند هشدار دادیم که اگر جفت‌های آموزشیِ دستی برچسب‌گذاری‌شده شامل پرس‌وجوهای ارزیابی باشند، بازرتبه‌بندی معجزه‌آسا به نظر می‌رسد. درس پیاده‌سازی سرتاسری (end-to-end) این موضوع را ملموس‌تر نشان می‌دهد: 14 سه‌گانه‌ی (triple) آموزشی آن شبیه به پرس‌وجوهای ارزیابی هستند، به همین دلیل دمو از قصد پرس‌وجوهای ارزیابی را کاملاً مجزا نگه می‌دارد. نشت داده‌ها خودش را با یک نتیجه‌ی نزدیک به بی‌نقص روی مجموعه‌داده‌ی نمونه و خروجی‌ای در محیط عملیاتی نشان می‌دهد که انگار حاصل مدلی کاملاً متفاوت است.

علت 2: جابه‌جا شدن ترتیب جفت ورودی

امتیازی که مدل به ترکیب «پرس‌وجو و سپس سند» می‌دهد با امتیاز ترکیب «سند و سپس پرس‌وجو» یکی نیست. همیشه باید ابتدا پرس‌وجو را به ورودی بفرستید. این جابه‌جایی خودش را با افت شدید و ناگهانی نشان می‌دهد، نه یک دریفت (drift) تدریجی؛ چون تمام امتیازها در جهت اشتباه محاسبه شده‌اند.

علت 3: استخر کاندیداها همان استخر محیط عملیاتی نیست

یک مجموعه‌داده‌ی نمونه‌ی آفلاین می‌تواند استخری ساختگی به بازرتبه‌بند تحویل دهد که چانک طلاییِ پاسخ همیشه درون آن باشد. اما در محیط عملیاتی، این استخر از بای‌ان‌کودر می‌آید و بازرتبه‌بند نمی‌تواند بازخوانی را از سقفِ بازخوانی بای‌ان‌کودر در N بالاتر ببرد. راه‌حل ارائه‌شده در درس، قفل کردن (pin) بای‌ان‌کودر، کراس‌ان‌کودر و مقدار N در کنار یکدیگر است؛ تغییر در هر کدام از آن‌ها، ارزیابی را باطل می‌کند.

چه چیزی را لاگ کنیم تا دفعه‌ی بعد ارزان‌تر تمام شود؟

امتیاز کراس‌ان‌کودر برای رتبه‌ی 1 را به ازای هر پرس‌وجو لاگ کنید. اگر بالاترین امتیاز، زیر آستانه‌ی (threshold) مشخصی از پیکره متنی (corpus) بیاید، نشان‌دهنده‌ی یک پرس‌وجوی خارج از دامنه است؛ همچنین جابه‌جایی در توزیع امتیازها پس از یک ریلیز، پس‌رفت مدل را قبل از این‌که کاربران متوجه شوند آشکار می‌کند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چطور احتمال نشت داده را به صفر می‌رسانید؟ پاسخ مورد انتظار: پرس‌وجوهای ارزیابی را حتی در مجموعه‌داده‌ی نمونه، دقیقاً مانند درس سرتاسری، کاملاً خارج از سه‌گانه‌های آموزشی نگه دارید.
  • سطح 2: جابه‌جا شدن جفت ورودی در آمار و ارقام چه شکلی دارد؟ پاسخ مورد انتظار: افت شدید و ناگهانی به‌جای دریفت، چون همه‌ی امتیازها در جهت اشتباه محاسبه شده‌اند.
  • سطح 3: چرا استخر کاندیدای ساختگی، نتایج آفلاین را به شکل کاذب بالا می‌برد؟ پاسخ مورد انتظار: چون می‌تواند در تمام دفعات حاوی چانک طلایی باشد، در حالی که در محیط عملیاتی، بازخوانی بای‌ان‌کودر واقعی در N، سقف آنچه را بازرتبه‌بند می‌بیند تعیین می‌کند.
  • سطح 3: ثبت کدام عدد به ازای هر پرس‌وجو برای مهار پس‌رفت بعدی کافی است؟ پاسخ مورد انتظار: امتیاز کراس‌ان‌کودر برای رتبه‌ی 1؛ اگر بالاترین امتیاز زیر آستانه‌ی پیکره متنی باشد، یک پرس‌وجوی خارج از دامنه را مشخص می‌کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «مدل محیط عملیاتی بیلد متفاوتی دارد.» قبل از وزن‌ها، داده‌ها و ورودی‌ها را بررسی کنید؛ نشت داده و جابه‌جا شدن جفت‌ها، هر دو با همان وزن‌های یکسان هم بازتولید می‌شوند.
  • «مجموعه‌داده‌ی نمونه کوچک‌تر از آن است که معنایی داشته باشد.» اندازه‌ی داده باعث نشت نمی‌شود؛ همپوشانی (overlap) میان پرس‌وجوهای آموزش و ارزیابی عامل آن است.
  • «در محیط عملیاتی مقدار N را پایین بیاورید تا با مجموعه‌داده‌ی نمونه هماهنگ شود.» مقدار N کوچک‌تر، سقف بازخوانی را پایین می‌آورد و وضعیت پایپ‌لاین (pipeline) را بدتر می‌کند.

کجای دوره آموزش داده می‌شود

درس کراس‌ان‌کودر به نشت داده، عدم تقارن و سقف استخر کاندیداها می‌پردازد و درس RAG سرتاسری سه‌گانه‌های آموزشی خود را کاملاً جدا از پرس‌وجوهای ارزیابی نگه می‌دارد.