سؤال مصاحبه

چرا نمره‌ی بالاتر در ارزیابی، باز هم به آزمایش نیاز دارد

Why a higher eval score still needs an experiment

  • سطح ۱: غربالگری
  • مفهومی
  • ۵ دقیقه

پرامپت جدیدتان روی مجموعه‌داده‌ی برچسب‌دار نمره‌ی بالاتری نسبت به نسخه‌ی قبلی گرفته است. مدیر محصول می‌پرسد چرا با وجود این، قبل از انتشار عمومی هنوز اصرار دارید یک آزمایش تصادفی آنلاین اجرا کنید. پاسخ دو دقیقه‌ای را آماده کنید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

ارزیابی (Eval) به شما می‌گوید که آیا مدل می‌تواند این وظیفه (Task) را روی یک توزیع ثابت و برچسب‌دار انجام دهد یا خیر. اما یک آزمایش تصادفی با کاربران واقعی نشان می‌دهد که آیا کاربران اصلاً متوجه تغییر می‌شوند و به آن اهمیت می‌دهند یا نه. ممکن است پرامپتی روی مجموعه‌داده‌ی برچسب‌دار برنده شود اما هیچ متریک محصولی را تکان ندهد، یا حتی آن را در جهت منفی جابه‌جا کند. به هر دو نیاز دارید: ارزیابی جلوی افت کیفیت (Regression) را پیش از دیده‌شدن توسط کاربر می‌گیرد، و آزمایش پس از آن، تأثیر روی محصول را تأیید می‌کند.

پاسخ کامل

دو پرسش کاملاً متفاوت

ارزیابی به‌صورت آفلاین، روی یک مجموعه‌ی برچسب‌دار و با یک داور اجرا می‌شود؛ داوری که می‌تواند یک شیوه‌نامه‌ی نمره‌دهی (Rubric)، یک مدل یا یک انسان باشد. این فرایند به این پرسش پاسخ می‌دهد: آیا خروجی روی این توزیع مشخص، درست، مفید و بی‌خطر است؟

آزمایش A/B به‌صورت آنلاین و با کاربرانی اجرا می‌شود که به‌طور تصادفی تخصیص یافته‌اند. این آزمون پاسخ می‌دهد: آیا این نسخه، متریک مهم در سطح کاربر را — مثل ماندگاری (Retention) یا نرخ تکمیل وظیفه — جابه‌جا می‌کند؟

چرا یکی از آن‌ها کافی نیست

هر مهندس ارشدی می‌تواند قابلیتی را مثال بزند که صرفاً چون حس بهتری می‌داد و بدون هیچ آزمایشی منتشر شد؛ و همان قابلیت، متریک محصولی مهمی را تخریب کرد که تا ماه‌ها هیچ‌کس حواسش به آن نبود. ارزیابی نمی‌تواند ترجیحات کاربر را ببیند، و آزمایش هم نمی‌تواند پیش از مواجهه‌ی کاربر، جلوی افت کیفیت را بگیرد. هر کدام از این دو، نقطه‌ی کور دیگری را پوشش می‌دهند.

چه مواردی را آنلاین آزمایش کنیم

این درس سه محور قابل‌آزمایش را نام می‌برد:

  1. لحن و ساختار پرامپت. متریک‌ها: موفقیت در انجام وظیفه، ماندگاری، هزینه به‌ازای هر درخواست.
  2. انتخاب مدل. متریک‌ها: دقت در انجام وظیفه، هزینه به‌ازای هر درخواست به‌همراه تاخیر در صدک 99 (Latency P99).
  3. پارامترهای تولید متن مانند temperature و top-p. متریک: وابسته به وظیفه.

ترتیب مراحل

اول ارزیابی. سپس اجرای آزمایشی در سایه (Shadow) و استقرار قناری (Canary) برای اثبات پایدار بودن نسخه. بعد از آن، اجرای آزمایش A/B با تقسیم ترافیک 50 درصدی، به‌شرطی که نسخه یک گزینه‌ی جایگزینِ کاملاً متمایز باشد. اگر نسخه صرفاً بهبودیافته‌ی همان رفتار قبلی است، استقرار قناری می‌تواند بدون مرحله‌ی A/B مستقیماً به 100 درصد برسد. در اینجا منظور از «بهبودیافته» این است که ارزیابی، این پیشرفت را نشان داده باشد. گیت‌های کنترلی (Gates) قناری نرخ تکمیل وظیفه را نمی‌سنجند، بنابراین صرف‌نظر کردن از A/B به معنای اعتماد به ارزیابی برای این شاخص است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: یک متریک نام ببرید که آزمایش تولید می‌کند ولی ارزیابی قادر به تولید آن نیست. پاسخ مورد انتظار: متریکی در سطح کاربر، مانند ماندگاری، نرخ تبدیل (Conversion) یا نرخ ثبت بازخورد منفی (Thumbs-down rate).
  • سطح 2: ارزیابی قناری با موفقیت پشت سر گذاشته شد، اما آزمایش افت اندکی در نرخ تبدیل نشان می‌دهد. محصول را منتشر می‌کنید؟ پاسخ مورد انتظار: خیر، در حالت پیش‌فرض نه. معیار ارجاع و بازنگری (Escalation criterion) را پیش از شروع آزمایش مشخص کنید و افت در متریک اصلی را به‌منزله‌ی توقف در نظر بگیرید.
  • سطح 2: در چه شرایطی بعد از مرحله‌ی قناری، از انجام آزمایش صرف‌نظر می‌کنید؟ پاسخ مورد انتظار: زمانی که نسخه‌ی جدید ارتقایی از همان رفتار پیشین باشد، نه یک گزینه‌ی جایگزین با ساختار هزینه یا لحن متفاوت.
  • سطح 3: چرا غیرقطعی بودن (Non-determinism) مدل، حجم نمونه را تغییر می‌دهد؟ پاسخ مورد انتظار: ورودی‌های یکسان، خروجی‌های متفاوتی تولید می‌کنند؛ بنابراین حجم نمونه‌ی مؤثر کمتر از حجم اسمی آن خواهد بود. این درس توصیه می‌کند حجم نمونه‌ی لازم را تقریباً 1.3 تا 1.5 برابر افزایش دهید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «مجموعه‌داده‌ی ارزیابی بزرگ‌تر است، بنابراین قابل‌اعتمادتر است.» مجموعه‌ی ارزیابی ثابت و برچسب‌دار است و صحت خروجی را می‌سنجد، نه ترجیح کاربران را.
  • «آزمایش را اجرا می‌کنیم و ارزیابی را کنار می‌گذاریم تا یک هفته در زمان صرفه‌جویی شود.» بدون ارزیابی، افت کیفیت پیش از آنکه کسی متوجه شود به دست کاربران می‌رسد.
  • «اگر ارزیابی و آزمایش با هم اختلاف نظر داشته باشند، آزمایش اشتباه است.» این دو، موارد متفاوتی را می‌سنجند. خروجی درستی که کاربران دوستش ندارند، یک نتیجه‌ی واقعی است.

کجای دوره آموزش داده می‌شود

درس آزمایش A/B ارزیابی‌ها را از آزمایش‌ها تفکیک می‌کند، و درس تحویل تدریجی آزمایش را در مرحله‌ی پس از استقرار قناری قرار می‌دهد.