سؤال مصاحبه

قبولی در تلاش اول 0.6 و قبولی در پنج تلاش 0.95

Pass at one of 0.6 and pass at five of 0.95

  • سطح ۲: میانی
  • بده‌بستان
  • ۸ دقیقه

ایجنت برنامه‌نویسی شما روی مجموعه‌داده‌ی نمونه به نرخ قبولی در تلاش اول (pass at one) معادل 0.6 و نرخ قبولی در پنج تلاش (pass at five) معادل 0.95 می‌رسد. یکی از مدیران این نتیجه را به معنی مردودی ایجنت می‌داند و دیگری آن را یک ایجنت موفق تلقی می‌کند. هر یک از این اعداد چه معنایی دارند و در گزارش نهایی چه مواردی را باید بیاورید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

قبولی در تلاش اول می‌گوید که اولین خروجی، کار را در حدود شش وظیفه از هر ده وظیفه درست انجام می‌دهد. قبولی در پنج تلاش نشان می‌دهد که حداقل یکی از پنج خروجی در تقریباً تمام وظایف قبول می‌شود؛ یعنی پاسخ درست معمولاً در دسترس است و فاصله‌ی موجود به مرحله‌ی انتخاب برمی‌گردد. هر دو معیار را همراه با تعداد خام قبولی‌ها به ازای هر وظیفه گزارش کنید؛ چون تکیه کردنِ صرف به pass at k، عملکرد ایجنتی را که از هر بیست تلاش فقط یک بار موفق می‌شود پنهان می‌کند.

پاسخ کامل

آنچه بستر آزمایشی محاسبه می‌کند

بستر آزمایشی (harness) هر وظیفه‌ی آزمایشی ثابت (fixture task) را k بار اجرا می‌کند. هر نمونه از یک مدل اعتبارسنج (verifier) قطعی (deterministic) عبور می‌کند: محتوای فایل با فایل موردانتظار برابر باشد، یک عبارت باقاعده (regex) هم‌خوانی داشته باشد یا یک دستور شل با کد خروجی صفر بسته شود. نرخ قبولی به ازای هر وظیفه (p)، حاصل تقسیم تعداد قبولی‌ها بر تعداد نمونه‌هاست. معیار pass at k شانس این است که در بین k نمونه، حداقل یک پاسخِ قبول‌شده وجود داشته باشد. بستر آزمایشی تعداد خام را هم ذخیره می‌کند تا بازبین بتواند واریانس پشت پرده‌ی این نرخ را ببیند.

تحلیل فاصله‌ی بین دو معیار

پایین بودن قبولی در تلاش اول در کنار بالا بودن قبولی در پنج تلاش نشان می‌دهد ایجنت رفتاری تصادفی (stochastic) دارد، نه این‌که ناتوان باشد. راه‌حل این مشکل، نمونه‌گیری به‌همراه رتبه‌بندی (ranking) است: چند گزینه‌ی کاندید تولید کنید و انتخاب را به یک مدل اعتبارسنج بسپارید؛ همیشه نیاز به آموزش بیشتر مدل نیست. بدون ابزار انتخاب در محیط عملیاتی (production)، کاربر همان نمونه‌ی اول را دریافت می‌کند؛ بنابراین قبولی در تلاش اول همان عددی است که کاربر عملاً حس می‌کند.

چرا باید هر دو عدد باقی بمانند؟

معیار pass at k یک شکست واقعی را لاپوشانی می‌کند. ایجنتی که از هر بیست تلاش فقط یک بار قبول می‌شود، نمره‌ی آبرومندی در pass at twenty می‌گیرد ولی عملاً بی‌فایده است. بستر آزمایشی هر دو عدد را ثبت می‌کند تا هیچ مدیری نتواند نتیجه را به‌تنهایی و جدا از دیگری بخواند.

سایر بخش‌های گزارش

بستر آزمایشی برای جلوگیری از سه حالت شکست (failure modes) وجود دارد: قبولی تاییدنشده، که در آن ایجنت ادعای موفقیت می‌کند و کسی آن را بررسی نمی‌کند؛ افت عملکرد شناسایی‌نشده (undetected regression)، که در آن تغییر پرامپت (prompt) وضعیت وظیفه‌ی پرسرصدا را 4 درصد بهتر و وظیفه‌ی بی‌سروصدا را 14 درصد بدتر می‌کند؛ و دریفت (drift) در سطح وظایف، به این صورت که روز دوشنبه 100 وظیفه اجرا شده باشد و روز جمعه به‌دلیل تغییر نام پنج مورد، فقط 95 وظیفه اجرا شود. بنابراین گزارش شامل قبولی در تلاش اول، pass at k، تعداد به ازای هر وظیفه، میانگین و صدک 95 تاخیر (latency)، و میانگین هزینه خواهد بود؛ آن هم روی همان فهرست ثابت وظایف در هر بار اجرا.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: در محیط عملیاتی به چه چیزی نیاز دارید تا قبولی در پنج تلاشِ بالا را به قبولی در تلاش اولِ بالا تبدیل کنید؟ پاسخ موردانتظار: یک مدل اعتبارسنج که نمونه‌ی موفق را انتخاب کند، مثل تست‌هایی که اجرا می‌شوند؛ بدون آن، کاربر همان نمونه‌ی اول را می‌گیرد.
  • سطح 2: چرا بستر آزمایشی تعداد خام قبولی‌ها را کنار نرخ کلی چاپ می‌کند؟ پاسخ موردانتظار: برای نشان دادن واریانس به ازای هر وظیفه و آشکار کردن وظیفه‌ای که در میان تلاش‌های زیاد فقط یک بار قبول می‌شود.
  • سطح 3: نرخ قبولی از دوشنبه تا جمعه افزایش یافته، درحالی‌که پنج وظیفه‌ی آزمایشی ثابت تغییر نام داده‌اند. آیا این پیشرفت واقعی است؟ پاسخ موردانتظار: خیر؛ مجموعه‌ی وظایف تغییر کرده است، بنابراین اجراها قابل‌مقایسه نیستند و بستر آزمایشی باید همه‌ی نمونه‌ها را در هر بار اجرا با ترتیبی ثابت اجرا کند.
  • سطح 3: بستر آزمایشی برای جلوگیری از کدام سه حالت شکست ایجاد شده است؟ پاسخ موردانتظار: قبولی تاییدنشده، افت عملکرد شناسایی‌نشده میان وظایف، و دریفت در مجموعه‌ی وظایف.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «معیار واقعی، همان قبولی در پنج تلاش است.» این معیار سقف توانایی را با فرض وجود سیستم انتخاب می‌سنجد؛ کاربران فقط یک نمونه تحویل می‌گیرند، مگر این‌که سیستم انتخاب را بسازید.
  • «قبولی در تلاش اول معادل 0.6 یعنی ایجنت کلاً خراب است.» این عدد یعنی نمونه‌ی اول در چهار وظیفه از ده وظیفه شکست می‌خورد؛ اما بالا بودن قبولی در پنج تلاش نشان می‌دهد توانایی لازم وجود دارد و فاصله‌ی موجود در مرحله‌ی انتخاب است.
  • «به گزارش خود ایجنت از موفقیتش اعتماد کنید.» گزارش موفقیت توسط خود ایجنت، اولین حالت شکستی است که بستر آزمایشی برای حذف آن ساخته شده؛ یک مدل اعتبارسنج قطعی باید تصمیم بگیرد.

کجای دوره آموزش داده می‌شود

پروژه‌ی نهایی بستر ارزیابی با وظایف آزمایشی ثابت معیارهای pass at one و pass at k را تعریف می‌کند و دلیل گزارش هم‌زمان هر دو را توضیح می‌دهد.