سؤال مصاحبه

یک گیت ارزیابی روی تمام Pull Requestها

An eval gate on every pull request

  • سطح ۳: ارشد
  • طراحی
  • ۱۲ دقیقه

یک گیت ارزیابی (eval gate) طراحی کنید که روی هر pull request مربوط به تغییر پرامپت‌ها یا کد مدلِ یک دستیار پشتیبانی اجرا شود. مشخص کنید چه مواردی اجرا می‌شوند، چه چیزی مانع merge می‌شود، هزینه‌ی ماهانه‌ی آن چقدر است و چگونه جلوی مسدود شدن گیت بر اثر نویز را می‌گیرید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

فرایند را با تغییر مسیرهای پرامپت و مدل فعال کنید؛ یک مجموعه‌ی آزمون (suite) نسخه‌بندی‌شده و ثابت شامل حدود 200 مورد را با پرامپت پیشنهادی اجرا کنید، چهار معیارِ لنگر انداخته (anchored criteria) را با یک ارزیاب (judge) تثبیت‌شده و کالیبره‌شده امتیازدهی کنید و خروجی را با امتیازهای ذخیره‌شده‌ی آخرین خط مبنای (baseline) سالمِ شناخته‌شده بسنجید. اگر هر معیاری فراتر از آستانه افت کند و بازه‌ی اطمینانِ اختلاف شامل صفر نباشد، جلوی merge را بگیرید و نتایج را به عنوان دست‌سازه (artifact) ذخیره کنید. با یک مدل ارزیاب سبک و ارزان، اجرای 200 مورد حدود 4 دلار هزینه برمی‌دارد؛ بنابراین ده merge در هفته حدود 160 دلار در ماه تمام می‌شود.

پاسخ کامل

چه مواردی اجرا می‌شوند

  • محرک (Trigger): یک فیلتر مسیر روی دایرکتوری پرامپت و کد مدل، تا برای commitهای مربوط به مستندات، هزینه‌ی اجرا پرداخت نشود.
  • مجموعه‌ی آزمون: یک هسته‌ی طلایی از 50 تا 100 مورد دست‌چین‌شده، 20 تا 50 مورد تخاصمی (adversarial) مانند تزریق پرامپت (prompt injection)، پرسش‌های خارج از دامنه و درخواست‌های مخرب، و 100 تا 200 نمونه از ترافیک واقعی. این مجموعه را نسخه‌بندی کنید و به هر تغییر برچسب بزنید.
  • امتیازدهی: ابتدا بررسی‌های قطعی (deterministic assertions) مانند بررسی وجود رشته (contains) یا رجکس (regex)، چون هزینه‌ای ندارند. سپس ارزیاب برای معیارهای مرتبط بودن، درستی، مفید بودن و ایمنی؛ هرکدام در یک مقیاس لنگر انداخته‌ی 1 تا 5، با مدل ارزیاب و نسخه‌ی تثبیت‌شده که بر اساس برچسب‌های دستی کالیبره شده است.

چه مواردی مانع merge می‌شوند

خط مبنا را یک بار، زمانی که به آخرین نسخه‌ی سالمِ شناخته‌شده تبدیل می‌شود، امتیازدهی کرده و نتایج را ذخیره کنید. در هر pull request فقط پرامپت جدید روی همان نسخه‌ی مجموعه‌ی آزمون ارزیابی می‌شود. برای هر معیار، میانگین اختلاف و نرخ قبولی (pass rate) برای امتیاز 4 یا بالاتر را با بازه‌ی ویلسون (Wilson interval) حساب کنید. کد ارائه‌شده در این درس جلوی هر افتی در میانگین که بیش از 0.3 باشد را می‌گیرد. این کد بازه‌ی بوت‌استرپ (bootstrap) را برای هر اجرا جداگانه محاسبه می‌کند، نه بازه‌ی اطمینان روی تفاضل را؛ بنابراین یک افت ناشی از نویز هم می‌تواند مانع merge شود. جریان کاری مکتوب آن نیازمند یک آزمون آماری است: تی-تست جفتی (paired t-test) یا بوت‌استرپ. یک بوت‌استرپ جفتی روی اختلافِ تک‌تک موارد به کد اضافه کنید و فقط زمانی جلوی merge را بگیرید که هر دو شرط برقرار باشند: افتی بیش از 0.3 و بازه‌ی اطمینانی روی اختلاف که شامل صفر نباشد. گزارش باید مواردی را که کیفیتشان افت کرده فهرست کند تا نویسنده بتواند آن‌ها را بررسی کند.

هزینه‌ها چقدر است

مجموعه‌ی آزمون مدل ارزیاب سبک زمان
100 مورد، 4 معیار حدود 2 دلار حدود 2 دقیقه
200 مورد، 4 معیار حدود 4 دلار حدود 4 دقیقه
500 مورد، 4 معیار حدود 10 دلار حدود 10 دقیقه
1000 مورد، 4 معیار حدود 20 دلار حدود 20 دقیقه

ده pull request در هفته با 200 مورد حدود 160 دلار در ماه هزینه دارد، زیرا هر pull request فقط هزینه‌ی یک بار اجرا را می‌دهد و از امتیازهای ذخیره‌شده‌ی خط مبنا دوباره استفاده می‌کند. اگر قرار باشد در هر pull request خط مبنا را از نو امتیازدهی کنید، هزینه دو برابر می‌شود. نمونه‌ی نقضِ مطرح‌شده در درس، تغییر پرامپتی است که کامل بودن پاسخ‌ها را 34 درصد کاهش داد و تا 11 روز هیچ‌کس متوجه آن نشد.

چطور جلوی نویز را بگیریم

در یک مجموعه‌ی 50 موردی، پهنای بازه‌ی اطمینان 19 واحد است و پسرفت (regression) 5 درصدی اصلاً دیده نمی‌شود؛ بنابراین مجموعه‌ی آزمون به حدود 200 مورد نیاز دارد. مدل ارزیاب را تثبیت (freeze) کنید، چون ارتقای ارزیاب تمام امتیازها را جابه‌جا می‌کند. مجموعه‌ی آزمون را نسخه‌بندی‌شده نگه دارید و هرگز آن را داخل همان pull request که در آزمون رد شده دستکاری نکنید. یک هشدار برای چندکِ پایینی (bottom quantile) و یک تفکیک بر اساس دسته‌بندی اضافه کنید، چون ممکن است پرامپت در کل بهتر شود اما در حوزه‌ی ایمنی پسرفت کند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا باید روی محرک، فیلتر مسیر بگذاریم؟ پاسخ مورد انتظار: این ارزیابی هزینه مالی و زمانی دارد؛ آن را فقط وقتی اجرا کنید که پرامپت‌ها یا کد مدل تغییر می‌کنند، نه روی هر commit.
  • سطح 3: یکی از معیارها 0.1 واحد جابه‌جا شده و نویسنده‌ی کد آن را پسرفت می‌داند. پاسخ مورد انتظار: آستانه‌ی مجاز 0.3 روی میانگین همراه با بازه‌های اطمینان است؛ افت 0.1 در 200 مورد در محدوده‌ی نویز قرار می‌گیرد، بنابراین آن را گزارش کنید اما جلوی merge را نگیرید.
  • سطح 4: گیت مانع merge می‌شود و نویسنده ادعا می‌کند مجموعه‌ی آزمون قدیمی است. فرایند درست چیست؟ پاسخ مورد انتظار: تغییرات مجموعه‌ی آزمون باید تغییراتی مجزا، بازنگری‌شده و نسخه‌بندی‌شده باشند؛ وقتی نسخه‌ی مجموعه‌ی آزمون تغییر می‌کند، خط مبنا را دوباره اجرا کنید و هرگز مجموعه‌ی آزمون را داخل همان pull request ردشده ویرایش نکنید.
  • سطح 4: چطور متوجه می‌شوید که بهبودِ کلی سیستم باعث پسرفت در یک دسته‌بندی خاص نشده است؟ پاسخ مورد انتظار: با یک گزارش تفکیک‌شده و لایه‌بندی‌شده به ازای هر دسته‌بندی همراه با بازه‌های اطمینان، و قانونی برای مسدود کردن merge در صورت افت هر کدام از دسته‌ها.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «به جای این کار، ارزیابی را شبانه (nightly) اجرا کنید.» اجرای شبانه پسرفت را بعد از merge نشان می‌دهد؛ نمونه‌ی واقعی این درس 11 روز ارائه‌ی سرویسی با افت کیفیت بود. ارزیابی باید قبل از merge انجام شود.
  • «پنجاه مورد طلایی برای یک گیت کافی است.» با 50 مورد، پهنای بازه‌ی اطمینان 19 واحد است و پسرفت 5 درصدی اصلاً قابل تشخیص نیست.
  • «در هر بار اجرا از جدیدترین مدل ارزیاب استفاده کنید.» تغییر ارزیاب تمام امتیازها را دستخوش تغییر می‌کند؛ ارزیاب را تثبیت کنید و تغییر آن را فقط هم‌زمان با یک خط مبنای موازی انجام دهید.

کجای دوره آموزش داده می‌شود

درس ارزیابی و آزمون پایپ‌لاین، آستانه‌ها و جدول هزینه‌ها را شرح می‌دهد، و درس فریم‌ورک‌های ارزیابی LLM الگوی گیت آزمون و قواعد کالیبراسیون را پوشش می‌دهد.