سؤال مصاحبه

همه‌ی معیارها جابه‌جا شدند، بدون این‌که محصول تغییری کرده باشد

Every metric moved and the product did not

  • سطح ۲: میانی
  • اشکال‌یابی
  • ۷ دقیقه

یک‌شبه تمام معیارهای داشبورد ارزیابی (eval) چند واحد جابه‌جا شدند؛ برای برخی معیارها بالا رفتند و برای برخی دیگر پایین، بدون این‌که پرامپت یا مدلی در محصول تغییر کرده باشد. آخرین تغییری که merge شد، فقط مدل داور (judge) را به جدیدترین نسخه‌اش تغییر داده بود. دقیقاً چه اتفاقی افتاده و چنین تغییری را چطور باید اعمال کرد؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

داور بخشی از فرایند اندازه‌گیری است؛ بنابراین تغییر نسخه‌ی داور، همه‌ی معیارها را یک‌جا تغییر می‌دهد، در حالی که محصول دست‌نخورده باقی مانده است. مدل و نسخه‌ی داور را در پایپ‌لاین فریز (freeze) کنید. موقع ارتقا، داور قدیم و جدید را به‌طور موازی روی یک خط مبنای (baseline) یکسان اجرا کنید، داور جدید را در مقایسه با مجموعه‌ی برچسب‌خورده‌ی انسانی کالیبره کنید و پیش از مقایسه‌ی هر مورد جدید، خط مبنا را از نو تنظیم کنید.

پاسخ کامل

چرا همه‌چیز جابه‌جا شد؟

امتیاز داور تابعی از خروجی و خودِ داور است. اگر داور را تغییر دهید، مقیاس و واحد تمام امتیازهای ذخیره‌شده تغییر می‌کند. در درس به دریفت نسخه‌ی داور (judge version drift) به‌عنوان یکی از سه شکست خاموش اشاره شده و خواسته شده است هر پایپ‌لاینی را که ارتقای داور در آن بدون ارزیابی موازی روی خط مبنا اعمال می‌شود، نشانه‌گذاری و گزارش کنید.

پروتکل ارتقای داور

  1. مدل و نسخه‌ی داور را ثابت (pin) کنید و هر دو را در هر اجرا ثبت نمایید.
  2. پیش از جابه‌جایی نهایی، یک مجموعه‌ی خط مبنای فریز‌شده را هم با داور قدیم و هم با داور جدید امتیازدهی کنید.
  3. داور جدید را کالیبره کنید: همبستگی اسپیرمن (Spearman correlation) با مجموعه‌ی برچسب‌خورده‌ی دستی باید 0.7 یا بیشتر باشد.
  4. اگر داور جدید کالیبراسیون بهتری داشت، آن را به کار بگیرید و خطوط مبنای ذخیره‌شده را دوباره امتیازدهی کنید تا تاریخچه و اجراهای جدید، داور مشترکی داشته باشند.
  5. نقطه‌ی جابه‌جایی را روی همه‌ی نمودارها علامت‌گذاری کنید.

عوامل دیگری که همه‌ی امتیازها را جابه‌جا می‌کنند

ویرایش مجموعه‌ی ارزیابی بدون تگ نسخه (version tag)، تغییر در نحوه‌ی شمارش امتیازهای مفقود، یا اجرایی که تعدادی از وظیفه‌ها (tasks) در آن جا افتاده باشند. با هر تغییر روی مجموعه‌داده، به آن تگ بزنید و تعداد وظیفه‌ها را ثبت کنید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چه عامل دیگری می‌تواند بدون تغییر محصول، همه‌ی امتیازها را جابه‌جا کند؟ پاسخ مورد انتظار: ویرایش مجموعه‌ی ارزیابی بدون تگ نسخه، یا تغییر در نحوه‌ی شمارش امتیازهای مفقود.
  • سطح 2: دفعه‌ی بعد چطور تفاوت بین تغییر داور و پسرفت (regression) محصول را تشخیص می‌دهید؟ پاسخ مورد انتظار: متادیتای اجرا مدل و نسخه‌ی داور را ثبت می‌کند؛ بنابراین تفاوت‌های بازنگری (diff) در متادیتا پاسخ را مشخص می‌کند.
  • سطح 3: داور جدید همبستگی بهتری با برچسب‌های انسانی دارد. آیا آن را به کار می‌گیرید؟ پاسخ مورد انتظار: بله، اما ابتدا خط مبنای ذخیره‌شده را دوباره با آن امتیازدهی می‌کنیم تا اعداد قدیم و جدید داور یکسانی داشته باشند.
  • سطح 3: چطور خط روند (trendline) را در طول این جابه‌جایی حفظ می‌کنید؟ پاسخ مورد انتظار: یک مجموعه‌ی فریز‌شده و ثابت را با هر دو داور امتیازدهی می‌کنیم، میزان انحراف (offset) را برای هر معیار اعلام می‌کنیم و نقطه‌ی جابه‌جایی را روی نمودار نشانه‌گذاری می‌کنیم.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «داور جدیدتر است و امتیازها بالاتر رفته‌اند، پس منتشرش کن.» محصول تغییری نکرده، بلکه فقط عدد عوض شده است. تغییر داور نیازمند ارزیابی موازی روی خط مبنا است.
  • «همیشه از جدیدترین نسخه‌ی داور به‌صورت خودکار استفاده کن.» ارتقای خودکار همه‌ی خطوط روند را بی‌معنی می‌کند؛ نسخه را ثابت نگه دارید.
  • «تغییر نسخه‌ی جزئی نیازی به کالیبراسیون مجدد ندارد.» هر تغییر نسخه‌ای می‌تواند امتیازها را تغییر دهد؛ بررسی همبستگی را دوباره اجرا کنید.

کجای دوره آموزش داده می‌شود

درس فریم‌ورک‌های ارزیابی مدل‌های زبانی بزرگ به دریفت نسخه‌های داور اشاره می‌کند و اجرای هم‌زمان روی خط مبنای فریز‌شده را پیش از نهایی شدن هرگونه ارتقا، الزامی می‌داند.