سؤال مصاحبه

ساخت یک پایپ‌لاین ارزیابی آفلاین برای مدلی کوچک

Build an offline eval pipeline for a small model

  • سطح ۴: استف
  • پروژه‌ی خانگی
  • ۶۰ دقیقه

پروژه‌ی خانگی (Take-home). فرض کنید یک مدل کوچک دستور‌تنظیم‌شده (instruction-tuned)، یک پیکره متنی ارزیابی (held-out corpus)، مجموعه‌ای از پرامپت‌های کوتاه واقعیت‌محور با پاسخ‌های مرجع (gold answers)، مجموعه‌ای از پرامپت‌های بازپاسخ با پاسخ‌های مرجع، و محیطی کاملاً بدون دسترسی به شبکه در اختیارتان قرار گرفته است. پایپ‌لاین ارزیابی (Evaluation Pipeline) بسازید که بیش از یک عدد را گزارش کند، منطق تجمیع آن‌ها را شرح دهد، و توضیح دهد که پس از فراهم شدن دسترسی به شبکه و مدل داور (judge model)، این سیستم چگونه در CI اجرا خواهد شد. چه مواردی را تحویل می‌دهید و چه چیزهایی را عامدانه کنار می‌گذارید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

یک فایل اجرایی شامل چهار ارزیابی تحویل دهید: پرپلکسیتی (Perplexity) روی داده‌های ارزیابی با محاسبه‌ی دقیق و صادقانه‌ی توکن‌ها، تطابق دقیق (Exact Match) نرمال‌سازی‌شده روی داده‌های واقعیت‌محور، F1 در سطح توکن (Token F1) روی داده‌های بازپاسخ، و یک داور ماک قطعی (deterministic mock judge) با مقیاس 1 تا 5 که دقیقاً همان رابط کاربری (اینترفیس) مدل داور واقعی را دارد. امتیاز تک‌تک ارزیابی‌ها، یک امتیاز تجمیعی وزن‌دار (با قرار دادن وزن‌ها در فایل تنظیمات) و رکوردهای هر نمونه را برای خطایابی گزارش کنید. داور واقعی، فواصل اطمینان روی امتیاز تجمیعی و هر چیزی را که نیازمند شبکه است کنار بگذارید و این موضوع را صراحتاً در فایل راهنما (README) قید کنید.

پاسخ کامل

چهار نوع ارزیابی

هر ارزیابی بُعدی را می‌سنجد که بقیه از آن غافل‌اند. پرپلکسیتی نشان می‌دهد که آیا مدل اصلاً با زبان هم‌خوانی دارد یا خیر. تطابق دقیق بررسی می‌کند که آیا در پاسخ‌های کوتاه عین رشته‌ی مرجع تولید می‌شود یا نه. F1 در سطح توکن، بازنویسی‌ها را در پاسخ‌های تشریحی می‌بخشد. داور نیز کیفیتی را می‌سنجد که معیارهای مبتنی بر رشته قادر به دیدنش نیستند. هر کدام تابعی است که مدل و دیتاست را می‌گیرد و نتیجه‌ای شامل معیار، جزئیات هر نمونه و یک نام برمی‌گرداند.

جزئیاتی که بازبین بررسی می‌کند

  • پرپلکسیتی: تابع زیان (loss) را روی موقعیت توکن‌های هدفِ واقعی جمع بزنید، توکن‌های فاصله‌گذار (pad) را از مخرج کسر حذف کنید، توکن‌های هدف را یک واحد شیفت دهید و عمل تقسیم را تنها یک بار در پایان انجام دهید.
  • نرمال‌سازی: حروف را کوچک (lowercase) کنید، فاصله‌های خالی ابتدا و انتها را حذف کنید، فاصله‌های متوالی را به یک فاصله تبدیل کنید و اگر تفاوت دو طرف فقط در علائم نگارشی پایانی است، آن‌ها را نادیده بگیرید. F1 در سطح توکن در صورتی که هر دو طرف خالی باشند برابر 1 و اگر فقط یکی خالی باشد برابر 0 است.
  • داور ماک: در صورت تطابق رشته‌های نرمال‌سازی‌شده امتیاز 5، با F1 توکنی حداقل 0.8 امتیاز 4، بین 0.5 تا 0.8 امتیاز 3، بین 0.2 تا 0.5 امتیاز 2 و در غیر این صورت امتیاز 1 به‌همراه یک خط استدلال ثبت می‌کند. این یک داور نیست؛ صرفاً رابط کاربری را تثبیت می‌کند تا جایگزینی آن با مدلی واقعی، فقط با تغییر یک تابع انجام شود.

تجمیع

هر ارزیابی را به بازه‌ی صفر تا یک نرمال‌سازی کنید: پرپلکسیتی به‌صورت معکوس یک به‌علاوه‌ی لگاریتم پرپلکسیتی، تطابق دقیق و F1 با همان مقادیر اصلی، و امتیاز داور نیز تقسیم بر 5. وزن‌های پیش‌فرض 0.2، 0.3، 0.3 و 0.2 هستند. آن‌ها را درون کانفیگ بگذارید و در گزارش چاپ کنید؛ چرا که این انتخاب تصمیمی وابسته به محصول (product decision) است، نه یک حقیقت علمی. گزارش را با کلیدهای پایدار JSON و یک جدول برای ترمینال بنویسید.

سناریوی CI

وقتی شبکه فراهم شد، داور ماک را با یک داور واقعی جایگزین کنید و پیش از آنکه امتیازهایش مانع اجرای فرایندی شوند، آن را با حداقل 50 نمونه‌ی برچسب‌گذاری‌شده با دست و با ضریب همبستگی اسپیرمن (Spearman correlation) حداقل 0.7 کالیبره کنید. مجموعه‌ی ارزیابی را به حدود 200 نمونه افزایش دهید، نتایج دو بار اجرا را با فواصل اطمینان ویلسون (Wilson) و بوت‌استرپ (Bootstrap) بسنجید، در صورت افت بیش از 0.3 روی هر معیار مانع ادغام شوید (block)، پایپ‌لاین را با تغییرات مسیر پرامپت و مدل فعال کنید و گزارش را به‌صورت دست‌سازه (Artifact) بارگذاری نمایید.

چه مواردی کنار گذاشته می‌شوند و چرا

داور واقعی؛ چون نه شبکه‌ای در کار است و نه برچسب‌های انسانی برای کالیبراسیون آن. فواصل اطمینان روی امتیاز تجمیعی؛ چون وزن‌ها آن را به عددی وابسته به محصول تبدیل می‌کنند (فواصل اطمینان را روی مؤلفه‌ها بگذارید). بررسی آلودگی داده‌ها (Contamination Check)؛ چون پیکره‌ی متنیِ آموزش در دسترس نیست. دلیل حذف هر کدام را در فایل راهنما بیاورید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: اصلاً چرا باید داور ماک را در خروجی نهایی نگه داشت؟ پاسخ مورد انتظار: رابط کاربری و مسیر تجمیع را تثبیت می‌کند تا جایگزینی داور واقعی فقط با تغییر یک تابع ممکن شود، و حلقه را به‌صورت آفلاین قابل‌اجرا نگه می‌دارد.
  • سطح 3: چرا میانگین وزن‌دار تصمیمی وابسته به محصول است؟ پاسخ مورد انتظار: وزن‌ها ارزش‌های محصول را نشان می‌دهند؛ پایپ‌لاین آن‌ها را در کانفیگ مشخص می‌کند و تک‌تک مؤلفه‌ها را گزارش می‌دهد تا بازبین ببیند پشت امتیاز تجمیعی چه پنهان شده است.
  • سطح 4: اولین چیزی که بعد از دسترسی به شبکه اضافه می‌کنید چیست؟ پاسخ مورد انتظار: یک داور واقعی پشت همان تابع، و سپس یک اجرای کالیبراسیون در برابر داده‌های برچسب‌خورده‌ی دستی، پیش از آنکه امتیازهای آن جلوی چیزی را بگیرند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «خروجی نهایی فقط یک عدد برای دقت (accuracy) است.» یک معیار منفرد هرگز مدلی را توصیف نمی‌کند؛ صورت مسئله چند معیار مختلف و توضیح نحوه‌ی تجمیع را خواسته است.
  • «پرپلکسیتی را کنار بگذارید، چون معیارِ وظیفه (task metric) نیست.» این ارزان‌ترین بررسی برای این است که آیا مدل اصلاً با زبان هم‌خوانی دارد یا نه؛ و خطا در محاسبه‌ی دقیق آن همان چیزی است که بازبین به دنبالش می‌گردد.
  • «وزن‌ها را هاردکد کنید.» وزن‌ها تصمیم‌های مربوط به محصول هستند؛ آن‌ها را در کانفیگ بیاورید و کنار اعداد چاپ کنید.

کجای دوره آموزش داده می‌شود

پروژه‌ی پایانی پایپ‌لاین ارزیابی این چهار ارزیابی و تجمیع‌کننده را می‌سازد، درس ارزیابی و تست گیت CI را اضافه می‌کند و درس فریم‌ورک‌های ارزیابی LLM قواعد کالیبراسیون مدل داور را ارائه می‌دهد.