سؤال مصاحبه

تشخیص تغییر سؤالات کاربران زمانی که ارزیابی‌ها تغییری نشان نمی‌دهند

Detect that the questions changed when the evals did not

  • سطح ۲: میانی
  • مفهومی
  • ۸ دقیقه

امتیازهای ارزیابی (eval) شما در تمام طول سال ثابت مانده‌اند. مدیر محصول به شما می‌گوید از بهار تا الان، سؤالاتی که کاربران می‌پرسند تغییر زیادی کرده است. چطور این تغییر را از روی تله‌متری تشخیص می‌دهید و با نتیجه‌ی آن چه می‌کنید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

پرامپت‌ها را به امبدینگ (embedding) تبدیل کنید، آن‌ها را بر اساس هر هفته تجمیع کنید و این هفته را با یک خط مبنای متحرک (trailing baseline) به کمک شاخص پایداری جمعیت (Population Stability Index یا PSI) یا واگرایی کولبک-لایبلر (KL Divergence) مقایسه کنید. بالا رفتن این امتیاز نشان می‌دهد که توزیع ورودی جابه‌جا شده است؛ حتی اگر امتیازهای مجموعه‌ی ارزیابیِ ثابت شما تغییری نکرده باشند. بالاتر از یک آستانه (threshold) هشدار تنظیم کنید، سپس از توزیع جدید نمونه‌گیری و برچسب‌گذاری کنید، مجموعه‌ی ارزیابی را به‌روزرسانی کنید و مسیریابی (routing) و پرامپت‌ها را دوباره در برابر آن بسنجید.

پاسخ کامل

چرا ارزیابی‌ها متوجه این تغییر نمی‌شوند

ارزیابی، مدل را روی یک مجموعه‌ی ثابت و برچسب‌دار اجرا می‌کند. یعنی مدل را بر اساس سؤالات بهار گذشته می‌سنجد. وقتی سؤالات تغییر می‌کنند، مجموعه‌ی ارزیابی تغییری نمی‌کند؛ در نتیجه امتیاز ثابت می‌ماند، در حالی که محصول در عمل بی‌سر‌و‌صدا به جامعه‌ی متفاوتی از کاربران پاسخ می‌دهد.

سیستم تشخیص

پروژه‌ی پایانی (capstone) یک جاب هفتگی اجرا می‌کند. این جاب امبدینگ پرامپت‌های هفته را تجمیع می‌کند و شاخص پایداری جمعیت را نسبت به خط مبنای 4 هفته‌ی گذشته می‌سنجد. جدول اصطلاحات کلیدی تفسیر معمول را نشان می‌دهد: مقدار PSI بالای 0.2 نشان‌دهنده‌ی یک جابه‌جایی معنادار است. خروجی نمونه، یک هفته‌ی آرام با مقدار 0.08 را نشان می‌دهد که زیر این آستانه است. همین جاب می‌تواند واگرایی کولبک-لایبلر را هم روی همان امبدینگ‌ها حساب کند. روند امتیاز ارزیابی را کنار آن پایش کنید تا هر دو نما در یک صفحه کنار هم باشند.

تفکیک بر اساس اپلیکیشن، نه فقط به‌صورت کلی

امتیاز کلی، اثر دریفت (drift) را در میانگین‌گیری گم می‌کند. تمرین پروژه‌ی پایانی، PSI را بر اساس شناسه‌ی اپلیکیشن (application id) محاسبه می‌کند که مشخص می‌سازد کدام بخش از محصول دچار تغییر شده است. یک بات پشتیبانی و یک دستیار کدنویسی به‌ندرت هم‌زمان با هم دچار دریفت می‌شوند.

اقدامات لازم پس از مشاهده‌ی یک جابه‌جایی واقعی

  1. از توزیع جدید پرامپت‌ها نمونه‌گیری کنید، به آن‌ها برچسب بزنید و مجموعه‌ی ارزیابی را به‌روزرسانی کنید.
  2. ارزیابی‌ها را روی مجموعه‌ی جدید دوباره اجرا کنید. ثابت بودن امتیاز روی مجموعه‌ی قدیمی هیچ تضمینی برای عملکرد روی مجموعه‌ی جدید نمی‌دهد.
  3. هر چیزی را که روی توزیع قدیمی آموزش دیده یا تنظیم شده دوباره بررسی کنید: دسته‌بندِ مسیریابی، قالب‌های پرامپت (prompt templates) و آستانه‌های کَش.

محل استقرار این سیستم

در لایه‌ی مشاهده‌پذیری (observability plane): اسپن‌ها (spans) وارد مخزن اسپن‌ها (span store) می‌شوند، جاب هفتگی آن‌ها را می‌خواند، متریک را ثبت می‌کند و زنجیره‌ی هشدار آن را دریافت می‌کند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: تفاوت بین PSI روی پرامپت‌ها و افت امتیاز ارزیابی چیست؟ پاسخ مورد انتظار: شاخص PSI ورودی‌ها را می‌سنجد، در حالی که ارزیابی عملکرد مدل را روی ورودی‌های ثابت ارزیابی می‌کند؛ بنابراین اولی می‌تواند جابه‌جا شود در حالی که دومی ثابت می‌ماند.
  • سطح 2: چرا سیستم تشخیص را بر اساس شناسه‌ی اپلیکیشن اجرا می‌کنیم؟ پاسخ مورد انتظار: امتیاز کلی، دریفت را میانگین می‌گیرد و محو می‌کند، اما بررسیِ تفکیک‌شده بر اساس اپلیکیشن نشان می‌دهد کدام بخش دچار تغییر شده است.
  • سطح 3: استفاده از یک خط مبنای یک‌هفته‌ای چه مشکلی ایجاد می‌کند؟ پاسخ مورد انتظار: تغییرات فصلیِ هفتگی (weekly seasonality) به‌اشتباه دریفت دیده می‌شود و خط مبنا هم‌گام با ورودی‌هایی که قرار است بسنجد جابه‌جا خواهد شد.
  • سطح 3: شاخص PSI بعد از یک کمپین بازاریابی از آستانه عبور کرده است. آیا این یک مشکل است؟ پاسخ مورد انتظار: این یک جابه‌جایی واقعی در ورودی‌ها است. مسئله این است که آیا کیفیت خروجی روی این ورودی‌های جدید حفظ شده یا نه؛ پس باید نمونه‌گیری، برچسب‌گذاری و ارزیابی کنید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «ثابت ماندن امتیازهای ارزیابی یعنی دریفتی رخ نداده است.» مجموعه‌ی ارزیابی ثابت است، بنابراین متوجه تغییر ورودی‌ها نمی‌شود.
  • «رشته‌های خام پرامپت را با هم مقایسه کنید.» لحن و کلمات در هر درخواست تغییر می‌کنند. امبدینگ‌ها توزیع موضوعی را استخراج می‌کنند.
  • «روی هر امتیازی بالاتر از صفر هشدار بدهید.» مقادیر کوچک صرفاً نویز هستند. آستانه‌ی پروژه‌ی پایانی 0.2 است.

کجای دوره آموزش داده می‌شود

پروژه‌ی پایانیِ داشبورد مشاهده‌پذیری جاب هفتگی PSI را روی امبدینگ پرامپت‌ها اجرا می‌کند و زنجیره‌ی هشدار را تنظیم می‌نماید.