سؤال مصاحبه

انتشار پرامپت جدید بدون قمار روی محصول

Roll out a new prompt without betting the product on it

  • سطح ۲: میانی
  • طراحی
  • ۱۲ دقیقه

نسخه‌ی جدیدی از یک پرامپت چت در نوت‌بوک عملکرد بهتری نشان می‌دهد. نحوه‌ی رساندن آن به دست کاربران را طراحی کنید: مراحل، شیوه‌ی تخصیص کاربران، معیارهای اندازه‌گیری در هر مرحله و زمان بازگشت به عقب (Rollback) خودکار.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

ابتدا آن را در حالت سایه (Shadow Mode) روی تمام ترافیک اجرا کنید؛ پاسخ‌هایش را فقط ثبت (Log) کنید بدون اینکه به کاربران نشان دهید، و معیارهای کیفی را با پرامپت فعلی بسنجید. سپس سهم کوچکی از کاربران را به سمت آن هدایت کنید (در این درس، 10%) و تا زمانی که معیارها پایدار بمانند، این سهم را گام‌به‌گام به 25%، 50% و 100% برسانید. تخصیص کاربران را با هش قطعی (Deterministic hash) از شناسه‌ی کاربر انجام دهید تا هر کاربر فقط یک نسخه را ببیند. در صورتی که نرخ خطای نسخه‌ی جدید در بازه‌ای مشخص از درخواست‌ها به دو برابر نسخه‌ی قبلی رسید، بازگشت به عقب را به‌صورت خودکار اجرا کنید.

پاسخ کامل

حالت سایه

پرامپت جدید روی 100% ترافیک اجرا می‌شود اما فقط لاگ‌های آن ذخیره خواهد شد. هیچ کاربری خروجی آن را نمی‌بیند. این کار امکان مقایسه‌ی کامل تاخیر (Latency)، هزینه‌ی هر درخواست، نرخ مسدودسازی توسط گاردریل (Guardrail) و امتیازهای کیفی را در برابر نسخه‌ی فعلی فراهم می‌کند، و کاربران هرگز پاسخی از حالت سایه دریافت نمی‌کنند. از آنجا که فراخوانی‌های سایه ممکن است سهمیه‌ی ارائه‌دهنده (Provider quota) را با ترافیک زنده شریک شوند، حتماً سهمیه یا کلید دسترسی جداگانه‌ای به آن‌ها اختصاص دهید؛ در غیر این صورت، محدودیت سهمیه می‌تواند درخواست‌های زنده را کُند کند یا با خطا مواجه سازد. این مرحله دقیقاً همان گام اولی است که در درس طراحی سامانه‌های یادگیری ماشین، استقرار در سایه (Shadow deployment) برای مدل نامیده می‌شود.

انتشار درصدی

10% از ترافیک را به سمت نسخه‌ی جدید هدایت کنید. اگر کیفیت حفظ شد، سهم را به 25%، سپس 50% و در نهایت 100% برسانید. اگر کیفیت افت کرد، بلافاصله به نسخه‌ی قبل برگردید. هر دو نسخه در حالت مستقر باقی می‌مانند و سوییچ صرفاً از طریق تنظیمات انجام می‌شود؛ بنابراین بازگشت به عقب ظرف چند دقیقه اتفاق می‌افتد؛ این همان قاعده‌ی درس برای همه‌ی مراحل است.

تخصیص قطعی

شناسه‌ی کاربر را به همراه نام آزمایش هش کنید و باقیمانده‌ی آن را بر 100 به دست آورید (Modulo 100). دسته‌هایی که سهم ترافیک کمتری نسبت به آستانه دارند، نسخه‌ی آزمایشی (Variant) را دریافت می‌کنند و مابقی نسخه‌ی کنترل را می‌بینند. با این روش، کاربر در تمام درخواست‌های یک آزمایش، نسخه‌ی یکسانی را تجربه می‌کند و وضعیت تخصیص را می‌توان بعداً از روی لاگ بازتولید کرد. تخصیص تصادفی به ازای هر درخواست باعث می‌شود در طول یک گفت‌وگو نسخه‌ها با هم ترکیب شوند و مقایسه پر از نویز شود.

چه معیارهایی را بسنجیم؟

به ازای هر نسخه‌ی پرامپت این موارد را بسنجید: صدک‌های تاخیر، امتیاز کاربران (در صورت وجود)، نرخ خطا، نرخ مسدودسازی توسط گاردریل و هزینه‌ی هر درخواست. لاگر ارزیابی (Eval logger) نام قالب و نسخه‌ی آن را همراه با هر درخواست ثبت می‌کند، بنابراین معیارها بدون نیاز به سیم‌کشی اضافه، بر اساس نسخه تفکیک می‌شوند.

بازگشت به عقب خودکار

تمرین این درس قاعده‌ای تعیین می‌کند: هرگاه نرخ خطای نسخه‌ی جدید در طول 100 درخواست به 2 برابر نسخه‌ی قبلی رسید، به‌طور خودکار به عقب برگردید. طول این بازه اهمیت دارد؛ تصمیم‌گیری بر اساس چند درخواست محدود نویز است، و از طرف دیگر منتظر ماندن برای هزاران درخواست باعث می‌شود یک پرامپت معیوب بیش از حد فعال بماند.

نکته‌ای درباره‌ی معیارهای کسب‌وکار

حالت سایه و انتشار قناری (Canary) از کاربر محافظت می‌کنند. اما برای اینکه بفهمید آیا پرامپت جدید خروجی نهایی مدنظر کسب‌وکار (مثل تکمیل موفق وظیفه (Task completion)) را بهبود می‌دهد یا خیر، به یک تفکیک کاملاً تصادفی با ترافیک و زمان کافی نیاز دارید؛ یعنی همان مرحله‌ی A/B که در درس طراحی سامانه‌های یادگیری ماشین مطرح شد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا شناسه‌ی کاربر را هش می‌کنیم و به ازای هر درخواست انتخاب تصادفی انجام نمی‌دهیم؟ انتظار می‌رود: کاربر در تمام طول یک نشست (Session) یک نسخه‌ی پایدار و یکدست را ببیند و تخصیص نسخه‌ها از روی لاگ قابل بازتولید باشد.
  • سطح 2: حالت سایه چه چیزی را نشان نمی‌دهد؟ انتظار می‌رود: واکنش کاربران به پاسخ‌های جدید؛ این حالت فقط خروجی‌های ثبت‌شده در لاگ و معیارهای سیستمی را مقایسه می‌کند.
  • سطح 3: پرامپت جدید هزینه‌ی بیشتری به ازای هر درخواست دارد اما امتیاز بالاتری می‌گیرد. چه کسی تصمیم می‌گیرد؟ انتظار می‌رود: یک گاردریل روی هزینه‌ی هر درخواست مشخص می‌کند که آیا اصلاً اجازه‌ی انتشار دارد یا خیر؛ سپس سنجش ارزش افزایش کیفیت در برابر هزینه، یک تصمیم محصولی است که با در دست داشتن هر دو رقم اتخاذ می‌شود.
  • سطح 3: چگونه مانع از به اشتراک گذاشته شدن کش بین نسخه‌ی کنترل و آزمایشی می‌شوید؟ انتظار می‌رود: نسخه‌ی پرامپت را در کلید کش (Cache key) بگنجانید؛ در غیر این صورت، برخورد با کش پاسخ نسخه‌ی دیگر را برمی‌گرداند و نتیجه‌ی مقایسه مخدوش می‌شود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «پرامپت را برای همه منتشر می‌کنیم و داشبورد را زیر نظر می‌گیریم.» در این صورت، قبل از اینکه داشبورد تغییری نشان دهد، افت کیفیت دامن‌گیر همه‌ی کاربران شده است.
  • «برای داشتن آمار دقیق‌تر، به ازای هر درخواست به‌صورت تصادفی نسخه را انتخاب می‌کنیم.» کاربران در طول یک گفت‌وگو هر دو نسخه را می‌بینند و معیارهای ثبت‌شده با هم ترکیب می‌شوند.
  • «حالت سایه کافی است؛ نیازی به قناری نیست.» حالت سایه هیچ‌گاه خروجی را به کاربر نشان نمی‌دهد، بنابراین نمی‌تواند واکنش کاربر را اندازه بگیرد.

کجای دوره آموزش داده می‌شود

در درس برنامه‌های کاربردی LLM در محیط عملیاتی (Production) حالت سایه، انتشار درصدی و تخصیص مبتنی بر هش برای پرامپت‌ها توضیح داده شده است، و درس طراحی سامانه‌های یادگیری ماشین همین سه مرحله را همراه با قاعده‌ی بازگشت به عقب برای مدل‌ها ارائه می‌دهد.