محیط عملیاتی و MLOps

Production and MLOps

مشاهده‌پذیری، تحویل تدریجی، آزمون‌های A/B، تست آشوب و نوبت پاسخگویی برای سرویس‌های مدل.

سطح ۱ غربالگری ۴

  1. یک هفته اجرای مدل در حالت سایه چه چیزی را ثابت می‌کند؟مفهومی۵ دقیقه
  2. پیش‌نیازهای اجرای اولین آزمایش آشوبمفهومی۶ دقیقه
  3. کدام اسپن‌های ایجنت از نوع CLIENT و کدام INTERNAL هستند؟مفهومی۵ دقیقه
  4. چرا نمره‌ی بالاتر در ارزیابی، باز هم به آزمایش نیاز داردمفهومی۵ دقیقه

سطح ۲ میانی ۱۱

  1. تقسیم مساوی که به نسبت 47 به 53 ختم می‌شوداشکال‌یابی۸ دقیقه
  2. تشخیص تغییر سؤالات کاربران زمانی که ارزیابی‌ها تغییری نشان نمی‌دهندمفهومی۸ دقیقه
  3. نصف جواب و سپس سکوتاشکال‌یابی۸ دقیقه
  4. انتشار قناری یک‌درصدی چه تعداد نمونه در اختیار گیت می‌گذارد؟تخمین۸ دقیقه
  5. کاری کنید بازگشت به عقب بعدی چند ثانیه طول بکشدطراحی۱۰ دقیقه
  6. ترتیب بررسی‌ها پیش از فراخوانی مدل پولیطراحی۱۰ دقیقه
  7. تحلیل نحوه‌ی تخصیص آزمایش در مسیریاب پرامپتکدخوانی۸ دقیقه
  8. آیا متن کامل پرامپت باید روی اسپن قرار بگیرد؟بده‌بستان۸ دقیقه
  9. صفر شدن داشبورد توکن‌ها پس از ارتقای SDKاشکال‌یابی۸ دقیقه
  10. ماندگاری ردگیری محاسبات وقتی هزینه‌ی ثبت آن‌ها از خود مدل بیشتر می‌شودطراحی۱۰ دقیقه
  11. چه زمانی ایجنت تریاژ باید بگوید مطمئن نیستمفهومی۸ دقیقه

سطح ۳ ارشد ۸

  1. شناسایی نشت پرامپت ظرف 5 دقیقهطراحی۱۵ دقیقه
  2. یک ردگیری محاسبات مشترک در سرورهای ابزار مبتنی بر HTTP و stdioطراحی۱۲ دقیقه
  3. انتخاب پشته‌ی مشاهده‌پذیری بدون قفل‌شدن روی یک ارائه‌دهندهبده‌بستان۱۲ دقیقه
  4. بازنگری یک اسپن از branch جدید ابزار دقیقکدخوانی۱۲ دقیقه
  5. تنظیم گیت‌های کنترلی قناری بدون توقف روی نویزطراحی۱۲ دقیقه
  6. متوقف کردن آزمایش با اولین نشانه‌ی موفقیتبده‌بستان۱۲ دقیقه
  7. افت سرعت سرویس‌دهنده و از کار افتادن سرویس شمااشکال‌یابی۱۲ دقیقه
  8. کدام اقدامات اصلاحی را می‌توان به تنهایی به یک ایجنت عملیاتی سپرد؟بده‌بستان۱۲ دقیقه

سطح ۴ استف ۳

  1. جلوگیری از تبدیل آزمایش آشوب در محیط عملیاتی به یک حادثهطراحی۱۸ دقیقه
  2. شبیه‌سازی طرح سایه، قناری و بازگشت به عقبپروژه‌ی خانگی۶۰ دقیقه
  3. واکنش سیستم به پیش‌بینی قطعیطراحی۱۵ دقیقه