فاز 17 · درس 20

استقرار تدریجی مدل‌های زبانی: ترافیک سایه و استقرار قناری

نوع
مفهومی
زمان
حدود 60 دقیقه
زبان‌ها
Python (stdlib, toy canary-progression simulator)
پیش‌نیاز
فاز 17 · درس 13 (مشاهده‌پذیری)، فاز 17 · درس 21 (آزمون A/B)
یک سیستم کنترل و دوشاخه شدن جریان لوله‌های نورانی که یک شاخه کم‌نور با نشانگرهای کنترلی از شاخه اصلی جدا می‌شود
فهرست مطالب
  1. اهداف یادگیری
  2. صورت مسئله
  3. مفاهیم اصلی
  4. حالت سایه
  5. استقرار قناری
  6. غیرقطعی بودن؛ واریانس جدید دنیای نرم‌افزار
  7. هزینه یک متغیر است
  8. بازگشت به عقب، سلاح اصلی شماست
  9. ابزارها
  10. فواصل زمانی پایش شاخص‌ها
  11. گام آزمون A/B اختیاری است
  12. اعدادی که باید به خاطر بسپارید
  13. اجرای عملی
  14. تحویل پروژه
  15. تمرین‌ها
  16. اصطلاحات کلیدی
  17. برای مطالعه‌ی بیشتر

استقرار مدل‌های زبانی بزرگ تفاوت بنیادینی با استقرار سرویس‌های سنتی نرم‌افزاری دارد. در مهندسی نرم‌افزار معمولاً به کمک تست‌های واحد از صحت کارکرد مطمئن می‌شوید، اما خروجی مدل‌های زبانی به دلیل ذات غیرقطعی و وابستگی به متغیرهایی مثل اندازه دسته‌ها یا محاسبات ممیز شناور، همیشه یکسان نیست. یک تغییر به‌ظاهر کوچک در مدل می‌تواند بدون هیچ خطای سیستمی، هزینه‌های پردازش یا مصرف توکن را چند برابر کند یا بازخورد منفی کاربران واقعی را به همراه داشته باشد.

اگر ارتقای مدل را با جابه‌جایی ناگهانی کل ترافیک انجام دهید، کوچک‌ترین پسرفت کیفی یا انفجار هزینه فوراً دامن‌گیر کل کاربران پروداکشن می‌شود. بازگشت به عقب از طریق استقرار مجدد کدهای سنگین یا دانلود مجدد مدل‌ها در زیرساخت‌های سرور ساعت‌ها زمان می‌برد. از این رو، پیاده‌سازی سازوکار استقرار تدریجی ضرورت پیدا می‌کند.

در این درس می‌آموزید که چطور با الگوهای ترافیک سایه (Shadow Traffic) و استقرار قناری (Canary Rollout) همراه با گیت‌های پنج‌گانه، رفتار مدل جدید را در شرایط واقعی بسنجید و فرایند بازگشت به عقب (Rollback) را با تکیه بر پرچم‌های سیاست‌گذاری، از چند ساعت به چند ثانیه کاهش دهید.

استقرار مدل‌های زبانی (LLM rollouts) سخت‌ترین بخش‌های استقرار نرم‌افزار را یک‌جا جمع کرده است: نبود تست واحد (unit test)، حالت‌های شکست پراکنده و مبهم، و سیگنال‌های دیرهنگام. توالی درست مراحل به این ترتیب است: (1) حالت سایه (shadow mode) — تکثیر درخواست‌های محیط عملیاتی (پروداکشن) به مدل کاندید، ثبت گزارش‌ها و مقایسه بدون کوچک‌ترین اثر روی کاربر؛ این مرحله ناسازگاری‌های فاحش در توزیع را شکار می‌کند اما تضمین‌کننده‌ی کیفیت نیست؛ (2) استقرار قناری (canary rollout) — انتقال تدریجی ترافیک زنده با نسبت‌های 10% ← 25% ← 50% ← 75% ← 100% همراه با گیت‌های کنترلی در هر گام؛ ردگیری صدک‌های تاخیر، هزینه به ازای درخواست، نرخ خطا/امتناع مدل، توزیع طول خروجی و نرخ بازخورد کاربر؛ (3) آزمون A/B برای مقایسه‌ی گزینه‌های کاملاً متمایز پس از تایید پایداری. غیرقطعی بودن (non-determinism) مدل‌ها اجتناب‌ناپذیر است — ممکن است تا 15% نوسان در دقتِ اجراهای مختلف با ورودی‌های یکسان، به دلیل خاصیت عدم شرکت‌پذیری محاسبات ممیز شناور روی پردازنده‌ی گرافیکی (GPU FP non-associativity) به اضافه‌ی تفاوت اندازه‌ی دسته‌ها (batch-size) رخ دهد. هزینه متغیری سیال است نه عددی ثابت — مدلی با 20% عملکرد بهتر ممکن است به ازای هر فراخوانی 3 برابر گران‌تر تمام شود. سرعت بازگشت به عقب سرنوشت‌ساز است: اگر بازگشت به عقب نیازمند استقرار مجدد باشد، یعنی بیش از حد کند هستید. سیاست‌ها باید در فایل‌های پیکربندی/پرچم‌ها (flags) تعریف شوند و مدل‌ها با شناسه‌های پین‌شده (pinned digests) در رجیستری بنشینند؛ به این ترتیب بازگشت به عقب یعنی تغییر پرچم سیاست + بازگرداندن آستانه + پین کردن مدل قبلی در عرض چند ثانیه.

اهداف یادگیری

  • تمایز قائل شدن بین حالت سایه (مقایسه‌ی بدون اثر روی کاربر)، قناری (انتقال تدریجی ترافیک زنده) و آزمون A/B (مقایسه پس از تایید پایداری).
  • برشمردن پنج معیار اختصاصی قناری برای مدل‌های زبانی (تاخیر، هزینه به ازای درخواست، خطا/امتناع مدل، توزیع طول خروجی، بازخورد کاربر).
  • توضیح این‌که چرا غیرقطعی بودن مدل‌های زبانی (تا 15%) تعریف مفهوم «پایدار» را در زمان استقرار تغییر می‌دهد.
  • طراحی سازوکار بازگشت به عقبی که به جای ساعت‌ها (استقرار مجدد)، چند ثانیه (تغییر پرچم سیاست) زمان ببرد.

صورت مسئله

مدل جدیدی را روانه‌ی محیط عملیاتی (پروداکشن) می‌کنید. ارزیابی‌های آفلاین 3% بهبود در دقت نشان می‌دهند. آن را در پروداکشن فعال می‌کنید. ظرف 24 ساعت، هزینه‌ها 40% بالا می‌رود، بازخوردهای منفی کاربران 8% بیشتر می‌شود و سه تیکت پشتیبانی از «پاسخ‌های عجیب‌وغریب» شکایت می‌کنند. تصمیم به بازگشت به عقب می‌گیرید. استقرار مجدد 3 ساعت طول می‌کشد. تعطیلات آخر هفته‌تان خراب می‌شود.

تک‌تک این موارد قابل پیشگیری بودند. حالت سایه می‌توانست جهش 40 درصدی هزینه‌ها را قبل از آن‌که پای کاربری وسط بیاید آشکار کند. استقرار قناری می‌توانست فرایند را روی 10% متوقف کند؛ یعنی درست زمانی که آمار بازخورد منفی بالا رفت. بازگشت به عقب از طریق پرچم سیاست هم فقط 30 ثانیه زمان می‌برد. همین نظم مهندسی است که شکاف بین «خوب بودن ارزیابی‌های آفلاین» و «رضایت کاربران واقعی» را پر می‌کند.

مفاهیم اصلی

حالت سایه

مدل کاندید همان درخواست‌های محیط عملیاتی را دریافت می‌کند؛ خروجی‌ها در گزارش‌ها ثبت می‌شوند اما هرگز به کاربر نشان داده نمی‌شوند. اثر روی کاربر صفر است. این موارد را ثبت کنید:

  • محتوای خروجی (بررسی تفاوت با خروجی پروداکشن).
  • تعداد توکن‌ها (میزان تغییر هزینه).
  • تاخیر.
  • امتناع مدل و خطاها.

چه چیزهایی را کشف می‌کند: جهش‌های انفجاری هزینه، افت طول پاسخ‌ها، تغییرات آشکار در امتناع مدل و خطاهای قطعی. چه چیزهایی را کشف نمی‌کند: تغییرات کیفی ظریفی که کاربر متوجه آن می‌شود. حالت سایه یک تست دود (smoke test) است، نه آزمون سنجش کیفیت.

استقرار قناری

انتقال تدریجی ترافیک همراه با گیت‌های ارزیابی. روند پیش‌روی معمول: 1% ← 10% ← 25% ← 50% ← 75% ← 100%. در هر گام، این 5 معیار را در گیت‌ها بررسی کنید:

  1. صدک‌های تاخیر — صدک‌های P50، P95 و P99. شرط نقض: P99 مدل قناری بیشتر از 1.5 برابر خط مبنا باشد.
  2. هزینه به ازای هر درخواست — هزینه‌ی دلاری میانگین. شرط نقض: بیش از 20% بالاتر از خط مبنا.
  3. نرخ خطا / امتناع مدل — خطاهای 5xx به اضافه‌ی امتناع‌های صریح مدل. شرط نقض: 2 برابر خط مبنا.
  4. توزیع طول خروجی — میانگین و صدک P99. شرط نقض: جابه‌جایی در توزیع آماری.
  5. نرخ بازخورد کاربر — ثبت امتیاز منفی / ثبت تیکت‌های پشتیبانی. شرط نقض: 1.5 برابر خط مبنا.

غیرقطعی بودن؛ واریانس جدید دنیای نرم‌افزار

ورودی‌های کاملاً یکسان، خروجی‌های متفاوتی تولید می‌کنند. دلایل این موضوع:

  • خاصیت عدم شرکت‌پذیری محاسبات ممیز شناور روی پردازنده‌ی گرافیکی (ترتیب کاهش ممیز شناور بسته به اندازه و محتوای دسته تغییر می‌کند).
  • تفاوت اندازه‌ی دسته‌ها (پردازش یک پرامپت در دسته‌ی 128 تایی در مقایسه با دسته‌ی 16 تایی).
  • نمونه‌برداری (زمانی که دمای مدل یا temperature بزرگ‌تر از 0 است).

اندازه‌گیری‌ها نشان می‌دهند: تا 15% نوسان در دقتِ اجراهای متوالی روی مجموعه‌های ارزیابی یکسان دیده می‌شود. بنابراین در فرایند استقرار، واژه‌ی «پایدار» به معنای تطابق صددرصدی با خط مبنا نیست؛ یعنی شاخص‌ها درون واریانسِ مورد انتظار قرار دارند. گیت‌ها را همواره بالاتر از کف نویز تنظیم کنید.

هزینه یک متغیر است

مدلی با 20% کیفیت بهتر، می‌تواند به ازای هر فراخوانی 3 برابر گران‌تر تمام شود. هزینه‌ی هر درخواست یکی از این پنج گیت اصلی است. انتشار مدلی «بهتر» که اقتصاد واحد (unit economics) محصول را به هم می‌ریزد، صراحتاً دلیلی برای بازگشت به عقب است.

بازگشت به عقب، سلاح اصلی شماست

  • پرچم سیاست (سامانه‌ی مدیریت پرچم قابلیت‌ها یا feature flags): درصد ترافیک را در فایل پیکربندی عوض کنید؛ این کار چند ثانیه زمان می‌برد.
  • پین کردن مدل (دایجست ایمیج در رجیستری): مدلی که پین شده باشد خودبه‌خود ارتقا پیدا نمی‌کند.
  • بازگشت به عقب = بازگرداندن پرچم به حالت قبل + تنظیم شناسه (digest) پین‌شده روی نسخه‌ی قبلی. فرایندی که چند ثانیه طول می‌کشد، نه چند ساعت.

اگر زیرساخت شما برای بازگشت به عقب نیازمند استقرار مجدد است، قبل از شروع هرگونه انتشار، اول این مشکل را برطرف کنید.

ابزارها

Argo Rollouts / Flagger — کنترل‌کننده‌های تحویل تدریجی روی کوبرنتیز. یکپارچه‌سازی با مسیریابی وزن‌دار در سامانه‌هایی مثل Istio یا Linkerd.

مسیریابی وزن‌دار Istio — تقسیم ترافیک در سطح مش سرویس (service mesh).

KServe / Seldon Core — زیرساخت‌های سرو مدل با قابلیت‌های درونی استقرار قناری.

پرچم‌های قابلیت — ابزارهایی مثل LaunchDarkly، Flagsmith و Unleash. تغییر مسیر ترافیک در سطح سیاست‌گذاری، بدون نیاز به استقرار مجدد.

فواصل زمانی پایش شاخص‌ها

گیت‌های قناری با توجه به حجم ترافیک، وضعیت را هر 5 تا 15 دقیقه بررسی می‌کنند. اگر کل ترافیک 1,000 درخواست در دقیقه باشد، سهم 1% قناری (10 درخواست در دقیقه) در یک بازه‌ی 5 تا 15 دقیقه‌ای حدود 50 تا 150 نمونه ثبت می‌کند؛ این حجم برای بررسی تاخیر کافی است اما برای استناد به بازخورد کاربران نویز زیادی دارد. سهم 10% حدوداً 10 برابر داده‌ی بیشتری تولید می‌کند. انتقال به گام بعدی باید آن‌قدر مکث داشته باشد تا نمونه‌های کافی در هر مرحله جمع‌آوری شود.

گام آزمون A/B اختیاری است

اگر مدل جدید تفاوت‌های بنیادینی دارد (رفتار کاملاً متفاوت، هزینه‌ی بسیار متفاوت، لحن جدید)، بعد از عبور موفق از گیت‌های قناری، آن را روی 50% ترافیک وارد آزمون A/B کنید. اما اگر صرفاً نسخه‌ای بهبودیافته است، پس از گذر از گیت‌های قناری یک‌راست به سراغ ترافیک 100% بروید.

اعدادی که باید به خاطر بسپارید

  • مراحل استقرار قناری: 1% ← 10% ← 25% ← 50% ← 75% ← 100%.
  • سقف عدم قطعیت: تا 15% نوسان در اجراهای متوالی با ورودی‌های کاملاً یکسان.
  • پنج شاخص قناری: تاخیر، هزینه، خطا/امتناع مدل، طول خروجی، بازخورد کاربر.
  • گیت هزینه: افزایش بیش از 20% نسبت به خط مبنا نقض محسوب می‌شود.
  • بازگشت به عقب: چند ثانیه، نه چند ساعت.
ابتدا حالت سایه سپس قناریابتدا آینه‌سازی ترافیک، سپس هدایت گام‌به‌گام ترافیک زنده با گیت‌های مترییک
SHADOW THEN CANARYShadow mode duplicates production requests to the candidate and discards its answers, catching cost spikes and distribution shifts at zero user risk. Only then does the canary ramp start: 10, 25, 50, 100 percent, each step gated on latency percentiles, cost per request, refusal rate, output-length distribution, and user feedback. Rollback is a policy flip measured in seconds, never a redeploy.ترافیکتوزیع‌کنندهمدل پروداکشنپاسخ به کاربرمدل کاندیدسایه: فقط ثبت لاگنسخه آینه‌شده دور ریخته شده و بازگردانده نمی‌شودسهم قناری از ترافیک زنده10%25%50%100%گیت: تاخیر، هزینه، امتناع‌ها، طول خروجی، بازخوردتوقف در هر گام تا تأیید گیت؛ بازگشت به عقب فقط با تغییر سریع پالیسی
حالت سایه درخواست‌های محیط عملیاتی (پروداکشن) را به مدل کاندید تکرار کرده و پاسخ‌های آن را دور می‌ریزد؛ بدین ترتیب جهش‌های هزینه و ناهماهنگی در توزیع داده‌ها بدون هیچ ریسکی برای کاربران شناسایی می‌شوند. تنها پس از این مرحله، انتشار قناری آغاز می‌شود: 10، 25، 50 و 100 درصد؛ که هر گام مشروط به ارزیابی صدک‌های تاخیر، هزینه به ازای هر درخواست، نرخ امتناع مدل، توزیع طول خروجی و بازخورد کاربران است. بازگشت به عقب صرفاً با تغییر یک پالیسی در چند ثانیه انجام می‌شود، نه با استقرار مجدد.

اجرای عملی

اسکریپت code/main.py یک استقرار قناری را همراه با افت‌های عمدی شبیه‌سازی می‌کند. این اسکریپت گزارش می‌دهد که فرایند استقرار در کدام مرحله متوقف شده و کدام گیت فعال شده است.

تحویل پروژه

این درس فایل outputs/skill-rollout-runbook.md را تولید می‌کند. این سند با دریافت مدل کاندید، خط مبنا و میزان ریسک‌پذیری، یک برنامه‌ی کامل از مرحله‌ی سایه ← قناری ← استقرار 100% طراحی می‌کند.

تمرین‌ها

  1. اسکریپت code/main.py را اجرا کنید. یک پسرفت هزینه‌ای به میزان 25% به سیستم تزریق کنید. استقرار قناری در کدام مرحله متوقف می‌شود؟
  2. مدل جدید شما در ارزیابی آفلاین 3% بهبود دقت نشان می‌دهد اما هزینه‌ی هر درخواست 18% بالا رفته است. آیا این مدل باید منتشر شود؟ پاسخ به سیاست‌های شما بستگی دارد — سناریوی هر دو حالت را بنویسید.
  3. فرایند بازگشت به عقبی طراحی کنید که اجرای سرتاسری آن کمتر از 60 ثانیه طول بکشد. زیرساخت‌های فنی لازم را فهرست کنید.
  4. اگر غیرقطعی بودن مدل در ارزیابی‌های شما نوسان 7± درصدی نشان می‌دهد، گیت‌های قناری را طوری تنظیم کنید که هشدار کاذب ایجاد نشود. از چه ضرایبی استفاده می‌کنید؟
  5. حالت سایه موفق می‌شود جهش هزینه‌ای 40% را قبل از رسیدن به مرحله‌ی قناری شناسایی کند. قانون هشداری (alert rule) را که باید در حالت سایه فعال شود بنویسید.

اصطلاحات کلیدی

اصطلاح در گفت‌وگوهای عامیانه معنای دقیق فنی
حالت سایه (Shadow mode) «کپی کردن روی مدل جدید» ارسال بدون اثر درخواست‌ها به مدل کاندید فقط برای ثبت گزارش
قناری (Canary) «ترافیک تدریجی» هدایت تدریجی کاربران واقعی به مدل جدید همراه با گیت‌های کنترلی
گیت‌ها (Gates) «چک‌های استقرار» آستانه‌های آماری شاخص‌ها که مانع از پیش‌روی مراحل استقرار می‌شوند
غیرقطعی بودن (Non-determinism) «نوسان مدل زبانی» تفاوت‌های گریزناپذیر خروجی در اجراهای متوالی با ورودی یکسان
پرچم سیاست (Policy flag) «بازگشت با پرچم» بازگشت به عقب در سطح پیکربندی طی چند ثانیه به جای ساعت‌ها
پین کردن مدل (Model pin) «شناسه در رجیستری» ارجاع تغییرناپذیر به نسخه‌ای دقیق و مشخص از یک مدل
Argo Rollouts «تحویل تدریجی در کوبرنتیز» کنترل‌کننده‌ی بومی کوبرنتیز برای استقرار قناری و بازگشت به عقب
KServe «کوبرنتیز برای استنتاج» فریم‌ورک سرو مدل با اجزای سازنده‌ی استقرار قناری
Istio weighted «تقسیم ترافیک در مش» ابزار تقسیم ترافیک شبکه‌ای در سطح مش سرویس

برای مطالعه‌ی بیشتر

خودآزمایی

به سؤال‌ها جواب بدهید تا ببینید چقدر از درس در ذهنتان مانده است.

  1. پیش از درسترتیب درست مراحل حالت سایه، تست قناری و تست A/B برای استقرار یک LLM چیست؟
  2. حین درسدرس برای پیشرفت تست قناری، کدام پنج معیار را به عنوان گیت ارزیابی تعیین می‌کند؟
  3. حین درسطبق درس، میزان واریانس دقت برای ورودی‌های یکسان در اجراهای متوالی LLM تقریباً چقدر است؟
  4. حین درسبر اساس توضیحات درس، کاربرد حالت سایه (Shadow Mode) چیست؟
  5. پس از درسطراحی صحیح فرآیند بازگشت به عقب (Rollback) طبق درس چگونه است؟
  6. پس از درسچرا هزینه در کنار تاخیر و کیفیت به عنوان یک گیت ارزیابی قرار گرفته است؟

سؤالات متداول

تفاوت حالت سایه (Shadow Mode) با استقرار قناری (Canary) چیست؟

در حالت سایه، درخواست‌های کاربران بدون هیچ اثری روی پاسخ نهایی تکثیر و به مدل کاندید ارسال می‌شوند و تنها گزارش عملکرد ثبت می‌شود؛ اما در استقرار قناری، درصدی واقعی از کاربران پاسخ مدل جدید را دریافت می‌کنند.

پنج شاخص کلیدی برای گیت‌های استقرار قناری در مدل‌های زبانی کدام‌اند؟

صدک‌های تاخیر (P50، P95 و P99)، هزینه به ازای هر درخواست، نرخ خطا یا امتناع مدل، توزیع طول پاسخ و نرخ بازخورد منفی کاربران پنج شاخص اصلی هستند.

چگونه می‌توان زمان بازگشت به عقب (Rollback) را از ساعت‌ها به ثانیه‌ها رساند؟

با جدا کردن منطق مسیریابی از فرایند استقرار و سپردن آن به سامانه‌های پرچم قابلیت (Feature Flags) در کنار پین کردن دایجست مدل در رجیستری، بازگشت به عقب فقط با تغییر یک متغیر در تنظیمات طی چند ثانیه انجام می‌شود.

ما رو توی گوگل بیشتر ببین

با افزودن نکست ادمین به «منابع ترجیحی» گوگل، درس‌ها و مطالب ما را در بخش اخبار برتر جستجو بیشتر می‌بینید.