فصل گذشته، جبران خسارتِ انتشار یک مدل نامناسب 3 ساعت طول کشید؛ چون تنها راه بازگشت، یک استقرار (deployment) جدید بود. حالا هدایت مسیر انتشار به عهدهی شماست. آن را طوری طراحی کنید که دفعهی بعد، مسیر بازگشت فقط چند ثانیه طول بکشد. اجزا را نام ببرید و بگویید هر کدام چه چیزی را در خود نگه میدارند.
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
سیاست را از مدل جدا کنید. تقسیم ترافیک را در قالب یک پرچم ویژگی (feature flag) نگه دارید که با یک تغییر پیکربندی جابهجا میشود، و مدل را با خلاصهی محتوای منبع پینشدهای (pinned digest) در رجیستری ذخیره کنید که هرگز خودبهخود ارتقا پیدا نکند. با این کار، بازگشت به عقب (rollback) فقط شامل دو اقدام است: برگرداندن پرچم به حالت قبل و اشاره دادن پین به خلاصهی محتوای منبعِ قبلی، که نسخهی پرامپت (prompt) و قالبی را هم که همراه آن مدل پین شده بود بازیابی میکند. هیچ چیزی از اول بیلد نمیشود و هیچ استقرار مجددی در کار نیست.
پاسخ کامل
هنگام انتشار دو چیز تغییر میکند
- سیاست (Policy): اینکه چه سهمی از ترافیک به کدام مدل برسد. این بخش در سامانهی پرچم ویژگی قرار دارد و تغییر وضعیت آن فقط چند ثانیه زمان میبرد.
- مدل: خود دستسازه (artifact). این بخش در رجیستری همراه با خلاصهی محتوای منبع (content digest) قرار میگیرد. با آمدن بیلد جدید، خلاصهی محتوای منبعِ پینشده تغییری نمیکند.
در یک استقرار معمولی این دو به هم گره میخورند: برای تغییر سیاست، باید یک بیلد جدید منتشر کنید. قاعدهی این درس کاملاً صریح است: اگر استک شما برای بازگشت به عقب به استقرار مجدد نیاز دارد، قبل از اجرای هر مسیر پیشروی شبیهسازیشده (rollout)، اول این مشکل را حل کنید.
بازگشت به عقب
پرچم را برگردانید، خلاصهی محتوای منبع پینشده را روی نسخهی قبلی تنظیم کنید و آستانههای (thresholds) گیتهای کنترلی (gates) متناسب با آن را بازیابی کنید. این درس زمان کل این روند را در حد چند ثانیه میداند، در حالی که استقرار مجدد ساعتها طول میکشد. در ماجرای اول درس، استقرار مجدد 3 ساعت زمان برد، در حالی که جابهجایی پرچم فقط 30 ثانیه طول میکشید.
پرچم قناری و سیاست یکی هستند
سهم ترافیک قناری (canary) در دل همان پرچم سیاست تعریف میشود: 1، 10، 25، 50، 75 و در نهایت 100 درصد. نقض هر کدام از گیتهای کنترلی، سهم ترافیک را بلافاصله به صفر برمیگرداند. با این کار، توقف انتشار و بازگشت به عقب از یک سازوکار یکسان استفاده میکنند؛ در نتیجه همان مسیری را که در هر مسیر پیشروی شبیهسازیشده تمرین میکنید، هنگام بروز حادثه هم به کار میگیرید.
ترکیب و ساختار ابزارها
یک کنترلکنندهی تحویل تدریجی روی کلاستر، وزن ترافیک را در سطح service mesh یا ingress جابهجا میکند. پلتفرم سرو مدل (model-serving platform) هم میتواند خودش تقسیم ترافیک قناری را بر عهده بگیرد. سرویس پرچم ویژگی نیز سیاست را نگه میدارد. از هر بخش یکی را انتخاب کنید، و مدل قبلی را تا زمانی که مدل جدید در ترافیک 100 درصد از تمام گیتهای کنترلی عبور نکرده و تثبیت نشده است، در حالت مستقر نگه دارید.
آن را تمرین کنید
تمرین این درس از شما میخواهد که یک بازگشت به عقب سرتاسری را زیر 60 ثانیه اجرا کنید. این زمان را در هر انتشار و در محیط تست (staging) بسنجید و اگر نتیجه کندتر شد، آن را مانع انتشار (release blocker) در نظر بگیرید.
سؤالهای تکمیلی مصاحبهگر
- سطح 2: چرا مدل را بر اساس خلاصهی محتوای منبع پین میکنیم و نه برچسب (tag)؟ پاسخ مورد انتظار: برچسب میتواند به یک بیلد جدید جابهجا شود. خلاصهی محتوای منبع تغییرناپذیر (immutable) است؛ بنابراین مقصد بازگشت به عقب، دقیقاً همان مدلی خواهد بود که پیشتر اجرا میشد.
- سطح 2: چه چیزهای دیگری باید همزمان با مدل برگردند؟ پاسخ مورد انتظار: آستانههای گیتهای کنترلی و هر نسخه از پرامپت یا قالبی که همراه آن مدل عرضه شده بود.
- سطح 3: چطور مطمئن میشوید که این مسیر قبل از نیاز واقعی بهدرستی کار میکند؟ پاسخ مورد انتظار: در هر انتشار، آن را در محیط تست تمرین کنید و زمان سرتاسریاش را بسنجید، با این هدف که زیر معیاری مشخص مثل 60 ثانیهی درس بماند.
- سطح 3: مدل جدید به یک ایمیج جدید برای موتور اجرا نیاز دارد. آیا پرچم سیاست باز هم کار میکند؟ پاسخ مورد انتظار: بله؛ به این شرط که هر دو ایمیج در کنار هم اجرا شوند و پرچم بین آنها انتخاب کند. استقرار قدیمی زنده میماند تا زمانی که مدل جدید روی 100 درصد ترافیک پایدار بماند.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «با استقرار مجدد ایمیج قبلی، بازگشت به عقب انجام میدهیم.» استقرار مجدد ساعتها زمان میبرد؛ در حالی که نکتهی اصلی درس این است که بازگشت به عقب را از استقرار جدا کنیم.
- «یک روز بعد از انتشار، مدل قدیمی را پاک کنید.» مدل قدیمی باید تا زمانی که مدل قناری با موفقیت در ترافیک 100 درصد از همهی گیتهای کنترلی عبور نکرده و پایدار نشده است، در دسترس بماند.
- «بازگشت به عقبِ سریع، ما را از گیتهای کنترلی بینیاز میکند.» این گیتهای کنترلی هستند که تصمیم میگیرند چه زمانی باید بازگشت به عقب رخ دهد. مسیر سریع فقط خسارت را پس از فعال شدن گیتها به حداقل میرساند.
کجای دوره آموزش داده میشود
درس تحویل تدریجی پرچمهای سیاست (policy flags) را از پینهای مدل جدا میکند و فرایند بازگشت به عقب را به یک تغییر پیکربندی ساده بدل میسازد.