سؤال مصاحبه

مقیاس‌پذیری خودکار سرویس مدل بر اساس سیگنال‌های صف و کش

Autoscale a model service on queue and cache signals

  • سطح ۳: ارشد
  • طراحی
  • ۱۵ دقیقه

سرویس مدل شما در قالب یک Deployment معمولی و با مقیاس‌پذیر خودکار (autoscaler) مبتنی بر مصرف CPU اجرا می‌شود. هنگام جهش ناگهانی ترافیک، مقیاس‌پذیر خودکار رپلیکاها را دیر اضافه کرد، و درحالی‌که پادهای جدید هنوز مشغول بارگذاری وزن‌ها بودند به افزودن رپلیکا ادامه داد؛ از طرفی یک آزمون ارزیابی زنده‌بودن (liveness probe) شلوغ‌ترین پاد را درست در اوج ترافیک ری‌استارت کرد. ساختار مقیاس‌پذیری و پروب‌ها را دوباره طراحی کنید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

سیستم را بر اساس سیگنال‌های اختصاصی خود موتور مقیاس‌پذیر کنید، نه مصرف CPU: تعداد درخواست‌های منتظر و میزان مصرف کش کلید-مقدار (KV cache) خیلی زودتر از CPU نشان می‌دهند که سرور به اشباع رسیده است. برای آزمون ارزیابی راه‌اندازی (startup probe) بازه‌ای طولانی‌تر از زمان شروع سرد (cold start) اندازه‌گیری‌شده در نظر بگیرید تا پادی که هنوز در حال بارگذاری است نه ترافیکی دریافت کند و نه ری‌استارت شود؛ همچنین پروب زنده‌بودن را سبک و کم‌هزینه نگه دارید تا سرور پرکار، شلوغ‌ترین پاد خود را به‌خاطر پروبی که در صف معطل مانده از دست ندهد. وزن‌های مدل و کش کامپایل را روی حافظه‌ی دائمی نگه دارید تا رپلیکای جدید در کسری از زمان معمول آماده شود.

پاسخ کامل

چرا CPU سیگنال اشتباهی است؟

بار پردازشی GPU با CPU فرق دارد. در موتوری که به مرز اشباع رسیده، تعداد درخواست‌های منتظر بیشتر از صفر و مصرف کش نزدیک به 1 است، درحالی‌که وضعیت CPU کاملاً عادی به‌نظر می‌رسد. مستندات vLLM مستقیماً به همین ایراد در Deployment معمولی اشاره می‌کند: ترافیک را تصادفی هدایت می‌کند و بر اساس سیگنال اشتباه مقیاس می‌گیرد. لایه‌های مسیریابی (routing) معرفی‌شده در مستندات، معیارهای vllm:num_requests_waiting، vllm:num_requests_running و vllm:kv_cache_usage_perc را برای انتخاب رپلیکا می‌خوانند؛ مقیاس‌پذیر خودکار هم باید دقیقاً همین سری‌های زمانی را مبنا قرار دهد.

خواندن جفتی سیگنال‌ها

مقدار سیگنال مفهوم
درخواست‌های منتظر بالای 0، مصرف کش زیر 0.9 محدودیت پذیرش ناشی از اندازه‌ی دسته (batch size) یا سهمیه‌ی توکن (token budget) است، نه حافظه
درخواست‌های منتظر بالای 0، مصرف کش نزدیک به 1 محدودیت پذیرش از طرف استخر حافظه است، پس باید حافظه یا رپلیکا اضافه کنید
تاخیر زیاد اولین توکن بدون هیچ درخواست منتظری پرامپت‌های طولانی یا توکنایزر کُند، نه کمبود ظرفیت
پیش‌دستی (preemption) هم‌زمان با پاسخ‌های طولانی درخواست‌های در حال اجرا آن‌قدر رشد می‌کنند تا ظرفیت استخر تمام شود

ردیف دوم دلیل موجهی برای افزودن رپلیکاست، چون ظرفیت استخر تکمیل شده است. در ردیف اول، مادامی که استخر حافظه جا دارد، ابتدا سقف اندازه‌ی دسته یا سهمیه‌ی توکن را بالا ببرید. اگر صف بعد از آن هم پابرجا ماند، یا محدودیت فعلی دقیقاً همان مقداری است که هدف تاخیر (latency) اقتضا می‌کند، رپلیکا اضافه کنید؛ زیرا هر رپلیکا سقف دسته و سهمیه‌ی توکن مستقل خودش را به همراه می‌آورد.

تنظیم پروب‌ها متناسب با شروع کند

نمونه‌ی ارائه‌شده در مستندات، برای آزمون ارزیابی راه‌اندازی 90 بررسی با فواصل 10 ثانیه‌ای (یعنی 15 دقیقه) در نظر می‌گیرد و خاطرنشان می‌کند که اولین راه‌اندازی روی دستگاه خودش حدود 8 دقیقه طول کشیده است. این بازه را بر اساس زمان شروع سردِ واقعی و اندازه‌گیری‌شده‌ی سیستم خود تنظیم کنید. برای آزمون ارزیابی آماده‌بودن (readiness probe)، یک درخواست واقعی و کوتاه بفرستید تا ثابت شود موتور واقعاً توان تولید متن را دارد، یا از اندپوینت ready در موتورهایی که آن را دارند استفاده کنید. برای آزمون زنده‌بودن، حتماً یک مسیر هلث‌چک سبک به کار ببرید. مستندات SGLang قابلیت تولید متن را در اندپوینت سلامت غیرفعال می‌کند؛ چرا که پروبی که بخواهد متنی تولید کند، زیر بار سنگین در صف می‌ماند، بعد از 20 ثانیه تایم‌اوت می‌دهد و سرور سالمی را که صرفاً سرش شلوغ است ناسالم علامت می‌زند. در یک حادثه‌ی واقعی، هر پروب ناموفق یک درخواست سرگردان و بلاتکلیف هم در اسکژولر (scheduler) باقی می‌گذاشت؛ در نتیجه، پروب‌ها خودشان باری شدند روی دوش همان سیستمی که قرار بود سلامتش را بسنجند.

جلوگیری از جهش بیش از حد مقیاس (Overshoot)

بارگذاری پادهای جدید چند دقیقه زمان می‌برد. در این فاصله، مقیاس‌پذیر خودکار می‌بیند که سیگنال همچنان بالاست و پادهای بیشتری اضافه می‌کند. برای حل این مشکل، یک بازه‌ی تثبیت (stabilization window) حداقل به اندازه‌ی زمان شروع سرد تنظیم کنید، تعداد پادهای قابل‌افزایش در هر مرحله را محدود سازید و خودِ زمان شروع سرد را هم کوتاه کنید: وزن‌ها روی دیسک محلی، کش کامپایل روی فضای ذخیره‌سازی دائمی، و یک پیش‌بارگذاری قبل از پذیرش ترافیک توسط سرور. درس شروع سرد، مفهوم استخر نمونه‌های آماده (warm pool) را برای مسیر تعاملی اضافه می‌کند تا اولین رپلیکا هرگز درگیر شروع سرد نشود.

مقیاس‌پذیری کاهشی بدون از دست رفتن درخواست‌ها

پاد را از توزیع‌کننده‌ی بار خارج کنید، سیگنال SIGTERM را فقط به فرایند اصلی بفرستید، و یک مهلت توقف نرم (grace period) حداقل برابر با طولانی‌ترین زمان تولید پاسخ در سقف خروجی در نظر بگیرید. بستن اجباری پاد یا فرستادن سیگنال خاتمه به کل گروه فرایندی (process group)، تمام درخواست‌های در حال اجرا را از بین می‌برد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: کدام جفت از ارقام دریافتی نشان می‌دهد گلوگاه استخر حافظه است، نه محدودیت اندازه‌ی دسته؟ پاسخ مورد انتظار: درخواست‌های منتظرِ بالای صفر هم‌زمان با مصرف کش نزدیک به 1. اگر مصرف کش زیر 0.9 باشد، گلوگاهِ پذیرش اندازه‌ی دسته یا سهمیه‌ی توکن است.
  • سطح 3: چرا پروب سلامتی که متن تولید می‌کند زیر بار سنگین مخرب است؟ پاسخ مورد انتظار: درخواست آن مثل بقیه‌ی درخواست‌ها در صف معطل می‌ماند، تایم‌اوت می‌دهد و سروری را که سرش شلوغ است به‌اشتباه ناسالم علامت می‌زند. در یک حادثه‌ی واقعی، هر پروب ناموفق یک درخواست سرگردان هم در اسکژولر باقی می‌گذاشت.
  • سطح 4: چطور مانع از جهش بیش از حد مقیاس‌پذیر خودکار هنگام شروع سرد می‌شوید؟ پاسخ مورد انتظار: تعیین بازه‌ی تثبیت حداقل به اندازه‌ی زمان شروع سرد اندازه‌گیری‌شده، تعیین سقف برای افزایش رپلیکا در هر گام، و کوتاه کردن زمان شروع سرد با ذخیره‌ی دائمی وزن‌ها و کش کامپایل.
  • سطح 4: در مقیاس‌پذیری کاهشی چه نکاتی لازم است تا هیچ درخواستی از دست نرود؟ پاسخ مورد انتظار: خارج کردن پاد از توزیع‌کننده‌ی بار، ارسال SIGTERM تنها به فرایند اصلی، و در نظر گرفتن مهلت توقف نرمی به اندازه‌ی طولانی‌ترین درخواست ممکن در سقف توکن خروجی.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «به جای CPU بر اساس درصد اشغال GPU مقیاس‌پذیر شوید.» درصد اشغال GPU می‌تواند در حین صف کشیدن درخواست‌ها بالا، یا هنگام پر بودن استخر حافظه پایین نشان داده شود. تعداد درخواست‌های در صف و میزان مصرف کش، سیگنال‌هایی هستند که موتور دقیقاً برای همین کار ارائه می‌دهد.
  • «آزمون ارزیابی زنده‌بودن را سخت‌گیرانه‌تر کنید تا پادهای مشکل‌دار سریع‌تر ری‌استارت شوند.» زیر بار سنگین، پروب سخت‌گیرانه پادهای سالمی را که سرشان شلوغ است ری‌استارت می‌کند. راهکار درست، استفاده از پروب سبک و بازه‌ی طولانی برای آزمون راه‌اندازی است.
  • «برای غلبه بر جهش ترافیک، رپلیکاها را با سرعت بیشتری اضافه کنید.» رپلیکاهایی که بارگذاری‌شان چند دقیقه طول می‌کشد، دردی از اوج ترافیک دوا نمی‌کنند و بعد از افت ترافیک هم فقط هزینه‌ی اضافی می‌تراشند. باید زمان شروع سرد را کوتاه کرد و یک حاشیه‌ی آماده‌به‌خدمت نگه داشت.

کجای دوره آموزش داده می‌شود

در بخش Kubernetes از دوره‌ی vLLM 101 نحوه‌ی تنظیم پروب‌ها و سیگنال اشتباه مقیاس‌پذیری بررسی شده است؛ در بخش پایش محیط عملیاتی خواندن جفتی معیارها آموزش داده می‌شود؛ در بخش مدیریت عملیاتی SGLang 101 حادثه‌ی مربوط به پروب سلامت و تخلیه‌ی ترافیک شرح داده شده، و در درس کاهش اثرات شروع سرد ظرفیت‌سنجی استخر نمونه‌های آماده بررسی شده است.