سؤال مصاحبه

چند پاسخ بی‌پایان، استخر حافظه را برای همه پر می‌کنند

A few endless answers fill the pool for everyone

  • سطح ۳: ارشد
  • اشکال‌یابی
  • ۱۲ دقیقه

یک سرور خودمیزبان (self-hosted) ساعت‌هاست که استخر کش کلید-مقدارش (KV cache pool) تقریباً پر مانده، در حالی که نرخ درخواست‌ها کاملاً عادی است. چند درخواستِ انگشت‌شمار هر کدام دقایق طولانی است که مدام توکن تولید می‌کنند و کاربرانِ پشت درخواست‌های دیگر معطل مانده‌اند. ماجرا از چه قرار است و امشب و فردا چه چیزهایی را باید تغییر دهید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

تعداد اندکی از درخواست‌ها در حلقه‌ی تولید توکن (generation loop) افتاده‌اند. تمام توکن‌های یک درخواستِ در حال اجرا تا پایان آن در استخر حافظه باقی می‌مانند؛ بنابراین درخواستی که متوقف نمی‌شود آن‌قدر رشد می‌کند تا جای بقیه را تنگ کند. امشب، برای طول خروجی سقف بگذارید تا هر درخواستی بالاخره تمام شود، و برای بارهای کاری‌ای که لوپ می‌زنند جریمه‌ی حضور (presence penalty) تعیین کنید. فردا، مهلت خاموشی ملایم (shutdown grace period) را بر اساس همین سقف جدید تنظیم کنید؛ چون درخواستی که تا مرز این سقف پیش می‌رود تعیین می‌کند ری‌استارتِ بدون قطعی چقدر طول می‌کشد.

پاسخ کامل

سازوکار مسئله

استخر حافظه، کلیدها و مقدارهای تمام توکن‌های همه‌ی درخواست‌های در حال اجرا را نگه می‌دارد. درخواستی که در حلقه افتاده مدام توکن می‌سازد، پس تا زمانی که به محدودیت خروجی یا طول زمینه (context length) نرسد، جایگاه‌ها (slots) را اشغال می‌کند. بدون وجود سقف خروجی، یک درخواستِ لوپ‌زده می‌تواند سهم بزرگی از استخر را در تمام طول زمینه به خود اختصاص دهد؛ در نتیجه درخواست‌های جدید منتظر می‌مانند یا درخواست‌های در حال اجرا پیش‌دستی (preemption) می‌شوند و کنار می‌روند.

یک گزارش واقعی از محیط عملیاتی با الگوی مشابه

مستندات SGLang تجربه‌ی یک سرویس دانشگاهی را خلاصه می‌کند که به 100 میلیارد توکن پاسخ داده و با مشکل لوپ زدن مدل‌ها و اشغال کش کلید-مقدار روبه‌رو شده بود. ترافیک آن‌ها از سمت ابزارهای کدنویسی ایجنتی (agentic coding) می‌آمد؛ با میانه‌ی پرامپت 2,179 توکن و صدک نود و پنجم 99,746 توکن. راه‌حل آن‌ها عملیاتی بود، نه دستکاری کرنل (kernel): تعیین سقف خروجی 32K توکن و اعمال جریمه‌ی حضور برای بارهایی که لوپ می‌زدند. توصیه‌ی راهنما این است که چنین گزارش‌هایی را برای یادگیری ترتیب اولویت اصلاحات بخوانید؛ آن سرویس پیش از هر بهینه‌سازی دیگری، اول از همه خروجی را محدود کرد.

خواندن سنجه‌ها

جدول هشدارهای راهنمای vLLM چنین الگویی را نشان می‌دهد: مصرف کش بالای 0.95 برای بیش از یک دقیقه، تعداد درخواست‌های در صف انتظار بالای صفر، و نرخ پیش‌دستی بالاتر از صفر. قاعده‌ی جفت‌سازی سنجه‌ها علت را مشخص می‌کند: وقوع پیش‌دستی همراه با پاسخ‌های طولانی یعنی درخواست‌های در حال اجرا آن‌قدر بزرگ می‌شوند که حافظه‌ی استخر ته‌می‌کشد. راه‌حل‌هایی که فهرست می‌کند کاهش هم‌زمانی یا استفاده از کش کلید-مقدار با فرمت FP8 است؛ و البته سقف خروجی همان چیزی است که پاسخ‌های طولانی را مهار و محدود می‌کند.

چرا سقف خروجی باید قبل از مهلت خاموشی ملایم تعیین شود؟

در یک خاموشی ملایم (graceful shutdown)، سرور قبل از توقف کامل، درخواست‌های جاری را تخلیه می‌کند (drain). این مهلت باید از طولانی‌ترین درخواست بیشتر باشد، و طولانی‌ترین درخواست همان درخواستی است که تا سقف خروجی پیش می‌رود. محاسبه‌ی راهنمای SGLang به این صورت است: یک پاسخ 32K توکنی با نرخ تولید 30 توکن در ثانیه به بیش از 18 دقیقه زمان نیاز دارد. اول خروجی را محدود کنید، سپس مهلت پایان کار را بر اساس آن سقف بگذارید؛ وگرنه تخلیه‌ی سرور هرگز سر وقت تمام نمی‌شود و در فرایند به‌روزرسانی تدریجی (rolling update)، پاسخ درخواست‌ها در نیمه‌ی راه قطع خواهد شد.

فردا

  • حلقه‌ها را پیدا کنید: درخواست‌هایی که به دلیل رسیدن به طول مجاز (length reason) در سقف خروجی پایان یافته‌اند، به تفکیک مستأجر (tenant) و قالب پرامپت (prompt template).
  • به ازای هر مستأجر، سقف‌های خروجی مصوب محصول را اعمال کنید.
  • اگر مشخص شد پاسخ‌های طولانی در واقع نشست‌های (sessions) واقعی ایجنت هستند، استخر را با کش کلید-مقدار FP8 یا حافظه‌ی بیشتر بزرگ کنید و سقف هم‌زمانی را کاهش دهید.
  • برای این جفت سنجه هشدار بگذارید: مصرف کشِ نزدیک به 1 همراه با نرخ درخواست عادی.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا درخواستی که لوپ می‌زند فقط به خودش آسیب نمی‌زند و دیگران را هم به دردسر می‌اندازد؟ انتظار می‌رود: استخر حافظه اشتراکی است. درخواستی که هرگز تمام نمی‌شود جایگاه‌هایش را حفظ می‌کند، بنابراین درخواست‌های جدید منتظر می‌مانند یا درخواست‌های در حال اجرا پیش‌دستی می‌شوند.
  • سطح 3: چطور بعد از رخ دادن حادثه، درخواست‌های لوپ‌زده را پیدا می‌کنید؟ انتظار می‌رود: درخواست‌هایی که با علت طول مجاز در سقف خروجی به پایان رسیده‌اند، دسته‌بندی‌شده بر اساس مستأجر و قالب پرامپت.
  • سطح 4: چرا سقف طول خروجی باید قبل از تعیین مدت زمان تخلیه‌ی سرور مشخص شود؟ انتظار می‌رود: مهلت خاموشی ملایم باید طولانی‌تر از طولانی‌ترین درخواست باشد، و طولانی‌ترین درخواست تا سقف تعیین‌شده پیش می‌رود. طبق محاسبه‌ی راهنما، تولید 32K توکن با سرعت 30 توکن در ثانیه بیش از 18 دقیقه طول می‌کشد.
  • سطح 4: اگر پاسخ‌های طولانی واقعاً نشست‌های معتبر ایجنت باشند چه؟ انتظار می‌رود: استخر حافظه را با کش کلید-مقدار FP8 یا حافظه‌ی بیشتر گسترش دهید، سقف هم‌زمانی را کم کنید، و سقفی برای خروجی بگذارید که تیم محصول آن را تأیید کرده باشد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «سرور را ری‌استارت کنید تا استخر حافظه خالی شود.» با این کار همه‌ی درخواست‌های در حال اجرا با خطا مواجه می‌شوند و با پرامپت بعدی، حلقه‌ها دوباره برمی‌گردند.
  • «سهم حافظه (memory fraction) را بالا ببرید.» استخر بزرگ‌تر فقط بروز علائم را به تأخیر می‌اندازد. درخواستی که سقف نداشته باشد هر استخری را پر می‌کند.
  • «دما (temperature) را پایین بیاورید تا حلقه‌ها متوقف شوند.» تنظیمات نمونه‌برداری فقط شانس افتادن در حلقه را تغییر می‌دهند. تنها چیزی که تمام شدن قطعی یک درخواست را تضمین می‌کند، سقف خروجی است.

کجای دوره آموزش داده می‌شود

بخش عملیات در SGLang 101 سقف خروجی و محاسبات مهلت خاموشی ملایم را شرح می‌دهد، و بخش رصد محیط عملیاتی در vLLM 101 شمارنده‌ی پیش‌دستی را با طول پاسخ‌ها پیوند می‌زند.