این پنج متریک بیشتر مشکلات را پیش از آنکه کاربران گزارش کنند، به شما نشان میدهند.
سرور شما در محیط عملیاتی (production) در حال اجرا است و باید به محض بروز مشکل متوجه آن شوید. پس از خواندن این بخش، میتوانید متریکهای مناسب را برای تنظیم هشدارها (alert) انتخاب کنید.
پایش اندپوینت با پرومتئوس
ابزار vLLM متریکهای Prometheus را روی مسیر /metrics و دقیقاً روی همان پورت API در اختیارتان میگذارد و نیازی به فعالسازی هیچ فلگی نیست. فقط کافی است تسکی مانند نمونهی زیر را به فهرست scrape_configs در تنظیمات Prometheus اضافه کرده و نشانی مقصد را به سرور خود تغییر دهید:
scrape_configs:
- job_name: vllm
scrape_interval: 15s
metrics_path: /metrics
static_configs:
- targets: ["vllm-host:8000"]
ما روی سرورهای خودمان Prometheus را اجرا نکردیم.
تنظیم هشدار روی پنج متریک کلیدی
| متریک | شرط هشدار | معنای معمول |
|---|---|---|
vllm:num_requests_waiting |
بیشتر از 0 برای بیش از 1 دقیقه | سرور توان پذیرش تمام ترافیک ورودی را ندارد |
vllm:kv_cache_usage_perc |
بیشتر از 0.95 برای بیش از 1 دقیقه | استخر حافظه پر است؛ بنابراین درخواستهای جدید معطل میمانند یا دچار پیشدستی (preemption) میشوند |
vllm:num_preemptions_total |
نرخ بیشتر از 0 باشد | پردازش درخواستها متوقف شده و محاسبه مجدداً تکرار میشود |
vllm:time_to_first_token_seconds |
صدک 99 از حد مجاز تعیینشده رد شود | کاربران برای دیدن اولین کلمه معطل میمانند |
vllm:inter_token_latency_seconds |
صدک 99 از حد مجاز تعیینشده رد شود | فاصلهی زمانی بین توکنها در استریم زیاد است |
حد مجاز تاخیر (latency) را بر اساس نیاز محصول خودتان تعیین کنید، نه با مقادیر پیشفرض داشبوردها. ما در آزمونهای ارزیابی خود، 1000 میلیثانیه برای توکن اول و 100 میلیثانیه برای هر توکن خروجی را معیار قرار دادیم.
دو متریک مربوط به تاخیر از نوع هیستوگرام هستند؛ به همین دلیل صدک 99 آنها با یک کوئری PromQL به دست میآید. عبارت زیر زمانی مقداری بزرگتر از 0 برمیگرداند که صدک 99 زمان توکن اول در 5 دقیقهی گذشته، از 1 ثانیه بیشتر شده باشد:
histogram_quantile(0.99, sum by (le) (rate(vllm:time_to_first_token_seconds_bucket[5m]))) > 1
همین فرمول را برای vllm:inter_token_latency_seconds_bucket با حد مجاز 0.1 ثانیه برای فاصلهی بین توکنها به کار ببرید.
تحلیل همزمان متریکها
بررسی یک متریک بهتنهایی گمراهکننده است. آنها را بهصورت جفتی بخوانید:
- تعداد درخواستهای در انتظار بالاتر از 0، ولی مصرف کش زیر 0.9: استخر حافظه جا دارد، اما دسته (batch) پر شده است. مقدار
--max-num-seqsیا--max-num-batched-tokensظرفیت پذیرش را محدود کرده است. - تعداد درخواستهای در انتظار بالاتر از 0 و مصرف کش نزدیک به 1: استخر حافظه مانع پذیرش درخواستها است. باید حافظه را ارتقا دهید یا کاربران همزمان کمتری را به این GPU اختصاص دهید.
- کندی در تولید توکن اول بدون وجود درخواستهای در انتظار: پرامپتها (prompt) طولانی هستند یا توکنایزر سرور API کند است. زمان صف (
vllm:request_queue_time_seconds) را با زمان تولید توکن اول مقایسه کنید. - پیشدستی همزمان با پاسخهای طولانی: درخواستهای در حال اجرا آنقدر حافظه مصرف میکنند تا ظرفیت استخر تمام شود. همزمانی را کاهش دهید یا از کش کلید-مقدار (KV cache) با فرمت FP8 استفاده کنید.
پایش وضعیت کش و دیکودینگ حدسی
دو جفت شمارندهی دیگر نیز نشان میدهند که آیا استفاده از یک قابلیت بهصرفه است یا خیر:
- تقسیم تعداد اصابتهای کش پیشوند بر تعداد کوئریها، نرخ اصابت (hit rate) را نشان میدهد. اگر بعد از انتشار نسخهی جدیدی از برنامه این نرخ افت کند، معمولاً به دلیل تغییر در ابتدای پرامپت است.
- در دیکودینگ حدسی (speculative decoding)، تقسیم تعداد توکنهای پذیرفتهشده بر کل توکنهای پیشنویس، نرخ پذیرش (acceptance rate) را به دست میدهد. افت این نرخ یعنی مدل پیشنهاددهنده روی ترافیک فعلی حدسهای ضعیفی میزند.
وضعیت GPU را هم زیر نظر بگیرید
متریکهای vLLM اطلاعاتی از کلاک یا دمای GPU نشان نمیدهند. اگر پردازنده داغ کند یا منابع آن به اشتراک گذاشته شده باشد، کندتر کار میکند و تمام تاخیرها بالا میروند، بدون آنکه تغییری در متریکهای vLLM دیده شود. دادههای nvidia-smi را اکسپورت کنید یا در کنار متریکهای vLLM، خروجیگیر (exporter) ابزار NVIDIA DCGM را به کار ببرید.
روی سختافزار ما اندازهگیری نشد. ما در آزمونهای ارزیابی خود از اندپوینت /metrics دادهای جمعآوری نکردیم. در یکی از اجراها با استخر حافظهی کوچک، درخواستها در صف منتظر ماندند، ولی لاگها و متریکهای آن را ذخیره نکردیم. صفحهی بهینهسازی چت جزئیات آن اجرا را نشان میدهد.
منابع: مستندات vLLM در نسخهی v0.31.0 (مسیر docs/design/metrics.md)، سورسکد vLLM در نسخهی v0.31.0 (مسیر vllm/v1/metrics/loggers.py) و فایل capture/gpu/summary/l4.json (شاخص slo).