بخش 5.2 · سنجش و اندازه‌گیری

پایش vLLM در محیط عملیاتی

Watch vLLM in production

فهرست مطالب
  1. پایش اندپوینت با پرومتئوس
  2. تنظیم هشدار روی پنج متریک کلیدی
  3. تحلیل هم‌زمان متریک‌ها
  4. پایش وضعیت کش و دیکودینگ حدسی
  5. وضعیت GPU را هم زیر نظر بگیرید

این پنج متریک بیشتر مشکلات را پیش از آنکه کاربران گزارش کنند، به شما نشان می‌دهند.

سرور شما در محیط عملیاتی (production) در حال اجرا است و باید به محض بروز مشکل متوجه آن شوید. پس از خواندن این بخش، می‌توانید متریک‌های مناسب را برای تنظیم هشدارها (alert) انتخاب کنید.

پایش اندپوینت با پرومتئوس

ابزار vLLM متریک‌های Prometheus را روی مسیر /metrics و دقیقاً روی همان پورت API در اختیارتان می‌گذارد و نیازی به فعال‌سازی هیچ فلگی نیست. فقط کافی است تسکی مانند نمونه‌ی زیر را به فهرست scrape_configs در تنظیمات Prometheus اضافه کرده و نشانی مقصد را به سرور خود تغییر دهید:

scrape_configs:
  - job_name: vllm
    scrape_interval: 15s
    metrics_path: /metrics
    static_configs:
      - targets: ["vllm-host:8000"]

ما روی سرورهای خودمان Prometheus را اجرا نکردیم.

تنظیم هشدار روی پنج متریک کلیدی

متریک شرط هشدار معنای معمول
vllm:num_requests_waiting بیشتر از 0 برای بیش از 1 دقیقه سرور توان پذیرش تمام ترافیک ورودی را ندارد
vllm:kv_cache_usage_perc بیشتر از 0.95 برای بیش از 1 دقیقه استخر حافظه پر است؛ بنابراین درخواست‌های جدید معطل می‌مانند یا دچار پیش‌دستی (preemption) می‌شوند
vllm:num_preemptions_total نرخ بیشتر از 0 باشد پردازش درخواست‌ها متوقف شده و محاسبه مجدداً تکرار می‌شود
vllm:time_to_first_token_seconds صدک 99 از حد مجاز تعیین‌شده رد شود کاربران برای دیدن اولین کلمه معطل می‌مانند
vllm:inter_token_latency_seconds صدک 99 از حد مجاز تعیین‌شده رد شود فاصله‌ی زمانی بین توکن‌ها در استریم زیاد است

حد مجاز تاخیر (latency) را بر اساس نیاز محصول خودتان تعیین کنید، نه با مقادیر پیش‌فرض داشبوردها. ما در آزمون‌های ارزیابی خود، 1000 میلی‌ثانیه برای توکن اول و 100 میلی‌ثانیه برای هر توکن خروجی را معیار قرار دادیم.

دو متریک مربوط به تاخیر از نوع هیستوگرام هستند؛ به همین دلیل صدک 99 آن‌ها با یک کوئری PromQL به دست می‌آید. عبارت زیر زمانی مقداری بزرگ‌تر از 0 برمی‌گرداند که صدک 99 زمان توکن اول در 5 دقیقه‌ی گذشته، از 1 ثانیه بیشتر شده باشد:

histogram_quantile(0.99, sum by (le) (rate(vllm:time_to_first_token_seconds_bucket[5m]))) > 1

همین فرمول را برای vllm:inter_token_latency_seconds_bucket با حد مجاز 0.1 ثانیه برای فاصله‌ی بین توکن‌ها به کار ببرید.

تحلیل هم‌زمان متریک‌ها

بررسی یک متریک به‌تنهایی گمراه‌کننده است. آن‌ها را به‌صورت جفتی بخوانید:

  • تعداد درخواست‌های در انتظار بالاتر از 0، ولی مصرف کش زیر 0.9: استخر حافظه جا دارد، اما دسته (batch) پر شده است. مقدار --max-num-seqs یا --max-num-batched-tokens ظرفیت پذیرش را محدود کرده است.
  • تعداد درخواست‌های در انتظار بالاتر از 0 و مصرف کش نزدیک به 1: استخر حافظه مانع پذیرش درخواست‌ها است. باید حافظه را ارتقا دهید یا کاربران هم‌زمان کمتری را به این GPU اختصاص دهید.
  • کندی در تولید توکن اول بدون وجود درخواست‌های در انتظار: پرامپت‌ها (prompt) طولانی هستند یا توکنایزر سرور API کند است. زمان صف (vllm:request_queue_time_seconds) را با زمان تولید توکن اول مقایسه کنید.
  • پیش‌دستی هم‌زمان با پاسخ‌های طولانی: درخواست‌های در حال اجرا آن‌قدر حافظه مصرف می‌کنند تا ظرفیت استخر تمام شود. هم‌زمانی را کاهش دهید یا از کش کلید-مقدار (KV cache) با فرمت FP8 استفاده کنید.

پایش وضعیت کش و دیکودینگ حدسی

دو جفت شمارنده‌ی دیگر نیز نشان می‌دهند که آیا استفاده از یک قابلیت به‌صرفه است یا خیر:

  • تقسیم تعداد اصابت‌های کش پیشوند بر تعداد کوئری‌ها، نرخ اصابت (hit rate) را نشان می‌دهد. اگر بعد از انتشار نسخه‌ی جدیدی از برنامه این نرخ افت کند، معمولاً به دلیل تغییر در ابتدای پرامپت است.
  • در دیکودینگ حدسی (speculative decoding)، تقسیم تعداد توکن‌های پذیرفته‌شده بر کل توکن‌های پیش‌نویس، نرخ پذیرش (acceptance rate) را به دست می‌دهد. افت این نرخ یعنی مدل پیشنهاددهنده روی ترافیک فعلی حدس‌های ضعیفی می‌زند.

وضعیت GPU را هم زیر نظر بگیرید

متریک‌های vLLM اطلاعاتی از کلاک یا دمای GPU نشان نمی‌دهند. اگر پردازنده داغ کند یا منابع آن به اشتراک گذاشته شده باشد، کندتر کار می‌کند و تمام تاخیرها بالا می‌روند، بدون آنکه تغییری در متریک‌های vLLM دیده شود. داده‌های nvidia-smi را اکسپورت کنید یا در کنار متریک‌های vLLM، خروجی‌گیر (exporter) ابزار NVIDIA DCGM را به کار ببرید.

روی سخت‌افزار ما اندازه‌گیری نشد. ما در آزمون‌های ارزیابی خود از اندپوینت /metrics داده‌ای جمع‌آوری نکردیم. در یکی از اجراها با استخر حافظه‌ی کوچک، درخواست‌ها در صف منتظر ماندند، ولی لاگ‌ها و متریک‌های آن را ذخیره نکردیم. صفحه‌ی بهینه‌سازی چت جزئیات آن اجرا را نشان می‌دهد.

منابع: مستندات vLLM در نسخه‌ی v0.31.0 (مسیر docs/design/metrics.md)، سورس‌کد vLLM در نسخه‌ی v0.31.0 (مسیر vllm/v1/metrics/loggers.py) و فایل capture/gpu/summary/l4.json (شاخص slo).

ترجمه‌ی فارسی Watch vLLM in production از راهنمای vLLM 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما