مرجع R.2

متریک‌ها

Metrics

فهرست مطالب
  1. بار پردازشی و حافظه
  2. تاخیر
  3. کش و توکن‌ها
  4. دیکودینگ حدسی
  5. آنچه در آزمایش‌های ما ثبت شد

این صفحه فهرستی از متریک‌های vLLM به‌کاررفته در این راهنما و صفحه‌ی مربوط به هرکدام را ارائه می‌دهد.

از این صفحه برای پیدا کردن متریکی که در بخش‌های مختلف نام برده شده است استفاده کنید.

vLLM متریک‌ها را در مسیر /metrics و در قالب Prometheus خروجی می‌دهد. نام همه‌ی آن‌ها با vllm: شروع می‌شود.

همان‌طور که در این جدول‌ها مشخص شده است، تمام شمارنده‌ها در مسیر /metrics با پسوند _total نمایش داده می‌شوند.

بار پردازشی و حافظه

متریک نوع چه چیزی را اندازه می‌گیرد صفحه
vllm:num_requests_running gauge درخواست‌هایی که موتور در حال حاضر روی آن‌ها کار می‌کند سلامت سیستم
vllm:num_requests_waiting gauge درخواست‌های موجود در صف سلامت سیستم
vllm:kv_cache_usage_perc gauge سهم کش کلید-مقدار (KV cache) در حال استفاده، از 0 تا 1 سلامت سیستم
vllm:num_preemptions_total counter درخواست‌هایی که برای آزادسازی بلوک‌ها متوقف شده‌اند عیب‌یابی

تاخیر

متریک نوع چه چیزی را اندازه می‌گیرد
vllm:time_to_first_token_seconds histogram زمان رسیدن درخواست تا تولید اولین توکن
vllm:inter_token_latency_seconds histogram زمان بین دو توکنِ یک درخواست
vllm:request_time_per_output_token_seconds histogram میانگین زمان به‌ازای هر توکن خروجی در یک درخواست
vllm:request_queue_time_seconds histogram مدت‌زمانی که درخواست قبل از اجرا در صف منتظر مانده است

کش و توکن‌ها

متریک نوع چه چیزی را اندازه می‌گیرد صفحه
vllm:prefix_cache_queries_total counter توکن‌های پرامپت جستجوشده در کش پیشوند (prefix cache) عیب‌یابی
vllm:prefix_cache_hits_total counter توکن‌های پرامپت دریافت‌شده از کش پیشوند عیب‌یابی
vllm:prompt_tokens_total counter توکن‌های پرامپت پردازش‌شده
vllm:generation_tokens_total counter توکن‌های خروجی تولیدشده

دیکودینگ حدسی

متریک نوع چه چیزی را اندازه می‌گیرد صفحه
vllm:spec_decode_num_draft_tokens_total counter توکن‌هایی که مدل پیش‌نویس حدس زده است دیکودینگ حدسی
vllm:spec_decode_num_accepted_tokens_total counter توکن‌های حدسی پذیرفته‌شده توسط مدل هدف (target model) دیکودینگ حدسی

آنچه در آزمایش‌های ما ثبت شد

کلاینت بنچمارک ما مقادیر TTFT ،TPOT ،ITL و نرخ پردازش (throughput) را برای هر درخواست ثبت کرد. یک نمونه‌گیر (sampler) هم کلاک GPU و دمای آن را در هر ثانیه ذخیره می‌کرد. ما در طول آزمون‌های جامع (sweeps)، متریک‌های /metrics را گردآوری (scrape) نکردیم.

منابع: مستندات vLLM در نسخه‌ی v0.31.0 (مسیر docs/design/metrics.md)، کد منبع vLLM در نسخه‌ی v0.31.0 (مسیر vllm/v1/metrics/loggers.py).

ترجمه‌ی فارسی Metrics از راهنمای vLLM 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما