این صفحه فهرستی از متریکهای vLLM بهکاررفته در این راهنما و صفحهی مربوط به هرکدام را ارائه میدهد.
از این صفحه برای پیدا کردن متریکی که در بخشهای مختلف نام برده شده است استفاده کنید.
vLLM متریکها را در مسیر /metrics و در قالب Prometheus خروجی میدهد. نام همهی آنها با vllm: شروع میشود.
همانطور که در این جدولها مشخص شده است، تمام شمارندهها در مسیر /metrics با پسوند _total نمایش داده میشوند.
بار پردازشی و حافظه
| متریک | نوع | چه چیزی را اندازه میگیرد | صفحه |
|---|---|---|---|
vllm:num_requests_running |
gauge | درخواستهایی که موتور در حال حاضر روی آنها کار میکند | سلامت سیستم |
vllm:num_requests_waiting |
gauge | درخواستهای موجود در صف | سلامت سیستم |
vllm:kv_cache_usage_perc |
gauge | سهم کش کلید-مقدار (KV cache) در حال استفاده، از 0 تا 1 | سلامت سیستم |
vllm:num_preemptions_total |
counter | درخواستهایی که برای آزادسازی بلوکها متوقف شدهاند | عیبیابی |
تاخیر
| متریک | نوع | چه چیزی را اندازه میگیرد |
|---|---|---|
vllm:time_to_first_token_seconds |
histogram | زمان رسیدن درخواست تا تولید اولین توکن |
vllm:inter_token_latency_seconds |
histogram | زمان بین دو توکنِ یک درخواست |
vllm:request_time_per_output_token_seconds |
histogram | میانگین زمان بهازای هر توکن خروجی در یک درخواست |
vllm:request_queue_time_seconds |
histogram | مدتزمانی که درخواست قبل از اجرا در صف منتظر مانده است |
کش و توکنها
| متریک | نوع | چه چیزی را اندازه میگیرد | صفحه |
|---|---|---|---|
vllm:prefix_cache_queries_total |
counter | توکنهای پرامپت جستجوشده در کش پیشوند (prefix cache) | عیبیابی |
vllm:prefix_cache_hits_total |
counter | توکنهای پرامپت دریافتشده از کش پیشوند | عیبیابی |
vllm:prompt_tokens_total |
counter | توکنهای پرامپت پردازششده | |
vllm:generation_tokens_total |
counter | توکنهای خروجی تولیدشده |
دیکودینگ حدسی
| متریک | نوع | چه چیزی را اندازه میگیرد | صفحه |
|---|---|---|---|
vllm:spec_decode_num_draft_tokens_total |
counter | توکنهایی که مدل پیشنویس حدس زده است | دیکودینگ حدسی |
vllm:spec_decode_num_accepted_tokens_total |
counter | توکنهای حدسی پذیرفتهشده توسط مدل هدف (target model) | دیکودینگ حدسی |
آنچه در آزمایشهای ما ثبت شد
کلاینت بنچمارک ما مقادیر TTFT ،TPOT ،ITL و نرخ پردازش (throughput) را برای هر درخواست ثبت کرد. یک نمونهگیر (sampler) هم کلاک GPU و دمای آن را در هر ثانیه ذخیره میکرد. ما در طول آزمونهای جامع (sweeps)، متریکهای /metrics را گردآوری (scrape) نکردیم.
منابع: مستندات vLLM در نسخهی v0.31.0 (مسیر docs/design/metrics.md)، کد منبع vLLM در نسخهی v0.31.0 (مسیر vllm/v1/metrics/loggers.py).