اینها سریهای پرومتئوس (Prometheus) هستند که این راهنما بررسی میکند؛ به همراه چیزی که هر کدام میسنجند و پاسخی که در محیط عملیاتی به ما میدهند.
فلگ --enable-metrics اندپوینت /metrics را فعال میکند. بدون این فلگ، اندپوینت وجود ندارد و مقدار پیشفرض آن غیرفعال است. سرور پیشفرض ما 81 خانوادهی متریک با پیشوند sglang: اکسپورت کرد (فایل خروجی متریکها). در بخش 5.2 توضیح دادهایم که برای کدام موارد باید هشدار (Alert) تنظیم کنید. این جدول مواردی را نگه داشته که در این راهنما استفاده شدهاند.
تاخیر
| سری | نوع | چه چیزی را میسنجد | به چه سؤالی پاسخ میدهد |
|---|---|---|---|
sglang:time_to_first_token_seconds |
هیستوگرام | زمان رسیدن درخواست تا تولید اولین توکن خروجی | آیا کاربران قبل از دیدن هر پاسخی معطل میشوند؟ |
sglang:inter_token_latency_seconds |
هیستوگرام | زمان بین دو توکن خروجی | آیا استریم لکنت دارد؟ |
sglang:request_time_per_output_token_seconds |
هیستوگرام | در هر درخواست، زمان رمزگشایی تقسیم بر توکنهای خروجیِ بعد از توکن اول | آیا رمزگشایی برای هر کاربر کند است؟ |
sglang:e2e_request_latency_seconds |
هیستوگرام | زمان رسیدن درخواست تا آخرین توکن | دریافت یک پاسخ کامل چقدر طول میکشد؟ |
sglang:queue_time_seconds |
هیستوگرام | زمانی که درخواست قبل از اولین پیشپرکنی منتظر میماند | آیا اسکژولر مانع پردازش درخواستها شده است؟ |
بار کاری و حافظه
| سری | نوع | چه چیزی را میسنجد | به چه سؤالی پاسخ میدهد |
|---|---|---|---|
sglang:num_running_reqs |
سنجه (Gauge) | درخواستهای حاضر در دستهی در حال اجرا | در حال حاضر چقدر بار کاری روی GPU است؟ |
sglang:num_queue_reqs |
سنجه | درخواستهای حاضر در صف انتظار | آیا پذیرش درخواستها گلوگاه است؟ |
sglang:token_usage |
سنجه | کسری از جایگاههای استخر که استفاده میشوند | استخر چقدر به پر شدن نزدیک است؟ |
sglang:num_retracted_reqs |
سنجه | درخواستهایی که اسکژولر در آخرین بازهی لاگ به صف برگردانده است | آیا همین الان پیشبینی پذیرش شکست خورد؟ |
sglang:num_retracted_requests_total |
شمارنده (Counter) | درخواستهایی که اسکژولر از زمان شروع به صف برگردانده است | پیشبینی پذیرش چند وقت یکبار شکست میخورد؟ |
sglang:max_total_num_tokens |
سنجه | اندازهی استخر KV بر حسب توکن | محاسبات اولیهی اندازه در زمان بالا آمدن چه تصمیمی گرفته است؟ |
sglang:kv_cache_memory_usage_gb |
سنجه | حافظهی مصرفشده توسط استخرهای KV | کش چقدر حافظه اشغال کرده است؟ |
sglang:gen_throughput |
سنجه | توکنهای خروجی در ثانیه در آخرین بازه | آیا سرور در حال تولید توکن است؟ |
sglang:scheduler_idle_seconds_total |
شمارنده | مدت زمانی که هیچ کار قابل اجرا یا در صفی وجود نداشته است | آیا از ظرفیت سرور کمتر از حد استفاده میشود؟ |
کش و توکنها
| سری | نوع | چه چیزی را میسنجد | به چه سؤالی پاسخ میدهد |
|---|---|---|---|
sglang:cache_hit_rate |
سنجه | نرخ اصابت کش پیشوند | آیا پرامپتها دوباره از کش استفاده میکنند؟ |
sglang:cached_tokens_total |
شمارنده | توکنهای کششدهی پرامپت، به تفکیک منبع: سختافزار (Device)، میزبان (Host) یا فضای ذخیرهسازی | کدام لایهی کش پاسخگوی اصابتها بوده است؟ |
sglang:prompt_tokens_total |
شمارنده | توکنهای پیشپرکنیِ پردازششده | چه حجم کاری از پرامپت دریافت شد؟ |
sglang:uncached_prompt_tokens_histogram |
هیستوگرام | توکنهای پرامپت که نیاز به محاسبه داشتند | چه مقدار از کار پرامپت جدید بود؟ |
sglang:generation_tokens_total |
شمارنده | توکنهای خروجیِ تولیدشده | چه حجم کاری در مرحلهی رمزگشایی انجام شد؟ |
sglang:num_requests_total |
شمارنده | درخواستهای پایانیافته | به چند درخواست پاسخ داده شد؟ |
sglang:num_paused_reqs |
سنجه | درخواستهای متوقفشده به دلیل بهروزرسانی وزنها | آیا یک ترینر یادگیری تقویتی (RL Trainer) کار سرور را متوقف کرده است؟ |
آنچه در اجراهای ما ثبت شد
پس از بنچمارک پیشوند مشترک، سرور پیشفرض مقدار sglang:cache_hit_rate را 0.94 گزارش کرد. سروری که با فلگ --disable-radix-cache اجرا شد، برای همان بنچمارک مقدار 0.0 را ثبت کرد. این سنجه بازهی زمانی اخیر را پوشش میدهد.
شمارندهها کل طول عمر هر سرور را پوشش میدهند و دو سرور قبل از اسکریپ (Scrape)، مجموعههای متفاوتی از بنچمارکها را اجرا کردند. سرور پیشفرض 286,134 توکن پرامپت ثبت کرد: 286,102 توکن استریمشده بهعلاوهی 32. از این تعداد، 182,079 توکن از کش تأمین شد که نسبت کل عمر آن 0.64 است. هر شمارنده یک بار به ازای هر مجموعهبرچسب ظاهر میشود؛ بنابراین پیش از تقسیم، ردیفها را با هم جمع بزنید.
منابع: python/sglang/srt/observability/ در نسخهی v0.5.22؛ فایلهای capture/out/metrics.txt، no-radix-cache-metrics.txt و small-pool-metrics.txt.