مرجع R.2

متریک‌ها

Metrics

فهرست مطالب
  1. تاخیر
  2. بار کاری و حافظه
  3. کش و توکن‌ها
  4. آنچه در اجراهای ما ثبت شد

این‌ها سری‌های پرومتئوس (Prometheus) هستند که این راهنما بررسی می‌کند؛ به همراه چیزی که هر کدام می‌سنجند و پاسخی که در محیط عملیاتی به ما می‌دهند.

فلگ --enable-metrics اندپوینت /metrics را فعال می‌کند. بدون این فلگ، اندپوینت وجود ندارد و مقدار پیش‌فرض آن غیرفعال است. سرور پیش‌فرض ما 81 خانواده‌ی متریک با پیشوند sglang: اکسپورت کرد (فایل خروجی متریک‌ها). در بخش 5.2 توضیح داده‌ایم که برای کدام موارد باید هشدار (Alert) تنظیم کنید. این جدول مواردی را نگه داشته که در این راهنما استفاده شده‌اند.

تاخیر

سری نوع چه چیزی را می‌سنجد به چه سؤالی پاسخ می‌دهد
sglang:time_to_first_token_seconds هیستوگرام زمان رسیدن درخواست تا تولید اولین توکن خروجی آیا کاربران قبل از دیدن هر پاسخی معطل می‌شوند؟
sglang:inter_token_latency_seconds هیستوگرام زمان بین دو توکن خروجی آیا استریم لکنت دارد؟
sglang:request_time_per_output_token_seconds هیستوگرام در هر درخواست، زمان رمزگشایی تقسیم بر توکن‌های خروجیِ بعد از توکن اول آیا رمزگشایی برای هر کاربر کند است؟
sglang:e2e_request_latency_seconds هیستوگرام زمان رسیدن درخواست تا آخرین توکن دریافت یک پاسخ کامل چقدر طول می‌کشد؟
sglang:queue_time_seconds هیستوگرام زمانی که درخواست قبل از اولین پیش‌پرکنی منتظر می‌ماند آیا اسکژولر مانع پردازش درخواست‌ها شده است؟

بار کاری و حافظه

سری نوع چه چیزی را می‌سنجد به چه سؤالی پاسخ می‌دهد
sglang:num_running_reqs سنجه (Gauge) درخواست‌های حاضر در دسته‌ی در حال اجرا در حال حاضر چقدر بار کاری روی GPU است؟
sglang:num_queue_reqs سنجه درخواست‌های حاضر در صف انتظار آیا پذیرش درخواست‌ها گلوگاه است؟
sglang:token_usage سنجه کسری از جایگاه‌های استخر که استفاده می‌شوند استخر چقدر به پر شدن نزدیک است؟
sglang:num_retracted_reqs سنجه درخواست‌هایی که اسکژولر در آخرین بازه‌ی لاگ به صف برگردانده است آیا همین الان پیش‌بینی پذیرش شکست خورد؟
sglang:num_retracted_requests_total شمارنده (Counter) درخواست‌هایی که اسکژولر از زمان شروع به صف برگردانده است پیش‌بینی پذیرش چند وقت یک‌بار شکست می‌خورد؟
sglang:max_total_num_tokens سنجه اندازه‌ی استخر KV بر حسب توکن محاسبات اولیه‌ی اندازه در زمان بالا آمدن چه تصمیمی گرفته است؟
sglang:kv_cache_memory_usage_gb سنجه حافظه‌ی مصرف‌شده توسط استخرهای KV کش چقدر حافظه اشغال کرده است؟
sglang:gen_throughput سنجه توکن‌های خروجی در ثانیه در آخرین بازه آیا سرور در حال تولید توکن است؟
sglang:scheduler_idle_seconds_total شمارنده مدت زمانی که هیچ کار قابل اجرا یا در صفی وجود نداشته است آیا از ظرفیت سرور کمتر از حد استفاده می‌شود؟

کش و توکن‌ها

سری نوع چه چیزی را می‌سنجد به چه سؤالی پاسخ می‌دهد
sglang:cache_hit_rate سنجه نرخ اصابت کش پیشوند آیا پرامپت‌ها دوباره از کش استفاده می‌کنند؟
sglang:cached_tokens_total شمارنده توکن‌های کش‌شده‌ی پرامپت، به تفکیک منبع: سخت‌افزار (Device)، میزبان (Host) یا فضای ذخیره‌سازی کدام لایه‌ی کش پاسخگوی اصابت‌ها بوده است؟
sglang:prompt_tokens_total شمارنده توکن‌های پیش‌پرکنیِ پردازش‌شده چه حجم کاری از پرامپت دریافت شد؟
sglang:uncached_prompt_tokens_histogram هیستوگرام توکن‌های پرامپت که نیاز به محاسبه داشتند چه مقدار از کار پرامپت جدید بود؟
sglang:generation_tokens_total شمارنده توکن‌های خروجیِ تولیدشده چه حجم کاری در مرحله‌ی رمزگشایی انجام شد؟
sglang:num_requests_total شمارنده درخواست‌های پایان‌یافته به چند درخواست پاسخ داده شد؟
sglang:num_paused_reqs سنجه درخواست‌های متوقف‌شده به دلیل به‌روزرسانی وزن‌ها آیا یک ترینر یادگیری تقویتی (RL Trainer) کار سرور را متوقف کرده است؟

آنچه در اجراهای ما ثبت شد

پس از بنچمارک پیشوند مشترک، سرور پیش‌فرض مقدار sglang:cache_hit_rate را 0.94 گزارش کرد. سروری که با فلگ --disable-radix-cache اجرا شد، برای همان بنچمارک مقدار 0.0 را ثبت کرد. این سنجه بازه‌ی زمانی اخیر را پوشش می‌دهد.

شمارنده‌ها کل طول عمر هر سرور را پوشش می‌دهند و دو سرور قبل از اسکریپ (Scrape)، مجموعه‌های متفاوتی از بنچمارک‌ها را اجرا کردند. سرور پیش‌فرض 286,134 توکن پرامپت ثبت کرد: 286,102 توکن استریم‌شده به‌علاوه‌ی 32. از این تعداد، 182,079 توکن از کش تأمین شد که نسبت کل عمر آن 0.64 است. هر شمارنده یک بار به ازای هر مجموعه‌برچسب ظاهر می‌شود؛ بنابراین پیش از تقسیم، ردیف‌ها را با هم جمع بزنید.

منابع: python/sglang/srt/observability/ در نسخه‌ی v0.5.22؛ فایل‌های capture/out/metrics.txt، no-radix-cache-metrics.txt و small-pool-metrics.txt.

ترجمه‌ی فارسی Metrics از راهنمای SGLang 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما