بخش 5.1 · اندازه‌گیری عملکرد سرور

sglang.benchmark.serving

sglang.benchmark.serving

فهرست مطالب
  1. دستوری که اجرا کردیم
  2. چهار تنظیم پیش‌فرض که نتیجه را دگرگون می‌کنند
  3. تحلیل سطر به سطر گزارش
  4. تحلیل پویش همروندی و یافتن نقطه‌ی زانو
  5. تکرار آزمایش پویش همروندی روی GPU در قالب یک تست کنترل‌شده
  6. میانگین‌ها و میانه‌ها چطور دو رفتار کاملاً متفاوت را پنهان می‌کنند؟
  7. بررسی تجربی رفتارهای موجی روی L4
  8. تخلیه‌ی کش پیشوند میان اجرای آزمایش‌ها
  9. نرخ پردازش موثر نقطه‌ی زانو را پیدا می‌کند؛ چیزی که نرخ پردازش معمولی پنهانش می‌کند
  10. بررسی عملکرد خودِ کلاینت در نرخ‌های بالا
  11. مقایسه‌ی دو کلاینت مختلف روی یک سرور یکسان
  12. فرکانس GPU را در تمام اجراها ثبت کنید
  13. موضع ما
  14. ماجرای یک رخداد واقعی: تله‌ی اسکریپت دست‌نویس

هر بار اجرای بنچمارک فقط یک میزان همروندی را می‌سنجد؛ بنابراین باید همروندی را پله‌پله بالا ببرید (Sweep) تا جایی که بار اضافی دیگر نرخ پردازش را بیشتر نکند و فقط زمان انتظار را بالا ببرد.

هم‌تیمی‌تان در کانال تیم پیام می‌گذارد: «SGLang روی لپ‌تاپ من 255 توکن بر ثانیه خروجی می‌دهد». این عدد واقعیت دارد؛ خود ما هم در لاگ‌هایمان ثبتش کرده‌ایم. اما این عدد به‌تنهایی کاملاً بی‌فایده است. همین سرور در یک بار کاری با میانه‌ی زمان تا اولین توکنِ 0.8 ثانیه به چنین نرخ پردازشی رسید، و در بار کاری دیگری با میانه‌ی 3.9 ثانیه. گزارش نرخ پردازش (Throughput) بدون تاخیر (Latency) متناظر با آن، هیچ تصویری از تجربه‌ی واقعی کاربر به شما نمی‌دهد.

پس از پایان این بخش، می‌توانید دستور sglang.benchmark.serving را با تنظیماتی قابل دفاع اجرا کنید و تک‌تک خطوط گزارش آن را بخوانید. می‌توانید «نقطه‌ی زانو» (Knee) را پیدا کنید؛ همان جایی که افزایش همروندی دیگر سودی نمی‌رساند. علاوه بر این، متوجه می‌شوید کدام‌یک از اعدادی که روی سیستم خودتان به دست آورده‌اید روی GPU هم تکرار می‌شوند و کدام‌ها نه.

دستوری که اجرا کردیم

سرور ما یک فرایند (Process) واحد است که مدل mlx-community/Qwen3-0.6B-4bit را روی سیستم Mac آزمایش اجرا می‌کند. تمام بنچمارک‌های این بخش با همین یک سرور ارتباط می‌گیرند.

سرور تحت آزمون capture/out/server-default.command.txt
SGLANG_USE_MLX=1 sglang serve --model-path mlx-community/Qwen3-0.6B-4bit --disable-cuda-graph --host 127.0.0.1 --port 30000 --enable-cache-report --enable-metrics --mem-fraction-static 0.4

دستور کامل، همان‌گونه که کیت ثبت آن را اجرا کرد.

دو فلگ در این دستور نیاز به توضیح دارند. راهنمای Apple silicon در SGLang هنوز از --disable-cuda-graph استفاده می‌کند، اما در راهنمای نسخه‌ی v0.5.22 این فلگ منسوخ اعلام شده و پیشنهاد شده به جای آن از --cuda-graph-backend-{decode,prefill}=disabled استفاده شود. در بک‌اند MLX، رمزگشایی (Decode) همیشه به صورت حریصانه (Greedy) انجام می‌شود، مگر اینکه گزینه‌ی --mlx-enable-sampling را اضافه کنید؛ بنابراین آزمایش‌های ما مسیر حریصانه را سنجیده‌اند. از طرفی کلاینت بنچمارک هم به‌طور پیش‌فرض با دمای 0 درخواست می‌فرستد، پس کلاینت و سرور در اینجا کاملاً با هم هم‌نظرند.

کلاینتی که استفاده کردیم، ماژول بنچمارک پیش‌فرضِ خود SGLang است. ما آن را سه بار، با سقف همروندیِ 1، 8 و 32 اجرا کردیم. اجرای مربوط به همروندی 8 به این شکل است:

python -m sglang.benchmark.serving --backend sglang --port 30000 \
  --dataset-name random --random-input-len 512 --random-output-len 128 \
  --random-range-ratio 1.0 --num-prompts 32 --max-concurrency 8 --seed 7

مسیرها تغییر کرده‌اند. ابزارهای بنچمارک در ژوئن 2026 به پکیج sglang.benchmark منتقل شدند. دستور python -m sglang.bench_serving همچنان به عنوان یک نام مستعارِ منسوخ کار می‌کند و ماژول جدید را فراخوانی می‌کند. اما دو دستور python -m sglang.bench_one_batch و python -m sglang.bench_offline_throughput در نسخه‌ی v0.5.22 دیگر اجرا نمی‌شوند. PR #40795 در تاریخ 2026-09-22 هر دوی این نام‌های مستعار را حذف کرد {{code}}. اگر آموزشی دیدید که هنوز از این دو مسیر استفاده می‌کند، برای نسخه‌های قدیمی‌تر SGLang نوشته شده و سایر فلگ‌هایش هم مشکوک و غیرقابل‌اعتمادند.

چهار تنظیم پیش‌فرض که نتیجه را دگرگون می‌کنند

کلاینت پیش از هر اندازه‌گیری، دست به چند انتخاب می‌زند. هر کدام از آن‌ها روی عدد نهایی تاثیر می‌گذارند، در حالی که در بیشتر بنچمارک‌های منتشرشده اصلاً اشاره‌ای نمی‌شود کدام‌ها دست‌نخورده مانده‌اند.

تنظیم مقدار پیش‌فرض در v0.5.22 تاثیر آن بر نتیجه
--random-range-ratio 0.0 طول هر پرامپت عددی تصادفی بین 1 تا طول درخواستی خواهد بود؛ در نتیجه میانگین طول پرامپت‌ها حدوداً نصفِ مقدار --random-input-len می‌شود
ignore_eos فعال سرور توکن پایان را نادیده می‌گیرد و هر درخواست دقیقاً به اندازه‌ی --random-output-len توکن تولید می‌کند
--request-rate inf همه‌ی درخواست‌ها در لحظه‌ی 0 فرستاده می‌شوند و فقط سقف --max-concurrency جلوی ارسال آن‌ها را می‌گیرد
--warmup-requests 1 پیش از شروع ثبت زمان، یک درخواست برای گرم‌کردن سرور اجرا می‌شود

سطر اول یک تله است. با نسبت پیش‌فرض، گزینه‌ی --random-input-len 512 میانگین طول پرامپتی نزدیک به 256 توکن تولید می‌کند. گزارش شما عدد 512 را ثبت می‌کند، در حالی که سرور عملاً نصف این حجم کار را پردازش کرده است. ما این نسبت را روی 1.0 گذاشتیم و خود گزارش هم درستی آن را تایید می‌کند: 32 پرامپت 512 توکنی، مجموعاً عدد Total input tokens: 16384 را تولید می‌کند. با فعال بودن ignore_eos، خروجی به Total generated tokens: 4096 می‌رسد که دقیقاً حاصل‌ضرب 32 در 128 است.

رویکرد ما: همیشه --random-range-ratio 1.0 را پاس بدهید، یا اینکه توزیع طول را کنار نتیجه بنویسید. بنچمارکی که طول ورودی‌ها در آن پنهان بماند، با هیچ داده‌ی دیگری قابل مقایسه نیست.

تحلیل سطر به سطر گزارش

گزارش در سقف همزمانی 8 capture/out/bench-random-c8.txt
============ Serving Benchmark Result ============
Backend:                                 sglang
Traffic request rate:                    inf
Max request concurrency:                 8
Successful requests:                     32
Benchmark duration (s):                  16.02
Total input tokens:                      16384
Total generated tokens:                  4096
Request throughput (req/s):              2.00
Output token throughput (tok/s):         255.63
Peak output token throughput (tok/s):    440.00
Peak concurrent requests:                16
Total token throughput (tok/s):          1278.13
Concurrency:                             7.96
…
Median TTFT (ms):                        785.79
P99 TTFT (ms):                           2180.87
…
Mean TPOT (ms):                          23.02
Median TPOT (ms):                        22.52
…
Median ITL (ms):                         20.35
P99 ITL (ms):                            78.79
Max ITL (ms):                            1948.37

بریده‌شده از خروجی کامل. خروجی آرگومان‌ها، نوار پیشرفت، و سطر‌های P90 و P95 حذف شده‌اند.

تابع calculate_metrics درون ماژول بنچمارک تک‌تک این خطوط را حساب می‌کند. پنج مورد از آن‌ها خیلی وقت‌ها اشتباه برداشت می‌شوند.

همروندی (Concurrency): مجموع تاخیر سرتاسری (End-to-end latency) همه‌ی درخواست‌ها تقسیم بر مدت‌زمان کل اجرا. این شاخص، میانگین تعداد درخواست‌های در حال انجام را پس از پایان کار نشان می‌دهد. در اینجا عدد 7.96 در مقابل سقف 8 ثبت شده است. این عدد فقط نشان می‌دهد که به سقف تعیین‌شده رسیده‌ایم، و نه چیزی بیشتر.

اوج درخواست‌های همروند (Peak concurrent requests): طول مدت آزمایش به بازه‌های یک‌ثانیه‌ای تقسیم می‌شود و هر درخواستی که بازه‌ی زمانی‌اش با آن ثانیه همپوشانی (Overlap) داشته باشد، شمرده می‌شود. این سطر بیشترین تعداد شمرده‌شده در یک ثانیه را گزارش می‌کند. اگر دو درخواست در یک ثانیه پشت سر هم اجرا شوند، هر دو شمرده می‌شوند و به همین دلیل این عدد می‌تواند از سقف همروندی بیشتر شود. به همین خاطر است که وقتی سقف روی 8 است گزارش عدد 16 را نشان می‌دهد، و وقتی سقف 32 است عدد به 64 می‌رسد.

زمان تا اولین توکن (TTFT): از لحظه‌ی ارسال درخواست تا دریافت اولین قطعه‌ی استریم‌شده (Chunk) محاسبه می‌شود. این زمان شامل مدت‌زمان ماندن در صف، زمان پیش‌پرکنی (Prefill) و تاخیر شبکه است.

زمان به ازای هر توکن خروجی (TPOT): برای هر درخواست، زمان سپری‌شده پس از اولین توکن تقسیم بر توکن‌های باقی‌مانده محاسبه می‌شود: (latency - ttft) / (output_len - 1). گزارش، میانگین و صدک‌های این شاخص را بین همه‌ی درخواست‌ها نشان می‌دهد. تاخیر بین توکن‌ها (ITL): تمام فاصله‌های زمانی بین دو قطعه‌ی استریم‌شده، تجمیع‌شده از تمام درخواست‌هاست. اگر یک قطعه چند توکن داشته باشد، باز هم یک فاصله شمرده می‌شود.

بیشترین تاخیر بین توکن‌ها (Max ITL): طولانی‌ترین فاصله‌ی منفرد، که در اینجا 1,948 میلی‌ثانیه است. یک درخواست نزدیک به دو ثانیه بین دو توکن معطل مانده، چون سرور مشغول پیش‌پرکنی پرامپت‌های جدید بوده است. میانه‌ی ITL که 20 میلی‌ثانیه است این وقفه را پنهان می‌کند؛ صدک 99ام (P99) با 79 میلی‌ثانیه بخشی از آن را نشان می‌دهد.

نحوه‌ی محاسبه‌ی هر سطر گزارشهمزمانی و اوج درخواست‌های همزمان از روی برچسب‌های زمانی درخواست‌ها پس از اجرا محاسبه می‌شوند؛ بنابراین هیچ سطری سقف تنظیم‌شده‌ی شما را تکرار نمی‌کند.
نحوه‌ی محاسبه‌ی هر سطر گزارش بنچمارک پنج سطر از گزارش بنچمارک، هر کدام به همراه فرمول مورد استفاده در calculate_metrics و مقدار حاصل از اجرا در سقف 8: همزمانی 7.96، اوج درخواست‌های همزمان 16، میانه‌ی TTFT برابر 785.79 میلی‌ثانیه، میانه‌ی TPOT برابر 22.52 میلی‌ثانیه، و میانه‌ی ITL برابر 20.35 میلی‌ثانیه. سطر گزارش محاسبه‌شده با در سقف 8 Concurrency مجموع تاخیرهای E2E / مدت‌زمان 7.96 Peak concurrent requests بیشترین درخواست فعال در 1 ثانیه 16 TTFT ارسال تا اولین تکه‌ی استریم 785.79 ms TPOT (latency - TTFT) / (tokens - 1) 22.52 ms ITL فاصله بین هر دو تکه، تجمیعی 20.35 ms مقادیر میانه برای TTFT، TPOT و ITL.
هر سطر را از چپ به راست بخوانید، از سطر گزارش تا فرمول موجود در calculate_metrics و مقدار ما در سقف 8. کادرهای زیتونی اندازه‌گیری‌های سمت کلاینت هستند. برگرفته از capture/out/bench-random-c8.txt و ماژول بنچمارک در نسخه‌ی v0.5.22.

تحلیل پویش همروندی و یافتن نقطه‌ی زانو

یک بار اجرا فقط یک نقطه را نشان می‌دهد. سه بار اجرا با سقف‌های 1، 8 و 32 شکل کلی رفتار سیستم را آشکار می‌کند.

سقف نرخ توکن خروجی (tok/s) میانه‌ی TTFT صدک 99ام TTFT میانه‌ی TPOT همروندی
1 175.15 162.98 ms 270.18 ms 4.38 ms 0.99
8 255.63 785.79 ms 2180.87 ms 22.52 ms 7.96
32 252.74 3917.54 ms 8262.86 ms 93.61 ms 31.94

شواهد ما روی Mac آزمایش به این ترتیب ثبت شدند: با رفتن از همروندی 1 به 8، نرخ پردازش خروجی 46 درصد افزایش پیدا می‌کند و میانه‌ی زمان تا اولین توکن 4.8 برابر کندتر می‌شود. از همروندی 8 به 32، نرخ پردازش تقریباً 1 درصد افت می‌کند. میانه‌ی زمان تا اولین توکن 5 برابر و میانه‌ی زمان به ازای هر توکن 4.2 برابر کندتر می‌شوند.

نرخ پردازش در سقف 8 متوقف می‌شود، تاخیر خیرافزایش سقف از 8 به 32 هیچ افزایشی در نرخ پردازش ایجاد نکرد و تاخیر توکن اول را پنج برابر کندتر ساخت.
نرخ پردازش در سقف 8 متوقف می‌شود، تاخیر خیر دو نمودار میله‌ای از پویش بنچمارک. سمت چپ، نرخ پردازش توکن خروجی در سقف‌های 1، 8 و 32 برابر با 175.15، 255.63 و 252.74 توکن بر ثانیه است. سمت راست، میانه‌ی زمان تا توکن اول در همان سقف‌ها به ترتیب 162.98، 785.79 و 3917.54 میلی‌ثانیه است. توکن خروجی/ثانیه میانه‌ی TTFT، میلی‌ثانیه سقف 1 175.15 سقف 1 163 سقف 8 255.63 سقف 8 786 سقف 32 252.74 سقف 32 3918 +46% از 1 به 8، -1% از 8 به 32 4.8x از 1 به 8، 5.0x از 8 به 32
سمت چپ، توکن‌های خروجی در ثانیه در هر سقف. سمت راست، میانه‌ی TTFT در همان سقف‌ها در مقیاسی مشترک. میله‌های زیتونی اندازه‌گیری‌های کلاینت هستند و رنگ سرخ اجراهای فراتر از زانویی (knee) را نشان می‌دهد. برگرفته از capture/out/bench-random-c1.txt، c8.txt و c32.txt.

نقطه‌ی زانو (Knee) سقفی از همروندی است که بعد از آن، نرخ پردازش دیگر بالا نمی‌رود. روی این دستگاه، این نقطه روی عدد 8 یا کمتر از آن است. بعد از نقطه‌ی زانو، سرور دیگر توان پردازشی خالی ندارد که ارائه دهد. درخواست‌های جدید فقط منتظر می‌مانند تا سهمی از همان گام‌های رمزگشایی نصیبشان شود. اسکژولر (Scheduler) در بخش 2.2 با وجود این وضعیت باز هم آن‌ها را می‌پذیرد، چون حد پذیرش آن روی این Mac برابر با max_running_requests=4096 تنظیم شده است.

چه چیزهایی روی GPU هم صدق می‌کنند؟ مقادیر عددی مطلق منتقل نمی‌شوند. رفتار مدل 0.6B روی Apple silicon هیچ ربطی به H100 ندارد. اما این الگوی رفتاری در سرورهایی که اندازه گرفتیم تکرار شد: همگی یک زانوی تاخیر داشتند، بعد از این زانو تاخیر با سرعتی بیشتر از نرخ پردازش رشد می‌کرد، و حد پذیرش پیش‌فرض سیستم فرسنگ‌ها بالاتر از این نقطه قرار داشت.

تکرار آزمایش پویش همروندی روی GPU در قالب یک تست کنترل‌شده

یک بار اجرا روی GPU گزاره‌ای نادرست به ما تحویل داد. بسته‌ی ابزار GPU، سرور پیش‌فرض را روی یک NVIDIA GB10 با مدل Qwen3-30B-A3B بالا آورد و هر سقف همروندی را فقط یک بار سنجید.

سرور تحت آزمون روی GB10 capture/gpu/out-gb10/server-default.command.txt
sglang serve --model-path Qwen/Qwen3-30B-A3B-Instruct-2507 --host 127.0.0.1 --port 30000 --enable-cache-report --enable-metrics --mem-fraction-static 0.7

دستور کامل، همان‌گونه که کیت GPU آن را اجرا کرد.

در سقف همروندی 8، تک‌اجرا میانه‌ی زمان تا اولین توکن را 677.61 میلی‌ثانیه گزارش داد. در سقف 32 این عدد را 390.38 میلی‌ثانیه گزارش کرد. بار بیشتر باعث شد اولین توکن سریع‌تر تولید شود؛ رفتاری که هیچ صفی توجیه‌کننده‌ی آن نیست. یک بار اجرا فقط یک نمونه است، و یک تک‌نمونه ممکن است به دلایلی که هرگز نمی‌بینید کاملاً اشتباه از آب درآید.

به همین دلیل این پویش را مثل مقایسه‌هایی که تیم‌های آموزش مدل انجام می‌دهند اجرا کردیم. اسکریپت پویش ما تمام سقف‌های همروندی از 1 تا 64 را سه بار و با سیدهای 1، 2 و 3 تکرار می‌کند. فلگ --output-details هم پاس داده می‌شود تا TTFT و فواصل توکن‌های تک‌تک درخواست‌ها ثبت شوند. در نهایت، اسکریپت خلاصه‌سازی ما این سه اجرا را در هر نقطه به میانه، کمترین و بیشترین مقدار خلاصه می‌کند.

سقف تک‌اجرای اولیه، میانه‌ی TTFT سه سید، میانه‌ی TTFT (کمترین تا بیشترین)
8 677.61 ms 209.98 ms (185.25 تا 216.02)
32 390.38 ms 416.37 ms (338.06 تا 434.64)

شواهد ما روی همان چیپ GB10 ولی با دو سرور مجزا ثبت شدند. تک‌اجرای اولیه در تاریخ 2026-10-17 در مخزن خود 227,243 توکن ظرفیت داشت و در آزمایش پویش در 2026-10-16 این ظرفیت 234,600 توکن بود. عدد 677.61 میلی‌ثانیه در سه اجرای بعدی هرگز تکرار نشد. از همروندی 2 به بالا، با افزایش سقف، دقیقاً همان‌طور که صف پیش‌بینی می‌کند اولین توکن هم کندتر شد.

کمی بعد علت آن نتیجه‌ی اشتباه را در لاگ‌های سرورِ تک‌اجرا پیدا کردیم. بسته‌ی ابزار، همه‌ی اجراها را با سید 7 به یک سرور فرستاده بود و کش پیشوند (Prefix cache) را هرگز خالی نکرده بود. وقتی سید ثابت باشد، کلاینت در هر اجرا دقیقاً همان پرامپت‌های اولیه را دوباره می‌فرستد {{code}}. در نتیجه هر اجرا پرامپت‌های اجرای قبلی را آماده در کش پیدا می‌کرد:

اجرایی که پرامپت‌های خود را در کش پیدا کرد capture/gpu/out-gb10/server-default.log
[2026-10-17 14:23:00] Prefill batch, #new-seq: 14, #new-token: 14, #cached-token: 6879, token usage: 0.07, …
[2026-10-17 14:23:00] Prefill batch, #new-seq: 15, #new-token: 15, #cached-token: 7634, token usage: 0.07, …
[2026-10-17 14:23:47] Prefill batch, #new-seq: 1, #new-token: 510, #cached-token: 2, token usage: 0.01, …

سه سطر prefill از اجرای کیت در سقف 32. دو سطر اول 29 درخواست را پذیرش می‌کنند که هر کدام به یک توکن جدید نیاز دارند. سطر سوم اولین پرامپتی است که برای کش جدید بود. انتهای سطرها بریده شده است.

ما سطرهای پیش‌پرکنی هر اجرا را شمردیم. در سقف همروندی 8، از 64 پرامپت، 16 تای آن‌ها قبل از شروع تست در کش بودند. در سقف 32، از 128 پرامپت، 64 تا در کش حضور داشتند و در سقف 64، این عدد به 128 پرامپت از کل 256 تا رسید. پرامپت کش‌شده نیازی به پیش‌پرکنی ندارد و اولین توکن آن خیلی سریع تحویل داده می‌شود. نیمی از درخواست‌ها در همروندی 32 و یک‌چهارم در همروندی 8 از این مزیت (Advantage) بهره برده بودند. همین مسئله باعث شده بود میانه‌ی زمان تا اولین توکن افت کند.

نرخ پردازش خروجی در برابر همزمانی روی GB10سه seed مختلف برای هر نقطه همگرایی بسیار نزدیکی دارند، بنابراین هر خط یک اندازه‌گیری واقعی است و فاصله‌ی میان خطوط قطعی است.
نرخ پردازش خروجی در برابر همزمانی روی GB10، با سه seed در هر نقطه مدل Qwen3-30B-A3B روی یک پردازنده‌ی NVIDIA GB10 با 512 توکن ورودی و 128 خروجی. حالت FP8 در همزمانی 64 به 441 توکن بر ثانیه می‌رسد و BF16 به 235. متد EAGLE-3 تا همزمانی 32 از BF16 پیشی می‌گیرد و در 64 به 276 می‌رسد. اجرای بدون CUDA graph منطبق بر حالت پیش‌فرض است. نوارها کمترین و بیشترین مقدار سه seed را نشان می‌دهند. 0 100 200 300 400 500 1 2 4 8 16 32 64 حداکثر همزمانی (کلاینت بنچمارک) توکن خروجی در ثانیه 441 235 FP8 + FP8 KV EAGLE-3 پیش‌فرض BF16 بدون CUDA graph
هر خط را از چپ به راست بخوانید، هر خط نشان‌دهنده‌ی یک پیکربندی سرور است. نوار سایه‌دار نشان‌دهنده‌ی کمترین و بیشترین مقدار میان سه seed است. مدل Qwen3-30B-A3B با 512 توکن ورودی و 128 توکن خروجی. برگرفته از capture/gpu/summary/gb10.json.

پهن‌ترین باند در نمودار مربوط به EAGLE-3 در همروندی 8 است که بین 86.93 تا 107.23 توکن بر ثانیه متغیر بوده است. سایر باندها در محدوده‌ی حدود 10 درصد میانه‌ی خود باقی ماندند. با چنین دقتی، اختلاف 1.9 برابری کاملاً واقعی است. در همروندی 64، فرمت FP8 به 440.86 توکن بر ثانیه رسید، در حالی که BF16 عدد 235.38 را ثبت کرد. اجرای بدون گراف‌های CUDA روی همان خط پیش‌فرض افتاده است که دلیلش را در بخش 4.1 توضیح می‌دهیم.

میانگین‌ها و میانه‌ها چطور دو رفتار کاملاً متفاوت را پنهان می‌کنند؟

گزینه‌ی --output-details زمان اولین توکن را برای تک‌تک درخواست‌ها ثبت می‌کند. ما تمام درخواست‌های مربوط به سه سید را در سقف همروندی 16 مرتب کردیم و نمودارشان را کشیدیم.

چندک‌های TTFT در سه اجرا با سقف 16حدود نیمی از درخواست‌ها چندین برابر بیشتر از نیم دیگر منتظر ماندند، بنابراین میانه وضعیت هیچ‌یک از دو گروه را به‌درستی نشان نمی‌دهد.
چندک‌های TTFT در سه اجرا با سقف 16 منحنی چندک‌های زمان تا اولین توکن برای درخواست‌های تجمیعیِ سه seed در سقف 16 روی GB10، ترسیم‌شده از روی 51 چندک بین 0 تا 100 درصد. BF16 و FP8 در بازه‌ی 140 تا 240 میلی‌ثانیه صعود شدیدی دارند و سپس هموار شده و نزدیک 1.2 و 1.7 ثانیه پایان می‌یابند. EAGLE-3 دیرتر شروع می‌شود، نزدیک 580 میلی‌ثانیه در میانه، و کوتاه‌ترین دم توزیع را دارد. 0% 25% 50% 75% 100% 30 100 300 1k 3k زمان تا توکن اول، میلی‌ثانیه (لگاریتمی) سهم درخواست‌ها P90 FP8 BF16 EAGLE-3
هر خط بر اساس 51 چندک از درخواست‌های تجمیعی، از سریع‌ترین تا کندترین رسم شده است. خط سرخ صدک P90 را مشخص می‌کند. محور زمان لگاریتمی است. برگرفته از رکوردهای تفکیکی هر درخواست در capture/gpu/summary/gb10.json، پویش بار در سقف 16.

شواهد ما روی GB10 نشان داد که درخواست‌ها به دو دسته‌ی کاملاً مجزا تقسیم شده‌اند. در BF16، نیمی از درخواست‌ها که سریع‌ترین بودند، اولین توکن را بین 186.3 تا 211.8 میلی‌ثانیه دریافت کردند. اما از صدک 68ام به بعد، درخواست‌ها بین 1,639.8 تا 1,743.4 میلی‌ثانیه در انتظار ماندند. میانه‌ی کل 237.6 میلی‌ثانیه بود و P90 به 1,721.5 میلی‌ثانیه رسید؛ یعنی 7.2 برابر کندتر! در FP8 هم دقیقاً همین دو دسته شکل گرفت: 122.7 تا 139.5 میلی‌ثانیه برای نیمه‌ی سریع، و 589.9 تا 1,162.2 میلی‌ثانیه برای نیمه‌ی کند.

حالت EAGLE-3 کندترین میانه (579.3 میلی‌ثانیه) و کوتاه‌ترین دنباله‌ی تاخیر (1,007.4 میلی‌ثانیه در P90) را ثبت کرد. در عوض، زمان به ازای هر توکن آن بیشترین پراکندگی را داشت: 82.8 میلی‌ثانیه در میانه و 191.3 میلی‌ثانیه در صدک 98ام؛ چرا که تعداد توکن‌های پیش‌نویسِ پذیرفته‌شده در هر گام تغییر می‌کند.

برداشت ما از دلیل شکل‌گیری این دو دسته: الگوی بار کاری باعث این پدیده شده است. از آنجا که --random-range-ratio 1.0 طول توکن‌ها را ثابت نگه می‌دارد، همه‌ی درخواست‌ها دقیقاً 128 توکن خواسته‌اند. بنابراین درخواست‌هایی که با هم شروع می‌شوند، تقریباً با هم تمام می‌شوند و درخواست‌های جایگزین هم همگی یکباره سر می‌رسند. این موج جدید ناچار می‌شود در صف پیش‌پرکنی پشت سر درخواست‌های قبلی بماند. در ترافیک واقعی، طول درخواست‌ها متفاوت است. اگر سیستم را با طول ثابت تست می‌کنید، به P90 به چشم هزینه‌ی ناشی از ترافیک انفجاری (Burst) نگاه کنید، نه هزینه‌ی یک درخواست عادی.

کش پیشوند امکان تحلیل دومی را فراهم می‌کند که نمی‌توانیم آن را کاملاً رد کنیم. در آزمایش پویش هم یک سرور برای همه‌ی اجراهای یک پیکربندی روشن مانده بود و کش پاک نمی‌شد. هر سید در هر سقف همروندی پرامپت‌های اولیه‌ی یکسانی می‌فرستاد. در همروندی 16، از 64 پرامپت، 32 تای آن‌ها همان پرامپت‌های همروندی 8 بودند. اگر این توکن‌ها هنوز در مخزن مانده بودند، نیمی از درخواست‌ها از پیش‌پرکنی معاف می‌شدند. چون لاگ‌های کامل سرور در آن پویش ذخیره نشد، نمی‌توانیم تعداد درخواست‌های موجود در کش را بشماریم.

ما این تحلیل را روی چیپ L4 تست کردیم، نه روی GB10. در تاریخ 2026-10-23 پویش بار مدل Qwen3-8B را با تخلیه‌ی کش قبل از هر بار اجرا و قفل فرکانس روی 900 مگاهرتز تکرار کردیم. سپس نتیجه را با اجرایی از همان نشست (Session) که تخلیه‌ی کش نداشت مقایسه کردیم:

میانه‌ی TTFT با و بدون flush، مدل Qwen3-8B روی کارت L4 ما در 900 مگاهرتز capture/gpu/out-l4/load-flushed-vs-unflushed.txt
median TTFT, flushed against unflushed
users   vLLM                                   SGLang
4       650 / 145 ms (4.5x)                    532 to 645 / 141 ms (3.8 to 4.6x)
8       951 to 978 / 264 to 274 ms (3.6x)      1,174 to 1,273 / 173 to 178 ms (6.6 to 7.3x)
16      1,550 to 1,587 / 294 to 295 ms (5.3x)  1,804 to 1,944 / 218 ms (8.3 to 8.9x)
…

سطرهای مربوط به میانه‌ی TTFT. سهم درخواست‌های مطابق با هدف و خطوط صدک P99 ITL بریده شده‌اند.

روی چیپ L4، تخلیه‌ی کش میانه‌ی TTFT در SGLang را در بارهای کاری 4 تا 16 کاربر، بین 4 تا 9 برابر بالا برد. زمان به ازای هر توکن کمتر از 10 درصد تغییر کرد. بنابراین روی L4، علت اصلی سریع بودن آن گروه اول، همان وجود کش بود. اما روی GB10 چون پویش را دوباره اجرا نکردیم، هر دو احتمال به قوت خود باقی هستند.

بررسی تجربی رفتارهای موجی روی L4

یک تحلیل تا زمانی که متغیر اصلی آن را دستکاری نکنید، صرفاً یک فرضیه (Hypothesis) است. ما مدل Qwen3-8B را روی یک کارت L4 با سقف 16 و 64 پرامپت، با سه سید در هر نقطه اجرا کردیم. تنها متغیری که تغییر دادیم مقدار --random-range-ratio بود که از 1.0 به 0.5 و سپس به 0.0 رسانده شد.

یک موج روی L4 با طول‌های ثابت capture/gpu/out-l4/server-waves-default.log
[2026-10-17 15:54:33] Prefill batch, #new-seq: 8, #new-token: 4096, #cached-token: 1, token usage: 0.34, #running-req: 1, #queue-req: 0, #pending-token: 513, cuda graph: True, input throughput (token/s): 3509.80
[2026-10-17 15:54:34] Prefill batch, #new-seq: 8, #new-token: 3583, #cached-token: 0, token usage: 0.34, #running-req: 8, #queue-req: 0, #pending-token: 0, cuda graph: True, input throughput (token/s): 3503.78
[2026-10-17 15:54:35] Decode batch, #running-req: 16, #token: 8240, token usage: 0.34, cuda graph: True, gen throughput (token/s): 2.62, #queue-req: 0
[2026-10-17 15:54:37] Decode batch, #running-req: 16, #token: 8880, token usage: 0.37, cuda graph: True, gen throughput (token/s): 231.07, #queue-req: 0
[2026-10-17 15:54:40] Decode batch, #running-req: 16, #token: 9520, token usage: 0.40, cuda graph: True, gen throughput (token/s): 229.85, #queue-req: 0

پنج سطر متوالی از یک اجرا با نسبت 1.0. برچسب‌های زمانی حفظ شده‌اند، زیرا زمان‌بندی اصل موضوع است.

این رفتار موجی در لاگ ثبت شده است: در یک مقطع فقط یک درخواست در حال اجرا بود، چون پانزده تای دیگر همگی با هم تمام شده بودند و درخواست‌های جایگزینشان هم‌زمان از راه رسیدند. اسکژولر آن‌ها را در قالب دو قطعه‌ی حداکثر 4,096 توکنی پیش‌پرکنی کرد و سپس هر 16 تا با هم وارد فاز رمزگشایی شدند.

طول‌های ثابت: فدا کردن توکن اول برای روان شدن رمزگشاییبا طول‌های ثابت، میانه‌ی TTFT برابر 1996 میلی‌ثانیه و P99 ITL برابر 82 میلی‌ثانیه بود؛ در حالی که با طول‌های ترکیبی، این مقادیر 291 و 300 میلی‌ثانیه شدند.
طول‌های ثابت: فدا کردن توکن اول برای روان شدن رمزگشایی میانه‌ی زمان تا توکن اول و تاخیر بین‌توکنی صدک P99 در برابر random-range-ratio-- روی یک NVIDIA L4 با مدل Qwen3-8B، سقف 16 و 64 پرامپت، سه seed در هر نقطه، در مقیاس لگاریتمی. در نسبت 1.0 همه‌ی درخواست‌ها دارای 512 توکن ورودی و 128 خروجی هستند، و میانه‌ی TTFT برابر 1996 میلی‌ثانیه برای BF16 و 1526 میلی‌ثانیه برای FP8 است، در حالی که P99 ITL برابر 82 و 55 میلی‌ثانیه است. در نسبت 0.0 طول‌ها متغیرند، میانه‌ی TTFT برابر 291 و 129 میلی‌ثانیه و P99 ITL برابر 300 و 95 میلی‌ثانیه است. 30 100 300 1k 3k 0 0.5 1 random-range-ratio-- (1.0 یعنی طول یکسان همه) میلی‌ثانیه (لگاریتمی) میانه‌ی TTFT در BF16 میانه‌ی TTFT در FP8 P99 ITL در BF16 P99 ITL در FP8
خطوط پیوسته نشان‌دهنده‌ی میانه‌ی TTFT و خطوط‌چین نشان‌دهنده‌ی تاخیر بین‌توکنی صدک P99 با سه seed در هر نقطه در مقیاس لگاریتمی هستند. رنگ سوسنی BF16 و سبز FP8 با کش کلید-مقدار FP8 است. برگرفته از capture/gpu/summary/l4.json.
نسبت طول میانه‌ی TTFT در BF16 صدک 99ام ITL در BF16 میانه‌ی TTFT در FP8 صدک 99ام ITL در FP8
1.0 1,996 ms 82 ms 1,526 ms 55 ms
0.5 364 ms 396 ms 130 ms 95 ms
0.0 291 ms 300 ms 129 ms 95 ms

شواهد ما نشان داد که با ثابت بودن طول پرامپت‌ها، زمان اولین توکن در فرمت BF16 تا 6.9 برابر و در FP8 تا 11.8 برابر کندتر می‌شود. فرکانس میانه‌ی پردازنده در تست‌های FP8 در این دو نسبت به ترتیب 1,185 و 2,040 مگاهرتز بود؛ بنابراین بخشی از ضریب FP8 ناشی از فرکانس پردازنده بوده است. از طرفی در حالت طول‌های متنوع، مجموعاً توکن‌های کمتری فرستاده شد. در سید 1 و با نسبت 0.0، مجموع توکن‌های ورودی 17,870 بود، در حالی که در نسبت 1.0 این عدد به 32,768 توکن می‌رسید؛ پس بخشی از اختلاف هم به کمتر بودن حجم کل کار مربوط می‌شود.

کش هم می‌تواند بخش دیگری از ماجرا را توضیح دهد. در هر سید، اجرای 1.0 اول از همه و با کش خالی انجام شد. اجراهای 0.5 و 0.0 بعد از آن آمدند و پرامپت‌های آن‌ها بخش آغازینِ پرامپت‌های اجرای 1.0 بودند. مخزن BF16 با ظرفیت 24,094 توکن فقط بخشی از 32,768 توکنِ آن اجرا را در خود نگه داشت، اما مخزن FP8 با ظرفیت 142,369 توکن می‌توانست کل آن‌ها را نگه دارد.

کمتر بودن حجم کار و تاثیر کش نمی‌توانند نیمه‌ی دیگر ماجرا را توجیه کنند. در طول‌های نامساوی، صدک 99ام ITL از 82 به 300 میلی‌ثانیه جهش کرد. پرامپت‌های جدید تک‌تک می‌رسیدند و هر بار پیش‌پرکنی، فاز رمزگشاییِ درخواست‌های در حال اجرا را متوقف می‌کرد. اما در طول‌های ثابت، پیش‌پرکنی فقط بین موج‌ها رخ می‌داد.

چیپ GB10 هم با مدل Qwen3-30B-A3B و با سه سید در هر نقطه همین الگو را نشان داد: با طول ثابت، میانه‌ی TTFT در BF16 برابر با 1,650 میلی‌ثانیه و P99 ITL برابر با 169 میلی‌ثانیه بود. در حالت طول متغیر، این اعداد به 320 و 230 میلی‌ثانیه تغییر کردند. در FP8 نیز مقادیر از 1,050 و 92 میلی‌ثانیه به 188 و 127 میلی‌ثانیه رسیدند. مشاهده‌ی این موازنه روی دو GPU مختلف و دو مدل متفاوت اثبات می‌کند که منشا این رفتار در هر دو سیستم ما، الگوی بار کاری بوده است و نه سخت‌افزار.

این دو تنظیم در واقع دو سرور کاملاً متفاوت را اندازه می‌گیرند. طول‌های یکسان ترافیک انفجاری را می‌سنجند: اولین توکن کند است ولی توکن‌های بعدی نرم و بی‌وقفه می‌آیند. طول‌های متغیر ترافیک یکنواخت را می‌سنجند: اولین توکن سریع است اما میان استریم توکن‌ها وقفه رخ می‌دهد. برای مقایسه‌ی دو بیلد مختلف حتماً از --random-range-ratio 1.0 استفاده کنید چون آزمایش کاملاً تکرارپذیر است؛ اما قبل از اینکه هدف تاخیر را بر اساس آن تعیین کنید، توزیع واقعی طول داده‌های خودتان را هم بسنجید.

تخلیه‌ی کش پیشوند میان اجرای آزمایش‌ها

کش پیشوند داده‌های KV مربوط به پرامپت‌های قبلی را بعد از پایان اجرا در حافظه نگه می‌دارد. این موضوع دو چیز را در اجرای بعدی دستکاری می‌کند: سرعت، و گاهی خروجی حریصانه مدل، که در بخش 4.6 نشان داده شده است.

برای اینکه متوجه شویم این اثر چقدر سرعت را تغییر می‌دهد، یک بار کاری مشخص را چهار بار پشت سر هم با سید یکسان اجرا کردیم. از مدل Qwen/Qwen3-0.6B با 64 پرامپت، سقف همروندی 16، 512 توکن ورودی و 128 توکن خروجی استفاده شد. این آزمایش روی GPU دوم نود L4 انجام شد که اشتراکی بود و قفل فرکانس نداشت؛ بنابراین به نسبت‌ها تکیه کنید، نه به زمان‌های دقیق.

میانه‌ی TTFT بر حسب میلی‌ثانیه، بار یکسان برای چهار بار متوالی capture/gpu/out-l4/prefix-cache-flush.txt
engine        fresh   repeat, not flushed   repeat after a flush   repeat, not flushed
SGLang 0.6B   394     82.5                  289                    77
…

سطر SGLang از خلاصه. سطر vLLM بریده شده است.

تکرار آزمایش بدون تخلیه‌ی کش، میانه‌ی TTFT را حدود 4.8 برابر کمتر از اجرای اول ثبت کرد. اما به محض تخلیه‌ی کش، TTFT دوباره به حوالی اجرای اول برگشت. زمان به ازای هر توکن کمتر از 15 درصد دستخوش تغییر شد.

برای تمام بنچمارک‌های مقایسه‌ای خود از این پروتکل پیروی کنید:

  1. هر بار آزمایش را با کش خالی شروع کنید. گزینه‌ی --flush-cache را به sglang.benchmark.serving بدهید؛ این گزینه بعد از درخواست گرم‌کردن (Warmup)، اندپوینت /flush_cache را فراخوانی می‌کند {{code}}. همچنین می‌توانید خودتان متد POST /flush_cache را صدا بزنید یا سرور را ری‌استارت کنید.
  2. مطمئن شوید کش واقعاً تخلیه شده باشد. سرور تنها زمانی کش را خالی می‌کند که هیچ درخواستی در حال اجرا یا منتظر در صف نباشد؛ در غیر این صورت با خطای HTTP 400 پاسخ می‌دهد و در لاگ پیام Cache not flushed because there are pending requests ثبت می‌شود {{code}}.
  3. در هر اجرا یک مقدار --seed جدید پاس بدهید تا کلاینت پرامپت‌های جدیدی بفرستد.
  4. آمار توکن‌های کش‌شده را ثبت کنید. متریک sglang:cached_tokens_total را قبل و بعد از آزمایش از اندپوینت /metrics بخوانید. اگر گزینه‌ی --enable-cache-report فعال باشد، در پاسخ‌های شبیه OpenAI فیلد usage.prompt_tokens_details.cached_tokens هم این مقدار را برمی‌گرداند.
  5. وضعیت تنظیمات کش و توکن‌های کش‌شده را حتماً در کنار نتایج بنویسید.

بسته‌ی ابزار و پویش‌های ما از این پروتکل پیروی نکردند؛ فقط اولین اجرای هر سید روی هر سرور با کش خالی شروع شده بود. به همین دلیل برخی از مقادیر TTFT بعدی در این صفحه ممکن است زیادی خوش‌بینانه باشند، به‌ویژه در چیپ GB10 که مخزنش تمام پرامپت‌های ارسالی را جا داده بود. زمان به ازای هر توکن کمتر در معرض این خطاست، چون وجود کش بارِ مرحله‌ی پیش‌پرکنی را کم می‌کند ولی تغییری در بار مرحله‌ی رمزگشایی نمی‌دهد.

نرخ پردازش موثر نقطه‌ی زانو را پیدا می‌کند؛ چیزی که نرخ پردازش معمولی پنهانش می‌کند

روی چیپ GB10، نرخ پردازش در حالت BF16 حتی در سقف همروندی 64 هم کماکان رو به افزایش است، چون مخزن KV گنجایش 234,600 توکن را دارد. منحنی نرخ پردازشی که هیچ نقطه‌ی زانویی نشان نمی‌دهد، نمی‌تواند به شما بگوید کجا باید متوقف شوید. اما هدف تاخیر این کار را می‌کند.

نرخ پردازش موثر (Goodput): تعداد درخواست‌هایی در ثانیه که با تاخیری در محدوده‌ی هدف به پایان می‌رسند. اسکریپت خلاصه‌سازی ما درخواستی را محاسبه می‌کند که اولین توکن آن زیر 1 ثانیه برسد و میانگین زمان به ازای هر توکن آن کمتر از 100 میلی‌ثانیه باشد.

سقف نرخ پردازش موثر BF16 میانه‌ی TPOT در BF16 نرخ پردازش موثر FP8 میانه‌ی TPOT در FP8
4 0.44 req/s 71.01 ms 0.80 req/s 38.60 ms
8 0 (و در یک سید حداکثر 0.04) 102.21 ms 1.07 req/s 54.96 ms
16 0 154.24 ms 1.10 req/s 81.90 ms
32 0 201.91 ms 0 104.12 ms

نرخ پردازش موثر BF16 در سقف همروندی 4 به اوج خود می‌رسد. از سقف 8 به بعد، پردازش هر توکن در میانه‌ی درخواست‌ها بیش از 100 میلی‌ثانیه زمان می‌برد و در نتیجه نرخ پردازش موثر به 0 می‌رسد. این در حالی است که نرخ پردازش در این سقف 74.11 توکن بر ثانیه بوده و هنوز بالا می‌رود. اما مدل FP8 تا همروندی 16 همچنان به هدف پایبند می‌ماند. رویکرد ما: سقف همروندی را بر اساس نرخ پردازش موثر در هدف تاخیر خودتان تعیین کنید، و از منحنی نرخ پردازش خام فقط برای تحلیل ماجرا کمک بگیرید.

سقف همروندی یک حلقه‌ی بسته (Closed loop) می‌سازد. در این حالت هر کلاینت تا پاسخش را تحویل نگیرد درخواست بعدی را نمی‌فرستد؛ بنابراین سرور هرگز باری بیش از توان پردازش خود دریافت نمی‌کند. اما کاربران واقعی منتظر همدیگر نمی‌مانند. اگر گزینه‌ی --request-rate را به کار ببرید، درخواست‌ها در زمان‌های ورودی پواسون فرستاده می‌شوند و اگر سرور از آهنگ ورود درخواست‌ها کندتر باشد، صف لحظه به لحظه بزرگ‌تر می‌شود. ما همین مدل را با نرخ‌های 0.5 تا 16 درخواست بر ثانیه و با سه سید مختلف اجرا کردیم.

درخواست‌های پاسخ داده‌شده و موارد منطبق با هدف، در برابر بار ورودیپیکربندی FP8 در بار ورودی 1 توانست 1.03 درخواست در ثانیه را در محدوده‌ی هدف پاسخ دهد، اما BF16 تقریباً هیچ درخواستی را در هیچ باری در هدف پاسخ نداد.
درخواست‌های پاسخ داده‌شده و موارد منطبق با هدف، در برابر بار ورودی ورودی‌های پواسون در بازه‌ی 0.5 تا 16 درخواست در ثانیه روی GB10 با مدل Qwen3-30B-A3B. خطوط‌چین درخواست‌های ارائه‌شده در ثانیه را نشان می‌دهند، خطوط پیوسته درخواست‌هایی را نشان می‌دهند که به زمان توکن اول زیر 1 ثانیه و میانگین زمان توکن زیر 100 میلی‌ثانیه رسیده‌اند. FP8 در ورودی 1 معادل 1.03 درخواست در ثانیه درون هدف پردازش می‌کند و از بار 4 تقریباً هیچ. BF16 تقریباً در هیچ باری به هدف نمی‌رسد. 0 3 6 9 0.5 1 2 4 8 16 نرخ درخواست ورودی، درخواست بر ثانیه (پواسون) درخواست بر ثانیه 8.26 ارائه‌شده 3.88 ارائه‌شده FP8 در ورودی 1: 1.03 در محدوده هدف FP8 BF16 ارائه‌شده (خط‌چین) درون هدف (پیوسته) هدف: توکن اول زیر 1000 میلی‌ثانیه و میانگین هر توکن زیر 100 میلی‌ثانیه، به‌ازای هر درخواست
خط‌چین‌ها تعداد درخواست‌های تکمیل‌شده در ثانیه هستند. خطوط پیوسته درخواست‌های منطبق بر هدف را با بازه‌ی سه seed به‌صورت نوار نشان می‌دهند. سبز، FP8 با کش کلید-مقدار FP8 است و سوسنی BF16. برگرفته از capture/gpu/summary/gb10.json، پویش نرخ ورود.

شواهد ما روی GB10 ثبت شد. در نرخ 0.5 درخواست بر ثانیه، میانه‌ی زمان به ازای هر توکن در BF16 حتی به 177.5 میلی‌ثانیه رسیده بود. ورود درخواست‌ها همپوشانی پیدا می‌کند: در نرخ 0.52 درخواست بر ثانیه، با در نظر گرفتن طول 128 توکنی و زمان 177.5 میلی‌ثانیه‌ای هر توکن، حدود 12 درخواست به‌طور هم‌زمان در هر گام رمزگشایی شریک می‌شوند. تنها 0.07 درخواست در ثانیه به هدف تاخیر رسیدند. در مقابل، FP8 تا نرخ 1 درخواست بر ثانیه به تمام اهداف تاخیر پایبند ماند و در نرخ 2 به 0.17 سقوط کرد.

در نرخ 16 درخواست بر ثانیه، مدل BF16 توانست 3.88 درخواست در ثانیه را تکمیل کند، اما صدک 99ام اولین توکن آن 55,640.4 میلی‌ثانیه طول کشید. FP8 به عدد 8.26 رسید. فرکانس GPU تا نرخ 4 درخواست بر ثانیه روی 2,496 مگاهرتز ماند، اما در نرخ 16 دمای کارت به 89 درجه‌ی سانتی‌گراد رسید و سیستم در 7.3 درصد از نمونه‌ها درگیر افت فرکانس حرارتی (Thermal slowdown) شد. بنابراین آخرین نقطه‌ی BF16، هم بازتاب‌دهنده‌ی یک صف پر است و هم ناشی از داغ کردن GPU.

همین سناریوی حلقه‌باز را روی یک کارت 24 گیگابایتی L4 با مدل Qwen3-8B تکرار کردیم و قبل از هر اجرا اجازه دادیم کارت تا دمای 72 درجه خنک شود.

همان حلقه باز روی کارت 24 گیگابایتی L4روی L4، پیکربندی FP8 توانست در بار ورودی 4 تعداد 3.18 درخواست در ثانیه را درون هدف پردازش کند، اما BF16 از بار 4 به بعد در هدف قرار نگرفت.
همان حلقه باز روی کارت 24 گیگابایتی L4 ورودی‌های پواسون در بازه‌ی 0.5 تا 16 درخواست در ثانیه روی یک L4 با مدل Qwen3-8B. خطوط‌چین درخواست‌های پاسخ داده‌شده در ثانیه را نشان می‌دهند، خطوط پیوسته درخواست‌هایی را نشان می‌دهند که به توکن اول زیر 1 ثانیه و میانگین زمان توکن زیر 100 میلی‌ثانیه رسیده‌اند. FP8 در بار 4 به میزان 3.18 درخواست در ثانیه را درون هدف ارائه می‌دهد. BF16 در بار 1 روی 0.96 درون هدف اوج می‌گیرد، و با افزایش بار ورودی فراتر از 4 درخواست‌های کمتری را تکمیل می‌کند. 0 2 4 6 0.5 1 2 4 8 16 نرخ درخواست ورودی، درخواست بر ثانیه (پواسون) درخواست بر ثانیه 5.61 ارائه‌شده 1.62 ارائه‌شده FP8 در ورودی 4: 3.18 در محدوده هدف FP8 BF16 ارائه‌شده (خط‌چین) درون هدف (پیوسته) هدف: توکن اول زیر 1000 میلی‌ثانیه و میانگین هر توکن زیر 100 میلی‌ثانیه، به‌ازای هر درخواست
خط‌چین‌ها تعداد درخواست‌های تکمیل‌شده در ثانیه هستند. خطوط پیوسته درخواست‌های منطبق بر هدف را با بازه‌ی سه seed به‌صورت نوار نشان می‌دهند. سبز، FP8 با کش کلید-مقدار FP8 است و سوسنی BF16. برگرفته از capture/gpu/summary/l4.json، پویش نرخ ورود.

شواهد ما روی این کارت کوچک‌تر الگوی متفاوتی را نشان داد. هر دو سرور تا نرخ 1 درخواست بر ثانیه برای تمام درخواست‌ها در بازه‌ی مجاز بودند. در نرخ ورودی 2، مدل BF16 توانست 0.88 درخواست را درون محدوده‌ی مجاز به مقصد برساند و در نرخ 4 این مقدار به صفر رسید. در مقابل، سرور FP8 در نرخ 4 توانست عدد 3.18 را با تاخیر مجاز نگه دارد که سه برابرِ بهترین رکورد BF16 بود. سرور FP8 همچنین مخزنی با ظرفیت 142,369 توکن داشت، در حالی که این رقم برای BF16 فقط 24,094 توکن بود. از بار پیشنهادی 4 به بعد، مخزن BF16 محدودیت اصلی شد.

بعد از رسیدن به نقطه‌ی اوج، هرچه بار بیشتری به سرور BF16 دادیم درخواست‌های تکمیل‌شده کمتر شدند: 2.01 درخواست بر ثانیه در بار پیشنهادی 4، 1.91 در بار 8، و 1.62 در بار 16. داده‌های تله‌متری علت را نشان می‌دهند: میانه‌ی فرکانس SM از 1,320 مگاهرتز در بار 4، به 465 مگاهرتز در بار 16 سقوط کرد. در بار 16، 70 درصد از نمونه‌ها افت فرکانس حرارتی را نشان دادند. روی کارت L4 ما که از خنک‌کننده‌ی غیرفعال (Passive) استفاده می‌کند، بار بیش از حد نه‌تنها تاخیر، بلکه نرخ پردازش را هم از بین برد.

بررسی عملکرد خودِ کلاینت در نرخ‌های بالا

کلاینت sglang.benchmark.serving تمام درخواست‌ها را از طریق یک فرایند پایتونی با asyncio ارسال می‌کند {{code}}. یک پژوهش در سال 2026 روی کلاینت‌های بنچمارک نشان داد که چنین کلاینتی در نرخ‌های بالای درخواست، خودش صف تشکیل می‌دهد. در نتیجه کلاینت اعدادی برای TTFT و TPOT گزارش می‌کند که از عملکرد واقعی خود سرور بیشتر است. این مقاله به جای آن کلاینتی را به کار می‌برد که در چند فرایند مجزا اجرا شود.

ما این پدیده را اندازه نگرفتیم؛ بنچمارک‌های حلقه‌باز ما در سقف 16 درخواست بر ثانیه متوقف شدند و مصرف CPU کلاینت را ثبت نکردیم. قبل از اینکه به آمارهای TTFT در نرخ‌های بالا اعتماد کنید، عملکرد یک فرایند کلاینت را با دو فرایند که هر کدام نیمی از نرخ را می‌فرستند مقایسه کنید.

مقایسه‌ی دو کلاینت مختلف روی یک سرور یکسان

جدول‌های پویش ما با کلاینت sglang.benchmark.serving و در دمای پیش‌فرض 0 تهیه شده‌اند. یک کلاینت دیگر ممکن است از همان سرور عددی متفاوت بخواند. ما در تاریخ 2026-10-23 سه کلاینت مختلف را در برابر یک سرور vLLM 0.31.0 با مدل Qwen/Qwen3-0.6B اجرا کردیم: همین کلاینت با فلگ --backend vllm، ابزار vllm bench serve، و نسخه‌ی Rust آن. GPU مورد استفاده کارت دوم و اشتراکیِ L4 ما بود. فرکانس پردازنده افت کرده بود، اما در طول آزمایش روی 420 تا 495 مگاهرتز ماند.

میانه‌ی TTFT بر حسب میلی‌ثانیه از سه کلاینت، هر کدام در دو دور capture/gpu/out-l4/bench-client-bias.txt
users   temperature   SGLang client    vllm bench       vllm bench, Rust
1       0             154, 164         149, 150         144, 144
…
16      0             1,077, 1,045     1,033, 1,027     1,088, 1,038
…
64      0             1,688, 1,838     1,624, 1,667     1,674, 1,789

سطرهای مربوط به دمای 0 از جدول TTFT. سطرهای دمای 0.7 و جدول نرخ پردازش بریده شده‌اند.

  • کلاینت ما میانه‌ی TTFT را بین 3 تا 10 درصد بیشتر از vllm bench serve خواند. در 16 و 64 کاربر، نرخ پردازش خروجی را 2 تا 8 درصد کمتر ثبت کرد. در یک کاربر، یکی از دورهای آن نرخ پردازشی بالاتر از تک‌تک دورهای دیگر ثبت کرد؛ به همین دلیل در آنجا اختلافی گزارش نمی‌کنیم.
  • نسخه‌های پایتون و Rust ابزار vllm bench serve با اختلافی در حد نویز تصادفی هم‌خوانی داشتند.
  • این کلاینت‌ها توکن‌های پرامپت متفاوتی را از مجموعه‌داده‌های تصادفی خود می‌فرستند؛ بنابراین بخشی از این اختلاف اندک می‌تواند از خود پرامپت‌ها باشد.
  • دمای 0.7 در مقایسه با دمای 0 میانه‌ی TPOT را افزایش داد: در یک کاربر 10 تا 13 درصد، و در 16 و 64 کاربر بین 3 تا 6 درصد افزایش تاخیر ثبت شد.

بنابراین اختلاف چند درصدی میان دو عدد منتشرشده می‌تواند صرفاً ناشی از خود کلاینت باشد. نام کلاینت و دما را در کنار هر نتیجه گزارش کنید.

فرکانس GPU را در تمام اجراها ثبت کنید

اولین پویش ما روی کارت NVIDIA L4 نشان داد که گراف‌های CUDA هیچ اثری نداشته‌اند. میانه‌ی زمان به ازای هر توکن در سقف همروندی 1، چه با گراف و چه بدون آن 103.4 میلی‌ثانیه بود. سه سید مختلف در این سقف اعدادی بین 10.0 تا 14.9 توکن بر ثانیه دادند؛ یعنی دامنه‌ای به اندازه‌ی نصف مقدار میانه! اینجا بود که در حین پویش دستور nvidia-smi را بررسی کردیم.

وضعیت L4 در اولین پویش capture/gpu/incidents/l4-thermal-throttle.txt
index, temperature.gpu, power.draw [W], power.limit [W], clocks.current.sm [MHz], clocks.max.sm [MHz], clocks_event_reasons.active, clocks_event_reasons.sw_thermal_slowdown, clocks_event_reasons.hw_thermal_slowdown, clocks_event_reasons.sw_power_cap, utilization.gpu [%]
0, 87, 58.36 W, 72.00 W, 360 MHz, 2040 MHz, 0x0000000000000020, Active, Not Active, Not Active, 100 %

سطر سربرگ و سطر مربوط به کارتی که پویش را اجرا کرد.

کارت گرافیک به دمای 87 درجه رسیده بود و افت فرکانس حرارتیِ نرم‌افزاری فعال شده بود؛ فرکانس SM هم روی 360 مگاهرتز از 2040 قرار داشت. کارت L4 یک برد 72 واتی با خنک‌کننده‌ی غیرفعال است و کارت دوم در همان شاسی، کار دیگری را هم‌زمان اجرا می‌کرد. ما عملکرد یک GPU داغ را اندازه گرفته بودیم، و سرور زیر آن نقشی در این افت نداشت.

حالا اسکریپت پویش ما وضعیت nvidia-smi را هر ثانیه یک‌بار در فایلی با پسوند .gpu.csv کنار هر اجرا ذخیره می‌کند. قبل از هر اجرا، اسکریپت تا 900 ثانیه صبر می‌کند تا کارت به زیر حد تعیین‌شده در --cool (به‌طور پیش‌فرض 65 درجه) برسد. کارت L4 در این شاسی گرم کار می‌کند، بنابراین ما با --cool 72 تست را اجرا کردیم. اسکریپت خلاصه‌سازی، میانه‌ی فرکانس SM، بالاترین دما و سهم نمونه‌های دارای فلگ افت فرکانس حرارتی را به هر نقطه اضافه می‌کند. پویش بار GB10 در شکل 5.1c قبل از اضافه‌کردن این نمونه‌گیر (Sampler) اجرا شده بود؛ بنابراین باندهای فشرده‌ی آن تنها بررسی ما روی آن به حساب می‌آید.

ما پویش L4 را دوباره با همان دستور و با در نظر گرفتن زمان خنک‌شدن اجرا کردیم. پویش دارای افت فرکانس با خط صورتی در تصویر بعدی مشخص شده است.

یک سرور یکسان روی یک L4، اندازه‌گیری در دمای بالا و با خنک‌سازیپویش در دمای بالا با همان دستور و روی همان کارت، تا 28 درصد نرخ پردازش کمتری نسبت به پویش با خنک‌سازی گزارش کرد.
یک سرور یکسان روی یک L4، اندازه‌گیری در دمای بالا و با خنک‌سازی نرخ پردازش خروجی Qwen3-8B روی یک NVIDIA L4 در برابر همزمانی، در دو پویش با دستوری یکسان. اولین پویش با دمای نزدیک به 87 درجه‌ی سانتی‌گراد کارت و بدون تلمتری اجرا شد. دومی پیش از هر اجرا منتظر رسیدن به دمای 72 درجه ماند و فرکانس ساعت را ثبت کرد. پویش با خنک‌سازی در تمامی نقاط تا 39 درصد در همزمانی 32 بالاتر است، و در 64 که استخر KV پر می‌شود افت می‌کند. 0 100 200 300 1 2 4 8 16 32 64 حداکثر همزمانی (کلاینت بنچمارک) توکن خروجی در ثانیه 270 194 خنک‌سازی تا 72C، فرکانس ثبت‌شده دمای بالا، بدون تلمتری
آبی، پویش با خنک‌سازی تا 72 درجه‌ی سانتی‌گراد و ثبت فرکانس ساعت است، و سرخ اولین پویش بدون دورسنجی (تلمتری) است. نوارها بازه‌ی سه seed هستند. مدل Qwen3-8B با 512 توکن ورودی و 128 خروجی. برگرفته از capture/gpu/summary/l4.json و capture/gpu/summary/l4-throttled.json.

شواهد ما این اختلاف را روی L4 ثبت کرد. در سقف 32، پویش خنک‌شده 270.11 توکن بر ثانیه داد و پویش داغ به 194.16 توکن بر ثانیه رسید. در سقف 1، میانه‌ی زمان به ازای هر توکن 60.16 میلی‌ثانیه در برابر 103.38 میلی‌ثانیه بود.

اجراهای خنک‌شده هم با حداکثر سرعت کار نمی‌کردند. میانه‌ی فرکانس SM آن‌ها بین 1,080 تا 1,515 مگاهرتز از 2,040 بود. در سقف‌های 1 و 64، در بدترین سید، 41 تا 49 درصد از نمونه‌ها همچنان بیت افت فرکانس حرارتی را فعال داشتند. خنک‌کردن اولیه بدترین خطا را حذف می‌کند، و فرکانس ثبت‌شده نشان می‌دهد چقدر خطا باقی مانده است.

رویکرد ما: بنچمارکی که فرکانس و دمای هر اجرا را ثبت نکرده باشد، شواهد (Evidence) معتبری به حساب نمی‌آید. اول فرکانس پردازنده را بخوانید، بعد سراغ نرخ پردازش بروید.

موضع ما

بالاترین همروندی‌ای را که هنوز هدف تاخیر شما را برآورده می‌کند گزارش دهید، و نرخ پردازش آن را همراه با p50 و p99 مربوط به TTFT و TPOT بیاورید. عبارت «255 توکن بر ثانیه در سقف همروندی 8، با میانه‌ی 0.79 ثانیه برای اولین توکن» یک نتیجه است؛ «255 توکن بر ثانیه» صرفاً یک شعار است.

سپس نقطه‌ی زانو را بیرون از موتور کنترل کنید. حد مجاز خود موتور بر اساس حافظه تعیین می‌شود، و حافظه خیلی بعد از اینکه تاخیر از حد قابل قبول بگذرد تمام خواهد شد. سقف همروندی را در کلاینت، گیت‌وی، یا با --max-running-requests اعمال کنید و اندازه‌ی آن را از پویش به دست آورید.

ماجرای یک رخداد واقعی: تله‌ی اسکریپت دست‌نویس

در ایشوی شماره 3196، عددی معادل 13 توکن بر ثانیه برای DeepSeek V3 روی هشت GPU مدل H200 گزارش شد، در حالی که API رسمی DeepSeek خروجی 60 توکن بر ثانیه می‌داد {{issue #3196}}. کاربر دیگری روی دو نود H100 به عدد 33 توکن بر ثانیه رسیده بود. اسکریپت اندازه‌گیری، کلمات را با فاصله (Space) جدا می‌کرد و می‌شمرد، و زمان اولین توکن را هم در نرخ پردازش به حساب می‌آورد. کلمه معادل توکن نیست و TTFT هم زمان رمزگشایی نیست؛ بنابراین اسکریپت رقمی بسیار کمتر از کارایی واقعی سرور را گزارش می‌داد. راه‌حل این بود که با کلاینت بنچمارک اندازه‌گیری کنند؛ کلاینتی که توکن‌ها را می‌شمارد و TTFT و TPOT را جدا از هم نگه می‌دارد.

منابع: بخش‌های calculate_metrics، مقادیر پیش‌فرض آرگومان‌ها، flush_server_cache، فلگ --flush-cache و کلاینت asyncio در python/sglang/benchmark/serving.py؛ محاسبه‌ی طول تصادفی در python/sglang/benchmark/datasets/common.py (compute_random_lens)؛ نمونه‌گیری تصادفی درخواست‌ها در python/sglang/benchmark/datasets/random.py (sample_random_requests)؛ متد flush_cache در python/sglang/srt/entrypoints/http_server.py و python/sglang/srt/managers/scheduler.py؛ ثبت آمار توکن‌های کش‌شده در python/sglang/srt/observability/metrics_collector.py (cached_tokens_total)؛ پردازنده‌ی مصرف در python/sglang/srt/entrypoints/openai/usage_processor.py؛ فایل‌های python/sglang/bench_serving.py و PR #40795؛ همگی در نسخه‌ی v0.5.22 (baa9befa)؛ خروجی‌های لاگ و دستور در capture/out/serve-help.txt، capture/out/server-default.command.txt، capture/out/server-default.log، capture/out/bench-random-c1.txt، capture/out/bench-random-c8.txt و capture/out/bench-random-c32.txt؛ اسکریپت‌ها و داده‌های GPU در capture/gpu/sweep.py، capture/gpu/summarize.py، capture/gpu/summary/gb10.json، capture/gpu/summary/l4.json، capture/gpu/summary/l4-throttled.json، capture/gpu/out-gb10/server-default.command.txt، capture/gpu/out-gb10/bench-random-c8.txt، capture/gpu/out-gb10/bench-random-c32.txt و capture/gpu/incidents/l4-thermal-throttle.txt؛ ایشوی 3196؛ لاگ‌های سرور موجی و مخازن در capture/gpu/out-l4/server-waves-default.log، capture/gpu/out-l4/waves-default-input-tokens.txt، capture/gpu/out-gb10/server-pools.log و capture/gpu/out-gb10/server-default.log؛ مقاله‌ی Chandrasekar و Kramberger با عنوان Identifying and Mitigating Systemic Measurement Bias in Production LLM Inference Benchmarks در arXiv 2605.24217 (2026-05)؛ داده‌های تخلیه‌ی کش و تفاوت کلاینت‌ها در capture/gpu/out-l4/prefix-cache-flush.txt، capture/gpu/out-l4/bench-client-bias.txt و capture/gpu/out-l4/load-flushed-vs-unflushed.txt.

ترجمه‌ی فارسی sglang.benchmark.serving از راهنمای SGLang 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما