هر بار اجرای بنچمارک فقط یک میزان همروندی را میسنجد؛ بنابراین باید همروندی را پلهپله بالا ببرید (Sweep) تا جایی که بار اضافی دیگر نرخ پردازش را بیشتر نکند و فقط زمان انتظار را بالا ببرد.
همتیمیتان در کانال تیم پیام میگذارد: «SGLang روی لپتاپ من 255 توکن بر ثانیه خروجی میدهد». این عدد واقعیت دارد؛ خود ما هم در لاگهایمان ثبتش کردهایم. اما این عدد بهتنهایی کاملاً بیفایده است. همین سرور در یک بار کاری با میانهی زمان تا اولین توکنِ 0.8 ثانیه به چنین نرخ پردازشی رسید، و در بار کاری دیگری با میانهی 3.9 ثانیه. گزارش نرخ پردازش (Throughput) بدون تاخیر (Latency) متناظر با آن، هیچ تصویری از تجربهی واقعی کاربر به شما نمیدهد.
پس از پایان این بخش، میتوانید دستور sglang.benchmark.serving را با تنظیماتی قابل دفاع اجرا کنید و تکتک خطوط گزارش آن را بخوانید. میتوانید «نقطهی زانو» (Knee) را پیدا کنید؛ همان جایی که افزایش همروندی دیگر سودی نمیرساند. علاوه بر این، متوجه میشوید کدامیک از اعدادی که روی سیستم خودتان به دست آوردهاید روی GPU هم تکرار میشوند و کدامها نه.
دستوری که اجرا کردیم
سرور ما یک فرایند (Process) واحد است که مدل mlx-community/Qwen3-0.6B-4bit را روی سیستم Mac آزمایش اجرا میکند. تمام بنچمارکهای این بخش با همین یک سرور ارتباط میگیرند.
SGLANG_USE_MLX=1 sglang serve --model-path mlx-community/Qwen3-0.6B-4bit --disable-cuda-graph --host 127.0.0.1 --port 30000 --enable-cache-report --enable-metrics --mem-fraction-static 0.4دستور کامل، همانگونه که کیت ثبت آن را اجرا کرد.
دو فلگ در این دستور نیاز به توضیح دارند. راهنمای Apple silicon در SGLang هنوز از --disable-cuda-graph استفاده میکند، اما در راهنمای نسخهی v0.5.22 این فلگ منسوخ اعلام شده و پیشنهاد شده به جای آن از --cuda-graph-backend-{decode,prefill}=disabled استفاده شود. در بکاند MLX، رمزگشایی (Decode) همیشه به صورت حریصانه (Greedy) انجام میشود، مگر اینکه گزینهی --mlx-enable-sampling را اضافه کنید؛ بنابراین آزمایشهای ما مسیر حریصانه را سنجیدهاند. از طرفی کلاینت بنچمارک هم بهطور پیشفرض با دمای 0 درخواست میفرستد، پس کلاینت و سرور در اینجا کاملاً با هم همنظرند.
کلاینتی که استفاده کردیم، ماژول بنچمارک پیشفرضِ خود SGLang است. ما آن را سه بار، با سقف همروندیِ 1، 8 و 32 اجرا کردیم. اجرای مربوط به همروندی 8 به این شکل است:
python -m sglang.benchmark.serving --backend sglang --port 30000 \
--dataset-name random --random-input-len 512 --random-output-len 128 \
--random-range-ratio 1.0 --num-prompts 32 --max-concurrency 8 --seed 7
مسیرها تغییر کردهاند. ابزارهای بنچمارک در ژوئن 2026 به پکیج sglang.benchmark منتقل شدند. دستور python -m sglang.bench_serving همچنان به عنوان یک نام مستعارِ منسوخ کار میکند و ماژول جدید را فراخوانی میکند. اما دو دستور python -m sglang.bench_one_batch و python -m sglang.bench_offline_throughput در نسخهی v0.5.22 دیگر اجرا نمیشوند. PR #40795 در تاریخ 2026-09-22 هر دوی این نامهای مستعار را حذف کرد {{code}}. اگر آموزشی دیدید که هنوز از این دو مسیر استفاده میکند، برای نسخههای قدیمیتر SGLang نوشته شده و سایر فلگهایش هم مشکوک و غیرقابلاعتمادند.
چهار تنظیم پیشفرض که نتیجه را دگرگون میکنند
کلاینت پیش از هر اندازهگیری، دست به چند انتخاب میزند. هر کدام از آنها روی عدد نهایی تاثیر میگذارند، در حالی که در بیشتر بنچمارکهای منتشرشده اصلاً اشارهای نمیشود کدامها دستنخورده ماندهاند.
| تنظیم | مقدار پیشفرض در v0.5.22 | تاثیر آن بر نتیجه |
|---|---|---|
--random-range-ratio |
0.0 | طول هر پرامپت عددی تصادفی بین 1 تا طول درخواستی خواهد بود؛ در نتیجه میانگین طول پرامپتها حدوداً نصفِ مقدار --random-input-len میشود |
ignore_eos |
فعال | سرور توکن پایان را نادیده میگیرد و هر درخواست دقیقاً به اندازهی --random-output-len توکن تولید میکند |
--request-rate |
inf |
همهی درخواستها در لحظهی 0 فرستاده میشوند و فقط سقف --max-concurrency جلوی ارسال آنها را میگیرد |
--warmup-requests |
1 | پیش از شروع ثبت زمان، یک درخواست برای گرمکردن سرور اجرا میشود |
سطر اول یک تله است. با نسبت پیشفرض، گزینهی --random-input-len 512 میانگین طول پرامپتی نزدیک به 256 توکن تولید میکند. گزارش شما عدد 512 را ثبت میکند، در حالی که سرور عملاً نصف این حجم کار را پردازش کرده است. ما این نسبت را روی 1.0 گذاشتیم و خود گزارش هم درستی آن را تایید میکند: 32 پرامپت 512 توکنی، مجموعاً عدد Total input tokens: 16384 را تولید میکند. با فعال بودن ignore_eos، خروجی به Total generated tokens: 4096 میرسد که دقیقاً حاصلضرب 32 در 128 است.
رویکرد ما: همیشه --random-range-ratio 1.0 را پاس بدهید، یا اینکه توزیع طول را کنار نتیجه بنویسید. بنچمارکی که طول ورودیها در آن پنهان بماند، با هیچ دادهی دیگری قابل مقایسه نیست.
تحلیل سطر به سطر گزارش
============ Serving Benchmark Result ============
Backend: sglang
Traffic request rate: inf
Max request concurrency: 8
Successful requests: 32
Benchmark duration (s): 16.02
Total input tokens: 16384
Total generated tokens: 4096
Request throughput (req/s): 2.00
Output token throughput (tok/s): 255.63
Peak output token throughput (tok/s): 440.00
Peak concurrent requests: 16
Total token throughput (tok/s): 1278.13
Concurrency: 7.96
…
Median TTFT (ms): 785.79
P99 TTFT (ms): 2180.87
…
Mean TPOT (ms): 23.02
Median TPOT (ms): 22.52
…
Median ITL (ms): 20.35
P99 ITL (ms): 78.79
Max ITL (ms): 1948.37بریدهشده از خروجی کامل. خروجی آرگومانها، نوار پیشرفت، و سطرهای P90 و P95 حذف شدهاند.
تابع calculate_metrics درون ماژول بنچمارک تکتک این خطوط را حساب میکند. پنج مورد از آنها خیلی وقتها اشتباه برداشت میشوند.
همروندی (Concurrency): مجموع تاخیر سرتاسری (End-to-end latency) همهی درخواستها تقسیم بر مدتزمان کل اجرا. این شاخص، میانگین تعداد درخواستهای در حال انجام را پس از پایان کار نشان میدهد. در اینجا عدد 7.96 در مقابل سقف 8 ثبت شده است. این عدد فقط نشان میدهد که به سقف تعیینشده رسیدهایم، و نه چیزی بیشتر.
اوج درخواستهای همروند (Peak concurrent requests): طول مدت آزمایش به بازههای یکثانیهای تقسیم میشود و هر درخواستی که بازهی زمانیاش با آن ثانیه همپوشانی (Overlap) داشته باشد، شمرده میشود. این سطر بیشترین تعداد شمردهشده در یک ثانیه را گزارش میکند. اگر دو درخواست در یک ثانیه پشت سر هم اجرا شوند، هر دو شمرده میشوند و به همین دلیل این عدد میتواند از سقف همروندی بیشتر شود. به همین خاطر است که وقتی سقف روی 8 است گزارش عدد 16 را نشان میدهد، و وقتی سقف 32 است عدد به 64 میرسد.
زمان تا اولین توکن (TTFT): از لحظهی ارسال درخواست تا دریافت اولین قطعهی استریمشده (Chunk) محاسبه میشود. این زمان شامل مدتزمان ماندن در صف، زمان پیشپرکنی (Prefill) و تاخیر شبکه است.
زمان به ازای هر توکن خروجی (TPOT): برای هر درخواست، زمان سپریشده پس از اولین توکن تقسیم بر توکنهای باقیمانده محاسبه میشود: (latency - ttft) / (output_len - 1). گزارش، میانگین و صدکهای این شاخص را بین همهی درخواستها نشان میدهد. تاخیر بین توکنها (ITL): تمام فاصلههای زمانی بین دو قطعهی استریمشده، تجمیعشده از تمام درخواستهاست. اگر یک قطعه چند توکن داشته باشد، باز هم یک فاصله شمرده میشود.
بیشترین تاخیر بین توکنها (Max ITL): طولانیترین فاصلهی منفرد، که در اینجا 1,948 میلیثانیه است. یک درخواست نزدیک به دو ثانیه بین دو توکن معطل مانده، چون سرور مشغول پیشپرکنی پرامپتهای جدید بوده است. میانهی ITL که 20 میلیثانیه است این وقفه را پنهان میکند؛ صدک 99ام (P99) با 79 میلیثانیه بخشی از آن را نشان میدهد.
تحلیل پویش همروندی و یافتن نقطهی زانو
یک بار اجرا فقط یک نقطه را نشان میدهد. سه بار اجرا با سقفهای 1، 8 و 32 شکل کلی رفتار سیستم را آشکار میکند.
| سقف | نرخ توکن خروجی (tok/s) | میانهی TTFT | صدک 99ام TTFT | میانهی TPOT | همروندی |
|---|---|---|---|---|---|
| 1 | 175.15 | 162.98 ms | 270.18 ms | 4.38 ms | 0.99 |
| 8 | 255.63 | 785.79 ms | 2180.87 ms | 22.52 ms | 7.96 |
| 32 | 252.74 | 3917.54 ms | 8262.86 ms | 93.61 ms | 31.94 |
شواهد ما روی Mac آزمایش به این ترتیب ثبت شدند: با رفتن از همروندی 1 به 8، نرخ پردازش خروجی 46 درصد افزایش پیدا میکند و میانهی زمان تا اولین توکن 4.8 برابر کندتر میشود. از همروندی 8 به 32، نرخ پردازش تقریباً 1 درصد افت میکند. میانهی زمان تا اولین توکن 5 برابر و میانهی زمان به ازای هر توکن 4.2 برابر کندتر میشوند.
نقطهی زانو (Knee) سقفی از همروندی است که بعد از آن، نرخ پردازش دیگر بالا نمیرود. روی این دستگاه، این نقطه روی عدد 8 یا کمتر از آن است. بعد از نقطهی زانو، سرور دیگر توان پردازشی خالی ندارد که ارائه دهد. درخواستهای جدید فقط منتظر میمانند تا سهمی از همان گامهای رمزگشایی نصیبشان شود. اسکژولر (Scheduler) در بخش 2.2 با وجود این وضعیت باز هم آنها را میپذیرد، چون حد پذیرش آن روی این Mac برابر با max_running_requests=4096 تنظیم شده است.
چه چیزهایی روی GPU هم صدق میکنند؟ مقادیر عددی مطلق منتقل نمیشوند. رفتار مدل 0.6B روی Apple silicon هیچ ربطی به H100 ندارد. اما این الگوی رفتاری در سرورهایی که اندازه گرفتیم تکرار شد: همگی یک زانوی تاخیر داشتند، بعد از این زانو تاخیر با سرعتی بیشتر از نرخ پردازش رشد میکرد، و حد پذیرش پیشفرض سیستم فرسنگها بالاتر از این نقطه قرار داشت.
تکرار آزمایش پویش همروندی روی GPU در قالب یک تست کنترلشده
یک بار اجرا روی GPU گزارهای نادرست به ما تحویل داد. بستهی ابزار GPU، سرور پیشفرض را روی یک NVIDIA GB10 با مدل Qwen3-30B-A3B بالا آورد و هر سقف همروندی را فقط یک بار سنجید.
sglang serve --model-path Qwen/Qwen3-30B-A3B-Instruct-2507 --host 127.0.0.1 --port 30000 --enable-cache-report --enable-metrics --mem-fraction-static 0.7دستور کامل، همانگونه که کیت GPU آن را اجرا کرد.
در سقف همروندی 8، تکاجرا میانهی زمان تا اولین توکن را 677.61 میلیثانیه گزارش داد. در سقف 32 این عدد را 390.38 میلیثانیه گزارش کرد. بار بیشتر باعث شد اولین توکن سریعتر تولید شود؛ رفتاری که هیچ صفی توجیهکنندهی آن نیست. یک بار اجرا فقط یک نمونه است، و یک تکنمونه ممکن است به دلایلی که هرگز نمیبینید کاملاً اشتباه از آب درآید.
به همین دلیل این پویش را مثل مقایسههایی که تیمهای آموزش مدل انجام میدهند اجرا کردیم. اسکریپت پویش ما تمام سقفهای همروندی از 1 تا 64 را سه بار و با سیدهای 1، 2 و 3 تکرار میکند. فلگ --output-details هم پاس داده میشود تا TTFT و فواصل توکنهای تکتک درخواستها ثبت شوند. در نهایت، اسکریپت خلاصهسازی ما این سه اجرا را در هر نقطه به میانه، کمترین و بیشترین مقدار خلاصه میکند.
| سقف | تکاجرای اولیه، میانهی TTFT | سه سید، میانهی TTFT (کمترین تا بیشترین) |
|---|---|---|
| 8 | 677.61 ms | 209.98 ms (185.25 تا 216.02) |
| 32 | 390.38 ms | 416.37 ms (338.06 تا 434.64) |
شواهد ما روی همان چیپ GB10 ولی با دو سرور مجزا ثبت شدند. تکاجرای اولیه در تاریخ 2026-10-17 در مخزن خود 227,243 توکن ظرفیت داشت و در آزمایش پویش در 2026-10-16 این ظرفیت 234,600 توکن بود. عدد 677.61 میلیثانیه در سه اجرای بعدی هرگز تکرار نشد. از همروندی 2 به بالا، با افزایش سقف، دقیقاً همانطور که صف پیشبینی میکند اولین توکن هم کندتر شد.
کمی بعد علت آن نتیجهی اشتباه را در لاگهای سرورِ تکاجرا پیدا کردیم. بستهی ابزار، همهی اجراها را با سید 7 به یک سرور فرستاده بود و کش پیشوند (Prefix cache) را هرگز خالی نکرده بود. وقتی سید ثابت باشد، کلاینت در هر اجرا دقیقاً همان پرامپتهای اولیه را دوباره میفرستد {{code}}. در نتیجه هر اجرا پرامپتهای اجرای قبلی را آماده در کش پیدا میکرد:
[2026-10-17 14:23:00] Prefill batch, #new-seq: 14, #new-token: 14, #cached-token: 6879, token usage: 0.07, …
[2026-10-17 14:23:00] Prefill batch, #new-seq: 15, #new-token: 15, #cached-token: 7634, token usage: 0.07, …
[2026-10-17 14:23:47] Prefill batch, #new-seq: 1, #new-token: 510, #cached-token: 2, token usage: 0.01, …سه سطر prefill از اجرای کیت در سقف 32. دو سطر اول 29 درخواست را پذیرش میکنند که هر کدام به یک توکن جدید نیاز دارند. سطر سوم اولین پرامپتی است که برای کش جدید بود. انتهای سطرها بریده شده است.
ما سطرهای پیشپرکنی هر اجرا را شمردیم. در سقف همروندی 8، از 64 پرامپت، 16 تای آنها قبل از شروع تست در کش بودند. در سقف 32، از 128 پرامپت، 64 تا در کش حضور داشتند و در سقف 64، این عدد به 128 پرامپت از کل 256 تا رسید. پرامپت کششده نیازی به پیشپرکنی ندارد و اولین توکن آن خیلی سریع تحویل داده میشود. نیمی از درخواستها در همروندی 32 و یکچهارم در همروندی 8 از این مزیت (Advantage) بهره برده بودند. همین مسئله باعث شده بود میانهی زمان تا اولین توکن افت کند.
پهنترین باند در نمودار مربوط به EAGLE-3 در همروندی 8 است که بین 86.93 تا 107.23 توکن بر ثانیه متغیر بوده است. سایر باندها در محدودهی حدود 10 درصد میانهی خود باقی ماندند. با چنین دقتی، اختلاف 1.9 برابری کاملاً واقعی است. در همروندی 64، فرمت FP8 به 440.86 توکن بر ثانیه رسید، در حالی که BF16 عدد 235.38 را ثبت کرد. اجرای بدون گرافهای CUDA روی همان خط پیشفرض افتاده است که دلیلش را در بخش 4.1 توضیح میدهیم.
میانگینها و میانهها چطور دو رفتار کاملاً متفاوت را پنهان میکنند؟
گزینهی --output-details زمان اولین توکن را برای تکتک درخواستها ثبت میکند. ما تمام درخواستهای مربوط به سه سید را در سقف همروندی 16 مرتب کردیم و نمودارشان را کشیدیم.
شواهد ما روی GB10 نشان داد که درخواستها به دو دستهی کاملاً مجزا تقسیم شدهاند. در BF16، نیمی از درخواستها که سریعترین بودند، اولین توکن را بین 186.3 تا 211.8 میلیثانیه دریافت کردند. اما از صدک 68ام به بعد، درخواستها بین 1,639.8 تا 1,743.4 میلیثانیه در انتظار ماندند. میانهی کل 237.6 میلیثانیه بود و P90 به 1,721.5 میلیثانیه رسید؛ یعنی 7.2 برابر کندتر! در FP8 هم دقیقاً همین دو دسته شکل گرفت: 122.7 تا 139.5 میلیثانیه برای نیمهی سریع، و 589.9 تا 1,162.2 میلیثانیه برای نیمهی کند.
حالت EAGLE-3 کندترین میانه (579.3 میلیثانیه) و کوتاهترین دنبالهی تاخیر (1,007.4 میلیثانیه در P90) را ثبت کرد. در عوض، زمان به ازای هر توکن آن بیشترین پراکندگی را داشت: 82.8 میلیثانیه در میانه و 191.3 میلیثانیه در صدک 98ام؛ چرا که تعداد توکنهای پیشنویسِ پذیرفتهشده در هر گام تغییر میکند.
برداشت ما از دلیل شکلگیری این دو دسته: الگوی بار کاری باعث این پدیده شده است. از آنجا که --random-range-ratio 1.0 طول توکنها را ثابت نگه میدارد، همهی درخواستها دقیقاً 128 توکن خواستهاند. بنابراین درخواستهایی که با هم شروع میشوند، تقریباً با هم تمام میشوند و درخواستهای جایگزین هم همگی یکباره سر میرسند. این موج جدید ناچار میشود در صف پیشپرکنی پشت سر درخواستهای قبلی بماند. در ترافیک واقعی، طول درخواستها متفاوت است. اگر سیستم را با طول ثابت تست میکنید، به P90 به چشم هزینهی ناشی از ترافیک انفجاری (Burst) نگاه کنید، نه هزینهی یک درخواست عادی.
کش پیشوند امکان تحلیل دومی را فراهم میکند که نمیتوانیم آن را کاملاً رد کنیم. در آزمایش پویش هم یک سرور برای همهی اجراهای یک پیکربندی روشن مانده بود و کش پاک نمیشد. هر سید در هر سقف همروندی پرامپتهای اولیهی یکسانی میفرستاد. در همروندی 16، از 64 پرامپت، 32 تای آنها همان پرامپتهای همروندی 8 بودند. اگر این توکنها هنوز در مخزن مانده بودند، نیمی از درخواستها از پیشپرکنی معاف میشدند. چون لاگهای کامل سرور در آن پویش ذخیره نشد، نمیتوانیم تعداد درخواستهای موجود در کش را بشماریم.
ما این تحلیل را روی چیپ L4 تست کردیم، نه روی GB10. در تاریخ 2026-10-23 پویش بار مدل Qwen3-8B را با تخلیهی کش قبل از هر بار اجرا و قفل فرکانس روی 900 مگاهرتز تکرار کردیم. سپس نتیجه را با اجرایی از همان نشست (Session) که تخلیهی کش نداشت مقایسه کردیم:
median TTFT, flushed against unflushed
users vLLM SGLang
4 650 / 145 ms (4.5x) 532 to 645 / 141 ms (3.8 to 4.6x)
8 951 to 978 / 264 to 274 ms (3.6x) 1,174 to 1,273 / 173 to 178 ms (6.6 to 7.3x)
16 1,550 to 1,587 / 294 to 295 ms (5.3x) 1,804 to 1,944 / 218 ms (8.3 to 8.9x)
…سطرهای مربوط به میانهی TTFT. سهم درخواستهای مطابق با هدف و خطوط صدک P99 ITL بریده شدهاند.
روی چیپ L4، تخلیهی کش میانهی TTFT در SGLang را در بارهای کاری 4 تا 16 کاربر، بین 4 تا 9 برابر بالا برد. زمان به ازای هر توکن کمتر از 10 درصد تغییر کرد. بنابراین روی L4، علت اصلی سریع بودن آن گروه اول، همان وجود کش بود. اما روی GB10 چون پویش را دوباره اجرا نکردیم، هر دو احتمال به قوت خود باقی هستند.
بررسی تجربی رفتارهای موجی روی L4
یک تحلیل تا زمانی که متغیر اصلی آن را دستکاری نکنید، صرفاً یک فرضیه (Hypothesis) است. ما مدل Qwen3-8B را روی یک کارت L4 با سقف 16 و 64 پرامپت، با سه سید در هر نقطه اجرا کردیم. تنها متغیری که تغییر دادیم مقدار --random-range-ratio بود که از 1.0 به 0.5 و سپس به 0.0 رسانده شد.
[2026-10-17 15:54:33] Prefill batch, #new-seq: 8, #new-token: 4096, #cached-token: 1, token usage: 0.34, #running-req: 1, #queue-req: 0, #pending-token: 513, cuda graph: True, input throughput (token/s): 3509.80
[2026-10-17 15:54:34] Prefill batch, #new-seq: 8, #new-token: 3583, #cached-token: 0, token usage: 0.34, #running-req: 8, #queue-req: 0, #pending-token: 0, cuda graph: True, input throughput (token/s): 3503.78
[2026-10-17 15:54:35] Decode batch, #running-req: 16, #token: 8240, token usage: 0.34, cuda graph: True, gen throughput (token/s): 2.62, #queue-req: 0
[2026-10-17 15:54:37] Decode batch, #running-req: 16, #token: 8880, token usage: 0.37, cuda graph: True, gen throughput (token/s): 231.07, #queue-req: 0
[2026-10-17 15:54:40] Decode batch, #running-req: 16, #token: 9520, token usage: 0.40, cuda graph: True, gen throughput (token/s): 229.85, #queue-req: 0پنج سطر متوالی از یک اجرا با نسبت 1.0. برچسبهای زمانی حفظ شدهاند، زیرا زمانبندی اصل موضوع است.
این رفتار موجی در لاگ ثبت شده است: در یک مقطع فقط یک درخواست در حال اجرا بود، چون پانزده تای دیگر همگی با هم تمام شده بودند و درخواستهای جایگزینشان همزمان از راه رسیدند. اسکژولر آنها را در قالب دو قطعهی حداکثر 4,096 توکنی پیشپرکنی کرد و سپس هر 16 تا با هم وارد فاز رمزگشایی شدند.
| نسبت طول | میانهی TTFT در BF16 | صدک 99ام ITL در BF16 | میانهی TTFT در FP8 | صدک 99ام ITL در FP8 |
|---|---|---|---|---|
| 1.0 | 1,996 ms | 82 ms | 1,526 ms | 55 ms |
| 0.5 | 364 ms | 396 ms | 130 ms | 95 ms |
| 0.0 | 291 ms | 300 ms | 129 ms | 95 ms |
شواهد ما نشان داد که با ثابت بودن طول پرامپتها، زمان اولین توکن در فرمت BF16 تا 6.9 برابر و در FP8 تا 11.8 برابر کندتر میشود. فرکانس میانهی پردازنده در تستهای FP8 در این دو نسبت به ترتیب 1,185 و 2,040 مگاهرتز بود؛ بنابراین بخشی از ضریب FP8 ناشی از فرکانس پردازنده بوده است. از طرفی در حالت طولهای متنوع، مجموعاً توکنهای کمتری فرستاده شد. در سید 1 و با نسبت 0.0، مجموع توکنهای ورودی 17,870 بود، در حالی که در نسبت 1.0 این عدد به 32,768 توکن میرسید؛ پس بخشی از اختلاف هم به کمتر بودن حجم کل کار مربوط میشود.
کش هم میتواند بخش دیگری از ماجرا را توضیح دهد. در هر سید، اجرای 1.0 اول از همه و با کش خالی انجام شد. اجراهای 0.5 و 0.0 بعد از آن آمدند و پرامپتهای آنها بخش آغازینِ پرامپتهای اجرای 1.0 بودند. مخزن BF16 با ظرفیت 24,094 توکن فقط بخشی از 32,768 توکنِ آن اجرا را در خود نگه داشت، اما مخزن FP8 با ظرفیت 142,369 توکن میتوانست کل آنها را نگه دارد.
کمتر بودن حجم کار و تاثیر کش نمیتوانند نیمهی دیگر ماجرا را توجیه کنند. در طولهای نامساوی، صدک 99ام ITL از 82 به 300 میلیثانیه جهش کرد. پرامپتهای جدید تکتک میرسیدند و هر بار پیشپرکنی، فاز رمزگشاییِ درخواستهای در حال اجرا را متوقف میکرد. اما در طولهای ثابت، پیشپرکنی فقط بین موجها رخ میداد.
چیپ GB10 هم با مدل Qwen3-30B-A3B و با سه سید در هر نقطه همین الگو را نشان داد: با طول ثابت، میانهی TTFT در BF16 برابر با 1,650 میلیثانیه و P99 ITL برابر با 169 میلیثانیه بود. در حالت طول متغیر، این اعداد به 320 و 230 میلیثانیه تغییر کردند. در FP8 نیز مقادیر از 1,050 و 92 میلیثانیه به 188 و 127 میلیثانیه رسیدند. مشاهدهی این موازنه روی دو GPU مختلف و دو مدل متفاوت اثبات میکند که منشا این رفتار در هر دو سیستم ما، الگوی بار کاری بوده است و نه سختافزار.
این دو تنظیم در واقع دو سرور کاملاً متفاوت را اندازه میگیرند. طولهای یکسان ترافیک انفجاری را میسنجند: اولین توکن کند است ولی توکنهای بعدی نرم و بیوقفه میآیند. طولهای متغیر ترافیک یکنواخت را میسنجند: اولین توکن سریع است اما میان استریم توکنها وقفه رخ میدهد. برای مقایسهی دو بیلد مختلف حتماً از --random-range-ratio 1.0 استفاده کنید چون آزمایش کاملاً تکرارپذیر است؛ اما قبل از اینکه هدف تاخیر را بر اساس آن تعیین کنید، توزیع واقعی طول دادههای خودتان را هم بسنجید.
تخلیهی کش پیشوند میان اجرای آزمایشها
کش پیشوند دادههای KV مربوط به پرامپتهای قبلی را بعد از پایان اجرا در حافظه نگه میدارد. این موضوع دو چیز را در اجرای بعدی دستکاری میکند: سرعت، و گاهی خروجی حریصانه مدل، که در بخش 4.6 نشان داده شده است.
برای اینکه متوجه شویم این اثر چقدر سرعت را تغییر میدهد، یک بار کاری مشخص را چهار بار پشت سر هم با سید یکسان اجرا کردیم. از مدل Qwen/Qwen3-0.6B با 64 پرامپت، سقف همروندی 16، 512 توکن ورودی و 128 توکن خروجی استفاده شد. این آزمایش روی GPU دوم نود L4 انجام شد که اشتراکی بود و قفل فرکانس نداشت؛ بنابراین به نسبتها تکیه کنید، نه به زمانهای دقیق.
engine fresh repeat, not flushed repeat after a flush repeat, not flushed
SGLang 0.6B 394 82.5 289 77
…سطر SGLang از خلاصه. سطر vLLM بریده شده است.
تکرار آزمایش بدون تخلیهی کش، میانهی TTFT را حدود 4.8 برابر کمتر از اجرای اول ثبت کرد. اما به محض تخلیهی کش، TTFT دوباره به حوالی اجرای اول برگشت. زمان به ازای هر توکن کمتر از 15 درصد دستخوش تغییر شد.
برای تمام بنچمارکهای مقایسهای خود از این پروتکل پیروی کنید:
- هر بار آزمایش را با کش خالی شروع کنید. گزینهی
--flush-cacheرا بهsglang.benchmark.servingبدهید؛ این گزینه بعد از درخواست گرمکردن (Warmup)، اندپوینت/flush_cacheرا فراخوانی میکند {{code}}. همچنین میتوانید خودتان متدPOST /flush_cacheرا صدا بزنید یا سرور را ریاستارت کنید. - مطمئن شوید کش واقعاً تخلیه شده باشد. سرور تنها زمانی کش را خالی میکند که هیچ درخواستی در حال اجرا یا منتظر در صف نباشد؛ در غیر این صورت با خطای HTTP 400 پاسخ میدهد و در لاگ پیام
Cache not flushed because there are pending requestsثبت میشود {{code}}. - در هر اجرا یک مقدار
--seedجدید پاس بدهید تا کلاینت پرامپتهای جدیدی بفرستد. - آمار توکنهای کششده را ثبت کنید. متریک
sglang:cached_tokens_totalرا قبل و بعد از آزمایش از اندپوینت/metricsبخوانید. اگر گزینهی--enable-cache-reportفعال باشد، در پاسخهای شبیه OpenAI فیلدusage.prompt_tokens_details.cached_tokensهم این مقدار را برمیگرداند. - وضعیت تنظیمات کش و توکنهای کششده را حتماً در کنار نتایج بنویسید.
بستهی ابزار و پویشهای ما از این پروتکل پیروی نکردند؛ فقط اولین اجرای هر سید روی هر سرور با کش خالی شروع شده بود. به همین دلیل برخی از مقادیر TTFT بعدی در این صفحه ممکن است زیادی خوشبینانه باشند، بهویژه در چیپ GB10 که مخزنش تمام پرامپتهای ارسالی را جا داده بود. زمان به ازای هر توکن کمتر در معرض این خطاست، چون وجود کش بارِ مرحلهی پیشپرکنی را کم میکند ولی تغییری در بار مرحلهی رمزگشایی نمیدهد.
نرخ پردازش موثر نقطهی زانو را پیدا میکند؛ چیزی که نرخ پردازش معمولی پنهانش میکند
روی چیپ GB10، نرخ پردازش در حالت BF16 حتی در سقف همروندی 64 هم کماکان رو به افزایش است، چون مخزن KV گنجایش 234,600 توکن را دارد. منحنی نرخ پردازشی که هیچ نقطهی زانویی نشان نمیدهد، نمیتواند به شما بگوید کجا باید متوقف شوید. اما هدف تاخیر این کار را میکند.
نرخ پردازش موثر (Goodput): تعداد درخواستهایی در ثانیه که با تاخیری در محدودهی هدف به پایان میرسند. اسکریپت خلاصهسازی ما درخواستی را محاسبه میکند که اولین توکن آن زیر 1 ثانیه برسد و میانگین زمان به ازای هر توکن آن کمتر از 100 میلیثانیه باشد.
| سقف | نرخ پردازش موثر BF16 | میانهی TPOT در BF16 | نرخ پردازش موثر FP8 | میانهی TPOT در FP8 |
|---|---|---|---|---|
| 4 | 0.44 req/s | 71.01 ms | 0.80 req/s | 38.60 ms |
| 8 | 0 (و در یک سید حداکثر 0.04) | 102.21 ms | 1.07 req/s | 54.96 ms |
| 16 | 0 | 154.24 ms | 1.10 req/s | 81.90 ms |
| 32 | 0 | 201.91 ms | 0 | 104.12 ms |
نرخ پردازش موثر BF16 در سقف همروندی 4 به اوج خود میرسد. از سقف 8 به بعد، پردازش هر توکن در میانهی درخواستها بیش از 100 میلیثانیه زمان میبرد و در نتیجه نرخ پردازش موثر به 0 میرسد. این در حالی است که نرخ پردازش در این سقف 74.11 توکن بر ثانیه بوده و هنوز بالا میرود. اما مدل FP8 تا همروندی 16 همچنان به هدف پایبند میماند. رویکرد ما: سقف همروندی را بر اساس نرخ پردازش موثر در هدف تاخیر خودتان تعیین کنید، و از منحنی نرخ پردازش خام فقط برای تحلیل ماجرا کمک بگیرید.
سقف همروندی یک حلقهی بسته (Closed loop) میسازد. در این حالت هر کلاینت تا پاسخش را تحویل نگیرد درخواست بعدی را نمیفرستد؛ بنابراین سرور هرگز باری بیش از توان پردازش خود دریافت نمیکند. اما کاربران واقعی منتظر همدیگر نمیمانند. اگر گزینهی --request-rate را به کار ببرید، درخواستها در زمانهای ورودی پواسون فرستاده میشوند و اگر سرور از آهنگ ورود درخواستها کندتر باشد، صف لحظه به لحظه بزرگتر میشود. ما همین مدل را با نرخهای 0.5 تا 16 درخواست بر ثانیه و با سه سید مختلف اجرا کردیم.
شواهد ما روی GB10 ثبت شد. در نرخ 0.5 درخواست بر ثانیه، میانهی زمان به ازای هر توکن در BF16 حتی به 177.5 میلیثانیه رسیده بود. ورود درخواستها همپوشانی پیدا میکند: در نرخ 0.52 درخواست بر ثانیه، با در نظر گرفتن طول 128 توکنی و زمان 177.5 میلیثانیهای هر توکن، حدود 12 درخواست بهطور همزمان در هر گام رمزگشایی شریک میشوند. تنها 0.07 درخواست در ثانیه به هدف تاخیر رسیدند. در مقابل، FP8 تا نرخ 1 درخواست بر ثانیه به تمام اهداف تاخیر پایبند ماند و در نرخ 2 به 0.17 سقوط کرد.
در نرخ 16 درخواست بر ثانیه، مدل BF16 توانست 3.88 درخواست در ثانیه را تکمیل کند، اما صدک 99ام اولین توکن آن 55,640.4 میلیثانیه طول کشید. FP8 به عدد 8.26 رسید. فرکانس GPU تا نرخ 4 درخواست بر ثانیه روی 2,496 مگاهرتز ماند، اما در نرخ 16 دمای کارت به 89 درجهی سانتیگراد رسید و سیستم در 7.3 درصد از نمونهها درگیر افت فرکانس حرارتی (Thermal slowdown) شد. بنابراین آخرین نقطهی BF16، هم بازتابدهندهی یک صف پر است و هم ناشی از داغ کردن GPU.
همین سناریوی حلقهباز را روی یک کارت 24 گیگابایتی L4 با مدل Qwen3-8B تکرار کردیم و قبل از هر اجرا اجازه دادیم کارت تا دمای 72 درجه خنک شود.
شواهد ما روی این کارت کوچکتر الگوی متفاوتی را نشان داد. هر دو سرور تا نرخ 1 درخواست بر ثانیه برای تمام درخواستها در بازهی مجاز بودند. در نرخ ورودی 2، مدل BF16 توانست 0.88 درخواست را درون محدودهی مجاز به مقصد برساند و در نرخ 4 این مقدار به صفر رسید. در مقابل، سرور FP8 در نرخ 4 توانست عدد 3.18 را با تاخیر مجاز نگه دارد که سه برابرِ بهترین رکورد BF16 بود. سرور FP8 همچنین مخزنی با ظرفیت 142,369 توکن داشت، در حالی که این رقم برای BF16 فقط 24,094 توکن بود. از بار پیشنهادی 4 به بعد، مخزن BF16 محدودیت اصلی شد.
بعد از رسیدن به نقطهی اوج، هرچه بار بیشتری به سرور BF16 دادیم درخواستهای تکمیلشده کمتر شدند: 2.01 درخواست بر ثانیه در بار پیشنهادی 4، 1.91 در بار 8، و 1.62 در بار 16. دادههای تلهمتری علت را نشان میدهند: میانهی فرکانس SM از 1,320 مگاهرتز در بار 4، به 465 مگاهرتز در بار 16 سقوط کرد. در بار 16، 70 درصد از نمونهها افت فرکانس حرارتی را نشان دادند. روی کارت L4 ما که از خنککنندهی غیرفعال (Passive) استفاده میکند، بار بیش از حد نهتنها تاخیر، بلکه نرخ پردازش را هم از بین برد.
بررسی عملکرد خودِ کلاینت در نرخهای بالا
کلاینت sglang.benchmark.serving تمام درخواستها را از طریق یک فرایند پایتونی با asyncio ارسال میکند {{code}}. یک پژوهش در سال 2026 روی کلاینتهای بنچمارک نشان داد که چنین کلاینتی در نرخهای بالای درخواست، خودش صف تشکیل میدهد. در نتیجه کلاینت اعدادی برای TTFT و TPOT گزارش میکند که از عملکرد واقعی خود سرور بیشتر است. این مقاله به جای آن کلاینتی را به کار میبرد که در چند فرایند مجزا اجرا شود.
ما این پدیده را اندازه نگرفتیم؛ بنچمارکهای حلقهباز ما در سقف 16 درخواست بر ثانیه متوقف شدند و مصرف CPU کلاینت را ثبت نکردیم. قبل از اینکه به آمارهای TTFT در نرخهای بالا اعتماد کنید، عملکرد یک فرایند کلاینت را با دو فرایند که هر کدام نیمی از نرخ را میفرستند مقایسه کنید.
مقایسهی دو کلاینت مختلف روی یک سرور یکسان
جدولهای پویش ما با کلاینت sglang.benchmark.serving و در دمای پیشفرض 0 تهیه شدهاند. یک کلاینت دیگر ممکن است از همان سرور عددی متفاوت بخواند. ما در تاریخ 2026-10-23 سه کلاینت مختلف را در برابر یک سرور vLLM 0.31.0 با مدل Qwen/Qwen3-0.6B اجرا کردیم: همین کلاینت با فلگ --backend vllm، ابزار vllm bench serve، و نسخهی Rust آن. GPU مورد استفاده کارت دوم و اشتراکیِ L4 ما بود. فرکانس پردازنده افت کرده بود، اما در طول آزمایش روی 420 تا 495 مگاهرتز ماند.
users temperature SGLang client vllm bench vllm bench, Rust
1 0 154, 164 149, 150 144, 144
…
16 0 1,077, 1,045 1,033, 1,027 1,088, 1,038
…
64 0 1,688, 1,838 1,624, 1,667 1,674, 1,789سطرهای مربوط به دمای 0 از جدول TTFT. سطرهای دمای 0.7 و جدول نرخ پردازش بریده شدهاند.
- کلاینت ما میانهی TTFT را بین 3 تا 10 درصد بیشتر از
vllm bench serveخواند. در 16 و 64 کاربر، نرخ پردازش خروجی را 2 تا 8 درصد کمتر ثبت کرد. در یک کاربر، یکی از دورهای آن نرخ پردازشی بالاتر از تکتک دورهای دیگر ثبت کرد؛ به همین دلیل در آنجا اختلافی گزارش نمیکنیم. - نسخههای پایتون و Rust ابزار
vllm bench serveبا اختلافی در حد نویز تصادفی همخوانی داشتند. - این کلاینتها توکنهای پرامپت متفاوتی را از مجموعهدادههای تصادفی خود میفرستند؛ بنابراین بخشی از این اختلاف اندک میتواند از خود پرامپتها باشد.
- دمای 0.7 در مقایسه با دمای 0 میانهی TPOT را افزایش داد: در یک کاربر 10 تا 13 درصد، و در 16 و 64 کاربر بین 3 تا 6 درصد افزایش تاخیر ثبت شد.
بنابراین اختلاف چند درصدی میان دو عدد منتشرشده میتواند صرفاً ناشی از خود کلاینت باشد. نام کلاینت و دما را در کنار هر نتیجه گزارش کنید.
فرکانس GPU را در تمام اجراها ثبت کنید
اولین پویش ما روی کارت NVIDIA L4 نشان داد که گرافهای CUDA هیچ اثری نداشتهاند. میانهی زمان به ازای هر توکن در سقف همروندی 1، چه با گراف و چه بدون آن 103.4 میلیثانیه بود. سه سید مختلف در این سقف اعدادی بین 10.0 تا 14.9 توکن بر ثانیه دادند؛ یعنی دامنهای به اندازهی نصف مقدار میانه! اینجا بود که در حین پویش دستور nvidia-smi را بررسی کردیم.
index, temperature.gpu, power.draw [W], power.limit [W], clocks.current.sm [MHz], clocks.max.sm [MHz], clocks_event_reasons.active, clocks_event_reasons.sw_thermal_slowdown, clocks_event_reasons.hw_thermal_slowdown, clocks_event_reasons.sw_power_cap, utilization.gpu [%]
0, 87, 58.36 W, 72.00 W, 360 MHz, 2040 MHz, 0x0000000000000020, Active, Not Active, Not Active, 100 %سطر سربرگ و سطر مربوط به کارتی که پویش را اجرا کرد.
کارت گرافیک به دمای 87 درجه رسیده بود و افت فرکانس حرارتیِ نرمافزاری فعال شده بود؛ فرکانس SM هم روی 360 مگاهرتز از 2040 قرار داشت. کارت L4 یک برد 72 واتی با خنککنندهی غیرفعال است و کارت دوم در همان شاسی، کار دیگری را همزمان اجرا میکرد. ما عملکرد یک GPU داغ را اندازه گرفته بودیم، و سرور زیر آن نقشی در این افت نداشت.
حالا اسکریپت پویش ما وضعیت nvidia-smi را هر ثانیه یکبار در فایلی با پسوند .gpu.csv کنار هر اجرا ذخیره میکند. قبل از هر اجرا، اسکریپت تا 900 ثانیه صبر میکند تا کارت به زیر حد تعیینشده در --cool (بهطور پیشفرض 65 درجه) برسد. کارت L4 در این شاسی گرم کار میکند، بنابراین ما با --cool 72 تست را اجرا کردیم. اسکریپت خلاصهسازی، میانهی فرکانس SM، بالاترین دما و سهم نمونههای دارای فلگ افت فرکانس حرارتی را به هر نقطه اضافه میکند. پویش بار GB10 در شکل 5.1c قبل از اضافهکردن این نمونهگیر (Sampler) اجرا شده بود؛ بنابراین باندهای فشردهی آن تنها بررسی ما روی آن به حساب میآید.
ما پویش L4 را دوباره با همان دستور و با در نظر گرفتن زمان خنکشدن اجرا کردیم. پویش دارای افت فرکانس با خط صورتی در تصویر بعدی مشخص شده است.
شواهد ما این اختلاف را روی L4 ثبت کرد. در سقف 32، پویش خنکشده 270.11 توکن بر ثانیه داد و پویش داغ به 194.16 توکن بر ثانیه رسید. در سقف 1، میانهی زمان به ازای هر توکن 60.16 میلیثانیه در برابر 103.38 میلیثانیه بود.
اجراهای خنکشده هم با حداکثر سرعت کار نمیکردند. میانهی فرکانس SM آنها بین 1,080 تا 1,515 مگاهرتز از 2,040 بود. در سقفهای 1 و 64، در بدترین سید، 41 تا 49 درصد از نمونهها همچنان بیت افت فرکانس حرارتی را فعال داشتند. خنککردن اولیه بدترین خطا را حذف میکند، و فرکانس ثبتشده نشان میدهد چقدر خطا باقی مانده است.
رویکرد ما: بنچمارکی که فرکانس و دمای هر اجرا را ثبت نکرده باشد، شواهد (Evidence) معتبری به حساب نمیآید. اول فرکانس پردازنده را بخوانید، بعد سراغ نرخ پردازش بروید.
موضع ما
بالاترین همروندیای را که هنوز هدف تاخیر شما را برآورده میکند گزارش دهید، و نرخ پردازش آن را همراه با p50 و p99 مربوط به TTFT و TPOT بیاورید. عبارت «255 توکن بر ثانیه در سقف همروندی 8، با میانهی 0.79 ثانیه برای اولین توکن» یک نتیجه است؛ «255 توکن بر ثانیه» صرفاً یک شعار است.
سپس نقطهی زانو را بیرون از موتور کنترل کنید. حد مجاز خود موتور بر اساس حافظه تعیین میشود، و حافظه خیلی بعد از اینکه تاخیر از حد قابل قبول بگذرد تمام خواهد شد. سقف همروندی را در کلاینت، گیتوی، یا با --max-running-requests اعمال کنید و اندازهی آن را از پویش به دست آورید.
ماجرای یک رخداد واقعی: تلهی اسکریپت دستنویس
در ایشوی شماره 3196، عددی معادل 13 توکن بر ثانیه برای DeepSeek V3 روی هشت GPU مدل H200 گزارش شد، در حالی که API رسمی DeepSeek خروجی 60 توکن بر ثانیه میداد {{issue #3196}}. کاربر دیگری روی دو نود H100 به عدد 33 توکن بر ثانیه رسیده بود. اسکریپت اندازهگیری، کلمات را با فاصله (Space) جدا میکرد و میشمرد، و زمان اولین توکن را هم در نرخ پردازش به حساب میآورد. کلمه معادل توکن نیست و TTFT هم زمان رمزگشایی نیست؛ بنابراین اسکریپت رقمی بسیار کمتر از کارایی واقعی سرور را گزارش میداد. راهحل این بود که با کلاینت بنچمارک اندازهگیری کنند؛ کلاینتی که توکنها را میشمارد و TTFT و TPOT را جدا از هم نگه میدارد.
منابع: بخشهای calculate_metrics، مقادیر پیشفرض آرگومانها، flush_server_cache، فلگ --flush-cache و کلاینت asyncio در python/sglang/benchmark/serving.py؛ محاسبهی طول تصادفی در python/sglang/benchmark/datasets/common.py (compute_random_lens)؛ نمونهگیری تصادفی درخواستها در python/sglang/benchmark/datasets/random.py (sample_random_requests)؛ متد flush_cache در python/sglang/srt/entrypoints/http_server.py و python/sglang/srt/managers/scheduler.py؛ ثبت آمار توکنهای کششده در python/sglang/srt/observability/metrics_collector.py (cached_tokens_total)؛ پردازندهی مصرف در python/sglang/srt/entrypoints/openai/usage_processor.py؛ فایلهای python/sglang/bench_serving.py و PR #40795؛ همگی در نسخهی v0.5.22 (baa9befa)؛ خروجیهای لاگ و دستور در capture/out/serve-help.txt، capture/out/server-default.command.txt، capture/out/server-default.log، capture/out/bench-random-c1.txt، capture/out/bench-random-c8.txt و capture/out/bench-random-c32.txt؛ اسکریپتها و دادههای GPU در capture/gpu/sweep.py، capture/gpu/summarize.py، capture/gpu/summary/gb10.json، capture/gpu/summary/l4.json، capture/gpu/summary/l4-throttled.json، capture/gpu/out-gb10/server-default.command.txt، capture/gpu/out-gb10/bench-random-c8.txt، capture/gpu/out-gb10/bench-random-c32.txt و capture/gpu/incidents/l4-thermal-throttle.txt؛ ایشوی 3196؛ لاگهای سرور موجی و مخازن در capture/gpu/out-l4/server-waves-default.log، capture/gpu/out-l4/waves-default-input-tokens.txt، capture/gpu/out-gb10/server-pools.log و capture/gpu/out-gb10/server-default.log؛ مقالهی Chandrasekar و Kramberger با عنوان Identifying and Mitigating Systemic Measurement Bias in Production LLM Inference Benchmarks در arXiv 2605.24217 (2026-05)؛ دادههای تخلیهی کش و تفاوت کلاینتها در capture/gpu/out-l4/prefix-cache-flush.txt، capture/gpu/out-l4/bench-client-bias.txt و capture/gpu/out-l4/load-flushed-vs-unflushed.txt.