وضعیت
تیمی مدل Qwen/Qwen3-30B-A3B-Instruct-2507 را روی نودهای GB10 پشت یک مقیاسپذیر خودکار (autoscaler) اجرا میکند. آماده به کار شدن پادهای جدید بیش از 6 دقیقه طول میکشد؛ به همین دلیل، اسکژولر خودکار در هر جهش ترافیکی پادهای اضافی بالا میآورد و هزینهها سرسامآور میشود. یکی از مهندسان لاگ راهاندازی را بررسی میکند، متوجه میشود گرافهای CUDA دو بار ضبط (capture) میشوند و پیشنهاد میدهد هر دو بکاندِ گراف غیرفعال شوند: «ضبط گراف فقط هزینهی اولیهی بالا آمدن است و فقط ضبط بخش پیشپرکنی (prefill) نیم دقیقه زمان میبرد». یکی از بازبینها جلوی این تغییر را میگیرد: «گرافها عامل سرعت رمزگشایی (decode) هستند؛ با این کار زمان به ازای هر توکن دو برابر میشود».
هر دو نفر یک لاگ مشترک را خواندهاند، اما هیچکدام چیزی را اندازه نگرفتهاند. پاد با هر دو تنظیم بازنشانی شده و خروجی ابزار بنچمارک برای هر دو سرور روی درایو اشتراکی قرار دارد.
- نسخه
- SGLang 0.5.22
- مدل
- Qwen/Qwen3-30B-A3B-Instruct-2507
- سختافزار
- one GB10 with 128 GB of unified memory
شواهد
- دستور اجرای سرور با غیرفعال بودن هر دو بکاند گراف
- پایان راهاندازی در سرور پیشفرض، همراه با سطر زمانبندیها
- فازهای راهاندازی سرور بدون گراف
- میانهی TPOT و خروجی با و بدون گراف، سه سید مختلف، 1 تا 64 کاربر
- یک بار اجرای ابزار با یک کاربر در حالت گراف روشن
- همان اجرای ابزار با یک کاربر در حالت گراف خاموش
- دیدگاه مستندات دربارهی گرافها، حافظه و راهاندازی
decode-on-the-gb10.txt
title: median TPOT and output with and without graphs, three seeds, 1 to 64 users
source: manuals/sglang-101/sections/4-1-forwardmode-and-cuda-graphs.md
lines: 95-105
lang: text
note: Read the two TPOT columns row by row, then the reading under the table.
---
**We measured** two servers with three seeds at each concurrency from 1 to 64. The default server replayed a decode graph on every decode batch, and its log says `cuda graph: True`. The server with both graph backends set to `disabled` logged `cuda graph: False`. The results were almost the same:
| Concurrency | Median TPOT with graphs | Median TPOT without | Output tok/s with graphs | Output tok/s without |
|---|---|---|---|---|
| 1 | 32.52 ms | 33.09 ms | 29.14 | 28.72 |
| 8 | 102.21 ms | 104.77 ms | 74.11 | 73.46 |
| 64 | 254.06 ms | 253.77 ms | 235.38 | 235.79 |
The two lines lie on top of each other in [figure 5.1c](#fig-5-1c). The graphs still cost startup time and memory. The decode capture took 4.61 s and 1.73 GB, and the prefill capture took 35.06 s and 2.14 GB.
Our reading of this result: one decode step of this model takes about 32 ms at batch 1. The launch time that a graph removes is small next to that step. Each step reads the weights of the experts that its tokens chose, and memory bandwidth sets the time.
one-user-with-graphs.txt
title: one kit run at one user with graphs on
source: manuals/sglang-101/capture/gpu/out-gb10/bench-random-c1.txt
lines: 34-51
lang: text
note: Read the median TPOT and the P99 ITL.
---
---------------Time to First Token----------------
Mean TTFT (ms): 209.92
Median TTFT (ms): 241.36
P90 TTFT (ms): 268.58
P95 TTFT (ms): 278.05
P99 TTFT (ms): 289.92
-----Time per Output Token (excl. 1st token)------
Mean TPOT (ms): 30.82
Median TPOT (ms): 30.84
P90 TPOT (ms): 30.92
P95 TPOT (ms): 31.05
P99 TPOT (ms): 31.29
---------------Inter-Token Latency----------------
Mean ITL (ms): 30.82
Median ITL (ms): 30.79
P90 ITL (ms): 31.45
P95 ITL (ms): 31.67
P99 ITL (ms): 32.21
one-user-without-graphs.txt
title: the same kit run at one user with graphs off
source: manuals/sglang-101/capture/gpu/out-gb10/no-cuda-graph-bench-random-c1.txt
lines: 34-51
lang: text
note: Compare the median TPOT and the P99 ITL with the run before.
---
---------------Time to First Token----------------
Mean TTFT (ms): 263.80
Median TTFT (ms): 291.11
P90 TTFT (ms): 354.70
P95 TTFT (ms): 373.75
P99 TTFT (ms): 413.63
-----Time per Output Token (excl. 1st token)------
Mean TPOT (ms): 31.29
Median TPOT (ms): 31.29
P90 TPOT (ms): 31.37
P95 TPOT (ms): 31.46
P99 TPOT (ms): 31.60
---------------Inter-Token Latency----------------
Mean ITL (ms): 31.29
Median ITL (ms): 31.40
P90 ITL (ms): 32.73
P95 ITL (ms): 33.31
P99 ITL (ms): 41.72
startup-with-graphs.txt
title: the end of startup on the default server, with the timings line
source: manuals/sglang-101/capture/gpu/out-gb10/server-default.log
lines: 28-32
lang: text
note: Read the decode capture line, the pool size, and the startup timings with the two capture times inside them.
---
[2026-10-17 14:19:12] Capture target decode CUDA graph end. bs=[1, 2, 4, 8, 12, 16, 24, 32, 40, 48, 56, 64, 72, 80, 88, 96, 104, 112, 120, 128, 136, 144, 152, 160, 168, 176, 184, 192, 200, 208, 216, 224, 232, 240, 248, 256], elapsed=4.61 s, mem usage=1.73 GB, avail mem=26.95 GB.
[2026-10-17 14:19:12] max_total_num_tokens=227243, chunked_prefill_size=8192, max_prefill_tokens=16384, max_running_requests=2048, context_len=262144, available_gpu_mem=26.95 GB
[2026-10-17 14:19:12] Init Unified Radix Cache. Components: (<ComponentType.FULL: 0>,). Tree Core: RustUnifiedTreeCore
[2026-10-17 14:19:12] Tree cache initialized: source=default impl=UnifiedRadixCache hybrid_swa=False hybrid_ssm=False hicache_attached=False
[2026-10-17 14:19:12] Engine startup timings (s): load_weight=323.61, kv_cache_allocation=2.09, scheduler_e2e=369.03, cuda_graph={prefill=35.06, decode=4.61, target_verify=0.00, draft_prefill=0.00, draft_decode=0.00, draft_extend=0.00}, tokenizer_e2e=373.52
startup-without-graphs.txt
title: the startup phases of the server without graphs
source: manuals/sglang-101/capture/gpu/out-gb10/server-no-cuda-graph.log
lines: 21-25
lang: text
note: Compare scheduler_e2e and tokenizer_e2e with the default server.
---
[2026-10-17 14:36:42] Disable prefill CUDA graph because cuda_graph_config resolved prefill.backend='disabled' (e.g. via --cuda-graph-backend-prefill=disabled or auto-disable rules).
[2026-10-17 14:36:42] max_total_num_tokens=258017, chunked_prefill_size=8192, max_prefill_tokens=16384, max_running_requests=2048, context_len=262144, available_gpu_mem=31.20 GB
[2026-10-17 14:36:42] Init Unified Radix Cache. Components: (<ComponentType.FULL: 0>,). Tree Core: RustUnifiedTreeCore
[2026-10-17 14:36:42] Tree cache initialized: source=default impl=UnifiedRadixCache hybrid_swa=False hybrid_ssm=False hicache_attached=False
[2026-10-17 14:36:44] Engine startup timings (s): load_weight=322.24, kv_cache_allocation=2.07, scheduler_e2e=341.39, cuda_graph={prefill=0.00, decode=0.00, target_verify=0.00, draft_prefill=0.00, draft_decode=0.00, draft_extend=0.00}, tokenizer_e2e=346.34
the-change.txt
title: the server command with both graph backends disabled
source: manuals/sglang-101/capture/gpu/out-gb10/server-no-cuda-graph.command.txt
lang: bash
note: The two flags at the end are the change.
---
sglang serve --model-path Qwen/Qwen3-30B-A3B-Instruct-2507 --host 127.0.0.1 --port 30000 --enable-cache-report --enable-metrics --mem-fraction-static 0.7 --cuda-graph-backend-decode disabled --cuda-graph-backend-prefill disabled
the-position.txt
title: the position of the manual on graphs, memory and startup
source: manuals/sglang-101/sections/4-1-forwardmode-and-cuda-graphs.md
lines: 143-149
lang: text
note: Read the last paragraph.
---
## Our position
Keep CUDA graphs on, and size them to your traffic. The default `max_bs` suits moderate concurrency. If your benchmark or your production peak runs more requests than that, set `--cuda-graph-max-bs-decode` and `--max-running-requests` to your target before you measure. SemiAnalysis InferenceX recipes {{field InferenceX 2026-05}} derive both values from the concurrency they test.
Do not expect graphs to make a slow decode fast on every machine. On the GB10, one decode step of a mixture-of-experts model takes tens of milliseconds, and graphs changed it by 3 percent or less. On the L4, with a dense 8B model, they saved about 1 percent. The worst token gap was shorter without them at 16 and 32 users. Measure the median and the tail, with and without graphs, before you blame the launch path.
Do not turn graphs off to fix memory. If capture runs out of memory, lower `--cuda-graph-max-bs-decode` or `--mem-fraction-static`. A server without decode graphs pays launch time on every token for every user.
سؤالها
- بر اساس سطر زمانبندیهای راهاندازی، این 6 دقیقه صرف چه چیزهایی میشود و چقدر از آن مربوط به ضبط گراف است؟
- گراف CUDA چه چیزی را از گام رمزگشایی حذف میکند و این حذف روی کدام مدل و پردازندهی گرافیکی بیشترین ارزش را دارد؟
- دو اجرای تکیِ ابزار در حالت یک کاربر را بخوانید. گرافها چه تغییری در فاصلهی زمانی معمول بین توکنها و چه تغییری در بدترین حالت آن ایجاد کردند؟
- جدول مبتنی بر سه سید نتیجهای روی GB10 نشان میدهد که با نتیجهی L4 در مستندات متفاوت است. چرا دو کارت گرافیک رفتار متفاوتی در برابر یک ویژگی نشان میدهند؟
- آیا غیرفعال کردن گرافها مشکل مقیاسپذیر خودکار را حل میکند؟ چه چیزی حل میکند؟
- حق در چه شرایطی با بازبین بود؟ ساختار مدل و میزان بار را مشخص کنید.
اول شواهد را بخوانید و به سؤالها جواب بدهید، بعد راهحل را باز کنید.
راهحل گامبهگام
- سطر زمانبندیهای سرور پیشفرض را بررسی کنید. مقادیر به این صورت است:
load_weight=323.61،kv_cache_allocation=2.09،scheduler_e2e=369.03،cuda_graph={prefill=35.06, decode=4.61, ...}وtokenizer_e2e=373.52. بارگذاری وزنها 323.61 ثانیه از کل 373.52 ثانیهی راهاندازی را به خود اختصاص داده است. ضبط پیشپرکنی 35.06 ثانیه و ضبط رمزگشایی 4.61 ثانیه زمان برده است. این ضبطها حافظه نیز مصرف میکنند: این بخش 2.14 گیگابایت برای پیشپرکنی و 1.73 گیگابایت برای رمزگشایی را نشان میدهد. - راهاندازی بدون گراف را بررسی کنید. سرور لاگ انداخته که گراف پیشپرکنی غیرفعال شد، چون پیکربندی مقدار بکاند را روی
disabledقرار داده بود؛ سپس استخری از 258017 توکن را در مقایسه با 227243 توکن در حالت با گراف تخصیص داد و باscheduler_e2e=341.39وtokenizer_e2e=346.34کار را تمام کرد، در حالی که تمام فیلدهای گراف 0.00 بودند. زمان بارگذاری وزنها 322.24 ثانیه بود. بنابراین، این تغییر فقط زمان ضبط را ذخیره کرد و استخر حافظهی بزرگتری به دست آورد، اما راهاندازی همچنان 346.34 ثانیه طول کشید، چون 322.24 ثانیهی آن صرف بارگذاری وزنها میشود. - بدانید گراف دقیقاً چه هزینهای را کاهش میدهد. هر گام رمزگشایی شامل صدها اجرای کرنل (kernel launch) کوچک است که هر کدام برای یک توکن به ازای هر درخواست اجرا میشوند. یک گراف آنها را یک بار ضبط میکند و با یک فراخوانی CPU بازپخش (replay) میکند. دستاورد اصلی، حذف زمان اجرای کرنلهاست؛ هزینهای ثابت در هر گام که فقط وقتی گام بسیار کوتاه باشد به چشم میآید: یک مدل چگال (dense) کوچک روی یک GPU سریع در دستهی 1 (batch 1)، دقیقاً همان سناریویی است که این سازوکار برای آن ساخته شده است.
- جدول حاصل از سه سید را بخوانید. روی این مدلِ مبتنی بر ترکیب متخصصان (mixture-of-experts) در GB10، میانهی زمان به ازای هر توکن (TPOT) با گراف در حالت تککاربره 32.52 میلیثانیه و بدون گراف 33.09 میلیثانیه بود؛ در 8 کاربر 102.21 در برابر 104.77، و در 64 کاربر 254.06 در برابر 253.77 به دست آمد. میزان خروجی نیز به ترتیب 29.14 در برابر 28.72، 74.11 در برابر 73.46، و 235.38 در برابر 235.79 بود. تحلیل مستندات: هر گام این مدل در دستهی 1 حدود 32 میلیثانیه طول میکشد؛ پهنای باند حافظه این زمان را تعیین میکند و زمان اجرای کرنل که گراف حذفش میکند، در مقایسه با آن ناچیز است.
- نتایج اجرای تکی ابزار را بررسی کنید. در حالت یک کاربر با گراف: میانهی TPOT برابر با 30.84 میلیثانیه، میانهی تاخیر بینتوکنی (ITL) برابر با 30.79 و صدک 99 تاخیر بینتوکنی (P99 ITL) برابر با 32.21 بود. بدون گراف: به ترتیب 31.29، 31.40 و 41.72. میانهها با جدول سه سید همخوانی دارند. صدک 99 تاخیر بینتوکنی تغییر بیشتری داشت و از 32.21 به 41.72 میلیثانیه رسید؛ اما اینها اجراهای تکی بدون ثبت دقیق کلاک هستند، بنابراین وضعیت انتهای توزیع (دم توزیع یا tail) صرفاً سرنخی برای اندازهگیری دقیقتر است، نه یک نتیجهی قطعی. در 8 کاربر، ابزار اعداد 97.30 را در برابر 100.03 میلیثانیه ثبت کرد. برای مقایسه، از ستون توکن اول این اجراها استفاده نکنید، زیرا ابزار هیچوقت کَش را بین اجراها پاکسازی نکرده است.
- دیدگاه مستندات را بخوانید. گرافها را روشن نگه دارید و ابعاد آنها را بر اساس ترافیک خود تنظیم کنید. گرافها را برای آزاد کردن حافظه خاموش نکنید؛ بهجای آن مقادیر
--cuda-graph-max-bs-decodeیا--mem-fraction-staticرا کاهش دهید. روی GB10، گرافها عملکرد رمزگشایی را 3 درصد یا کمتر تغییر دادند و روی کارت L4 با یک مدل چگال 8B، حدود 1 درصد از زمان هر گام را کاهش دادند. فلگ قدیمی--disable-cuda-graphهنوز در نسخهی v0.5.22 کار میکند اما منسوخ شده و جایش را به دو فلگ تفکیکشده برای هر فاز در دستور داده است.
نتیجه
هیچکدام از دو مهندس درک درستی از ابعاد قضیه نداشتند. غیرفعال کردن گرافها زمان ضبط را ذخیره کرد (35.06 ثانیه برای پیشپرکنی و 4.61 ثانیه برای رمزگشایی) اما راهاندازی بهجای 373.52 ثانیه، باز هم 346.34 ثانیه طول کشید؛ چرا که 322.24 ثانیه زمان بارگذاری وزنها بخش اعظم راهاندازی را تشکیل میدهد. در بخش رمزگشایی نیز نگرانی بازبین روی این مدل و کارت عملی نشد: میانهی زمان به ازای هر توکن از 1 تا 64 کاربر، 3 درصد یا کمتر تغییر کرد و نرخ خروجی در محدودهی نوسان ناشی از سیدها باقی ماند.
بنابراین، این تغییر مشکل جهش ترافیکی را حل نمیکند و بارگذاری وزنها مسئلهی اصلی است که باید روی آن کار کرد. وزنها را روی درایو محلی نگه دارید، سرور را بین جهشهای ترافیکی روشن بگذارید، کَش کرنلها و کَش مدل را روی دیسکهایی قرار دهید که با حذف پاد از بین نروند، و آزمون ارزیابی آماده بودن (readiness probe) و سیاست افزایش مقیاس را بر اساس زمان اندازهگیریشدهی 373.52 ثانیه تنظیم کنید، همانطور که در راهنمای عملیاتی توضیح داده شده است. گرافها را روشن بگذارید؛ چون سرور بدون گرافِ رمزگشایی، هزینهی اجرای کرنل را روی تکتک توکنها برای تمام کاربران پرداخت میکند و این هزینه روی مدلهای چگال کوچکتر که گامهای کوتاهی دارند خودش را نشان میدهد. اگر تیم به دنبال بازپسگیری حافظه است، اهرم درست --cuda-graph-max-bs-decode است، نه حذف کامل ضبط گراف. پیش از هر تغییری از این دست، هر دو حالت را با ثبت زمان دقیق و سه سید بسنجید، درست مانند جدول، و به دم توزیع نیز بهاندازهی میانه توجه کنید.
مسیرهای اشتباه رایج
- «ضبط گراف صرفاً هزینهی راهاندازی است، پس باید حذف شود.» این زمان 35.06 بهعلاوهی 4.61 ثانیه از شروعی است که 323.61 ثانیهی آن صرف بارگذاری وزنها میشود. حذف آن زمان راهاندازی را از 373.52 به 346.34 ثانیه رساند و مشکل جهش ترافیکی همچنان پابرجا ماند.
- «بدون گرافها زمان به ازای هر توکن دو برابر میشود.» روی این مدلِ مبتنی بر ترکیب متخصصان در GB10، میانهی TPOT در حالت تککاربره از 32.52 به 33.09 میلیثانیه رسید و در 64 کاربر از 254.06 به 253.77 تغییر کرد. گلوگاه این گام پهنای باند حافظه است، نه اجرای کرنلها.
- «نتیجهی GB10 تکلیف همهی مدلها را مشخص میکند.» روی کارت L4 با یک مدل چگال 8B، گرافها حدود 1 درصد از هر گام را صرفهجویی کردند؛ روی مدلی کوچکتر با پردازندهی گرافیکی سریعتر، سهم زمان اجرای کرنل از این هم بیشتر میشود. میزان صرفهجویی کاملاً به طول گام وابسته است.
- «برای پس گرفتن استخر KV، گرافها را خاموش کنید.» هرچند استخر از 227243 به 258017 توکن افزایش یافت، اما راهنما تأکید میکند که اندازهی دستهی گراف یا سهم حافظه را کاهش دهید تا رمزگشایی گرافهای خود را از دست ندهد.
- «بررسی ستون اولین توکن در ابزار برای تحلیل وضعیت دم توزیع کافی است.» ابزار هرگز کَش را بین اجراها پاکسازی نکرده بود؛ بنابراین توکن اول قابل مقایسه نیست. اختلاف P99 ITL در یک کاربر (32.21 در برابر 41.72 میلیثانیه) در وهلهی اول نیاز به اجرا با سیدهای مختلف و ثبت دقیق کلاک دارد.
درس کلی
پیش از حذف هر فازی، بررسی کنید زمان دقیقاً کجا صرف میشود. فرآیند راهاندازی، درست مانند یک گام رمزگشایی، مجموعهای از بخشهایی با اندازههای بسیار متفاوت است و بخشی که حذف آن آسان به نظر میرسد، بهندرت بخش تعیینکننده است. هزینه و فایدهی یک قابلیت را روی مدل و GPU خودتان، در بار کاری واقعی، با چند سید و ثبت دقیق کلاک بسنجید؛ صرفهجویی قابلتوجه در یک گام با طول مشخص، ممکن است روی گامی دیگر در حد نوفه (noise) باشد.
کجای دوره آموزش داده میشود
مستندات SGLang رفتار این دو حالت را روی GB10 و L4 در صفحهی گرافهای CUDA بررسی کرده و فازهای مختلف شروع سرد (cold start) را در صفحهی عملیات تفکیک کرده است.