یک گام رمزگشایی (decode) آنقدر کوچک است که نمیتواند GPU را مشغول نگه دارد؛ به همین دلیل SGLang فراخوانی کرنلهای خود را یکبار در قالب یک گراف CUDA ضبط میکند و در هر گام، این توالی ضبطشده را بازپخش (replay) میکند.
مدل کوچکی را برای یک کاربر روی H100 بالا بیاورید و رسیدن توکنها را تماشا کنید. GPU سریع است، با این حال پروفایلر (profiler) بین اجرای کرنلها وقفههای خالی نشان میدهد. یک گزارش میدانی از تیم Hazy Research {{field Hazy Research 2025-09}} نشان داد که SGLang و vLLM برای مدل Llama-1B در دستهی 1، فقط از حدود نیمی از پهنای باند حافظهی H100 استفاده کردهاند. در واقع GPU منتظر میماند تا CPU بگوید در گام بعدی چه کار کند.
با پایان این بخش، میتوانید حالت هر گذر رو به جلو (forward pass) را نام ببرید و توضیح دهید که گراف CUDA چه چیزی را صرفهجویی میکند. همچنین متوجه میشوید SGLang چه اندازههایی از دسته را ضبط میکند و چطور رمزگشاییهای پربار را داخل گراف نگه دارید.
هر گذر رو به جلو یک حالت دارد
حالت گذر رو به جلو (ForwardMode): برچسبی روی دسته که به اجراکنندهی مدل (model runner) میگوید چه نوع گذری را اجرا کند. اسکژولر (scheduler) آن را تعیین میکند و اجراکنندهی مدل، بکاند اتنشن و اجراکنندههای گراف همگی آن را میخوانند.
| حالت | کاری که این گذر انجام میدهد |
|---|---|
EXTEND |
پیشپرکنی (prefill). ورودیهای KV را برای تعداد زیادی توکن جدید مینویسد. بخشی از پرامپت (prompt) ممکن است از قبل در کش باشد. |
DECODE |
تولید یک توکن جدید به ازای هر درخواست فعال. |
MIXED |
ترکیبی از یک قطعه پیشپرکنی و توکنهای رمزگشایی در یک دسته. غیرفعال است مگر اینکه آرگومان --enable-mixed-chunk را بفرستید. |
IDLE |
بدون توکن. یک رتبهی (rank) اتنشن در موازیسازی داده که کاری ندارد آن را اجرا میکند تا فراخوانیهای عمل اشتراکی (collective) همچنان هماهنگ بمانند. |
TARGET_VERIFY |
دیکودینگ حدسی (speculative decoding): مدل هدف (target model) به توکنهای پیشنویس امتیاز میدهد. |
DRAFT_EXTEND_V2 |
دیکودینگ حدسی: مدل پیشنویس (draft model) توکنهای پذیرفتهشده را میخواند. |
PREBUILT |
یک ورکر رمزگشایی در معماری تفکیک پیشپرکنی و رمزگشایی. کش کلید-مقدار (KV cache) از سرور دیگری رسیده است. |
SPLIT_PREFILL |
پیشپرکنیای که هر بار چند لایه را اجرا میکند؛ برای تسهیم پیشپرکنی و رمزگشایی کاربرد دارد. |
در SGLang، هر گذری که چندین ورودی KV به ازای هر درخواست بنویسد «extend» نامیده میشود. به همین دلیل است که TARGET_VERIFY در کدها جزو extend به حساب میآید؛ مدل هدف به ازای هر درخواست روی چند موقعیت پیشنویس اجرا میشود، درست مثل یک پیشپرکنی کوچک با ماسک درختی.
هزینهی ماجرا: هر گام رمزگشایی فهرستی طولانی از فراخوانیهای کوچک است
یک لایهی ترنسفورمر، زنجیرهای از چندین کرنل است: نرمالسازی (norm)، تصویرِ QKV (کیوکیوی projection)، اتنشن، تصویر خروجی، نرمالسازی دوم و در نهایت لایهی MLP. مدلی با 28 لایه برای تولید تنها یک توکن، صدها کرنل را فراخوانی میکند. هنگام پیشپرکنی، هر کرنل روی هزاران توکن کار میکند؛ بنابراین زمان راهاندازی در برابر زمان محاسبات ناچیز است. اما در زمان رمزگشایی، هر کرنل تنها روی یک توکن به ازای هر درخواست پردازش انجام میدهد.
در دستهی 1، GPU اغلب قبل از اینکه فرایند پایتون دستور بعدی را بفرستد، اجرای کرنل را تمام کرده است. راهحل بدیهی، سریعتر کردن مسیر راهاندازی است؛ مثلاً کاهش فراخوانیهای پایتون. این کار کمی کمک میکند، اما همچنان هر کرنل به فراخوانی جداگانهی خود از سمت CPU نیاز دارد و تعداد این فراخوانیها تغییری نمیکند.
گراف CUDA (CUDA graph): تاریخچهای ثبتشده از فراخوانی کرنلها با ابعاد و آدرسهای ثابت تنسور (tensor)، که GPU میتواند آن را تنها با یک فراخوانی از طرف CPU مجدداً اجرا (replay) کند.
این ضبط هزینه دارد. هر ابعاد ضبطشده بخشی از حافظهی GPU را مصرف میکند و اندازهی دسته باید دقیقاً با ابعاد ضبطشده مطابقت داشته باشد. SGLang این هزینه را برای رمزگشایی میپردازد و اندازهی هر دسته را با اضافه کردن پدینگ به نزدیکترین اندازهی ضبطشده میرساند.
SGLang چه مواردی را ضبط میکند و چه زمانی دست میکشد
سبد ضبط (Capture bucket): اندازهای از دسته که SGLang در زمان راهاندازی، گراف رمزگشایی آن را ذخیره میکند. بدون دیکودینگ حدسی، نسخهی v0.5.22 اندازههای 1، 2، 4، 8 و 12، و سپس ضریبهای 8 از 16 تا 256 را ضبط میکند. برای مقادیر بالاتر از 256، اندازهها با گامهای 16تایی تا 511 و پس از آن با گامهای 32تایی تا بزرگترین اندازه ضبط میشوند. دستهای با 13 درخواست، گراف مربوط به 16 را بازپخش میکند و سه جایگاه (slot) خالی هدر میرود.
بزرگترین سبد یا max_bs، به حافظهی GPU و اندازهی موازیسازی تنسور بستگی دارد. اگر --cuda-graph-max-bs-decode را مشخص نکنید، کد راهاندازی این مقدار را خودکار انتخاب میکند.
| حافظهی GPU | نمونههای GPU | مقدار max_bs رمزگشایی در TP زیر 4 |
در TP 4 یا بالاتر | chunked_prefill_size |
|---|---|---|---|---|
| زیر 20 GB | T4, RTX 4080 | 8 | 8 | 2048 |
| 20 تا 35 GB | A10, RTX 4090, RTX 5090 | 48 | 160 | 4096 |
| 35 تا 60 GB | A100 40 GB, L40 | 32 | 160 | 4096 |
| 60 تا 90 GB | H100, A100 80 GB | 256 | 512 | 8192 |
| 90 تا 160 GB | H200 | 256 | 512 | 8192 |
| 160 GB و بالاتر | B200, MI300X | 512 | 512 | 16384 |
وقتی دستهی رمزگشایی از max_bs بزرگتر شود، اجراکنندهی گراف نمیتواند آن را بازپخش کند. در این وضعیت، این گام در حالت ایگر (eager) و با ارسال مجزای هر کرنل اجرا میشود. هیچ خطایی رخ نمیدهد و هیچ هشداری نمایش داده نمیشود؛ فقط در خط لاگ اسکژولر، مقدار این دسته به صورت cuda graph: False ثبت میشود و تاخیر به ازای هر توکن بالا میرود.
کدها ابعاد شما را برای فاز پیشپرکنی به همین شکل تغییر نمیدهند. از زمان PR #29458 (تاریخ 2026-07-01)، بیلدهای CUDA از گراف شکستپذیر (breakable graph) برای پیشپرکنی استفاده میکنند. گراف شکستپذیر: نوعی ضبط که در هر عملگرِ نشانهگذاریشده برای اجرای ایگر، یک بخش را خاتمه میدهد، آن عملگر را به صورت ایگر اجرا میکند و بخش بعدی را شروع میکند. مدلی که یک عملگر ناسازگار با گراف داشته باشد، همچنان برای بقیهی عملگرهایش گراف دریافت میکند. روی پلتفرمهای دیگر، گرافهای پیشپرکنی خاموش هستند و لاگهای ضبط ما روی Mac هر دوی این موارد را نشان میدهد.
… Disable prefill CUDA graph because cuda_graph_config resolved prefill.backend='disabled' (e.g. via --cuda-graph-backend-prefill=disabled or auto-disable rules).
… Prefill batch, #new-seq: 1, #new-token: 6, #cached-token: 0, token usage: 0.00, #running-req: 0, #queue-req: 0, #pending-token: 0, cuda graph: False, …دو خط از لاگ پیشفرض سرور. برچسبهای زمانی و انتهای خط دسته حذف شدهاند.
در لاگهای اسکژولر، هر خط مربوط به یک دسته با عبارت :cuda graph تمام میشود. روی سرور CUDA، همیشه این فیلد را برای دستههای رمزگشایی خود زیر نظر بگیرید.
مسیر قدیمیترِ torch.compile برای گرافهای پیشپرکنی در PRهای #42285 تا #42287 در حال حذف است. پست وبلاگی که میگوید «گرافهای تکهای CUDA از torch.compile استفاده میکنند»، در واقع همان مسیر قدیمی را توصیف میکند.
پرتگاه کارایی در گزارشهای میدانی
یک گزارش میدانی از Jarvislabs {{field Jarvislabs 2026-05}}، مدل Qwen2.5-7B را روی یک H100 با فلگهای پیشفرض SGLang تست کرد. در همروندی (concurrency) 300، میانگین تاخیر بین توکنها (ITL) برای SGLang برابر با 17.72 میلیثانیه و برای vLLM برابر با 12.28 میلیثانیه بود. بدون تعیین سقف همروندی، این عدد به 100.92 میلیثانیه در برابر 28.84 میلیثانیه رسید. در این پست، نسخهی SGLang یا لاگهای سرور ثبت نشده است.
برداشت ما یک فرضیه (hypothesis) است و باید به چشم فرضیه دیده شود: مقدار پیشفرض max_bs رمزگشایی روی این GPU برابر با 256 است و این جهش ناگهانی تاخیر، دقیقاً بالای همین مقدار رخ میدهد. توسعهدهندگان نیز رفتار مشابهی را روی کارتهای کوچکتر دیده بودند. کامنت موجود در کد مربوط به دستهی 20 تا 35 گیگابایتی دلیل این موضوع را روشن میکند: سقف قبلی باعث میشد تمام دستههای رمزگشایی با اندازهی 32 یا بیشتر در حالت ایگر اجرا شوند؛ در نتیجه نرخ پردازش (throughput) در همروندیهای بالا نسبت به vLLM به شدت افت میکرد {{code}}. در تاریخ 2026-09-04، طی PR #37898 این سقف از 24 به 48 افزایش یافت.
یافتههای ما از اندازهگیری روی GB10
هزینههای بالا برای یک GPU سریع و یک مدل کوچک در نظر گرفته شده بود. ما حالت متفاوتی را آزمودیم: مدلِ ترکیبی از متخصصان (mixture-of-experts) با نام Qwen/Qwen3-30B-A3B-Instruct-2507 روی یک NVIDIA GB10. این تراشه حافظهی یکپارچهای بین CPU و GPU دارد که پهنای باند آن به مراتب از حافظهی HBM پردازندههای مراکز داده کمتر است.
ما این نتایج را ثبت کردیم: دو سرور با سه سید (seed) در هر همروندی از 1 تا 64 بررسی شدند. سرور پیشفرض روی هر دستهی رمزگشایی یک گراف را بازپخش کرد و لاگ آن cuda graph: True را نشان داد. سروری که هر دو بکاند گراف آن روی disabled تنظیم شده بود، مقدار cuda graph: False را ثبت کرد. خروجیها تقریباً یکسان بودند:
| همروندی | میانهی TPOT با گراف | میانهی TPOT بدون گراف | توکن خروجی بر ثانیه با گراف | توکن خروجی بر ثانیه بدون گراف |
|---|---|---|---|---|
| 1 | 32.52 ms | 33.09 ms | 29.14 | 28.72 |
| 8 | 102.21 ms | 104.77 ms | 74.11 | 73.46 |
| 64 | 254.06 ms | 253.77 ms | 235.38 | 235.79 |
هر دو خط در تصویر 5.1c درست روی هم قرار میگیرند. با این حال، استفاده از گراف هنوز هزینهی زمان راهاندازی و مصرف حافظه را دارد. ضبط رمزگشایی 4.61 ثانیه و 1.73 گیگابایت، و ضبط پیشپرکنی 35.06 ثانیه و 2.14 گیگابایت زمان و حافظه مصرف کردند.
برداشت ما از این نتیجه: یک گام رمزگشایی این مدل در دستهی 1 حدود 32 میلیثانیه زمان میبرد. زمان ارسال دستوری که گراف آن را حذف میکند، در مقایسه با طول این گام ناچیز است. در هر گام، وزنهای متخصصانی که توسط توکنها انتخاب شدهاند از حافظه خوانده میشوند و گلوگاه اصلی زمان، پهنای باند حافظه است.
یافتههای ما از اندازهگیری روی L4
اولین ارزیابی ما روی کارت L4 با مدل متراکم (dense) به نام Qwen/Qwen3-8B اشتباه از آب درآمد. کارت در دمای 87 درجه کار میکرد و به دلیل افت حرارتی (thermal slowdown)، فرکانس کلاک SM آن روی 360 مگاهرتز از 2040 مگاهرتز افت کرد. وقتی GPU دچار افت سرعت شود، در همهی گامها کند است و صرفهجویی زمان ارسال دستورات در میان این نویز گم میشود؛ بنابراین آن دادهها را حذف کردیم. همانطور که در بخش 5.1 آمده است، همیشه فرکانس کلاک و دمای GPU را هنگام بنچمارک ثبت کنید.
سپس همان دو تست را روی یک L4 خنکشده اجرا کردیم. تمام اجراهای جفتشده در یک روز با دمای 72 درجه یا کمتر آغاز شدند. آزمایشی که میانهی کلاک SM آن کمتر از 1000 مگاهرتز میشد تا سه بار تکرار شد. جفت اول در دو روز مختلف (2026-10-16 و 2026-10-18) انجام شد. در تاریخ 2026-10-21، هر دو سرور را بار دیگر پشت سر هم و با یک توزیع مشترک از 24094 توکن اجرا کردیم. جدول زیر نتایج تستهای این روز را نشان میدهد.
[2026-10-16 20:32:22] Decode batch, #running-req: 33, #token: 19597, token usage: 0.81, cuda graph: True, gen throughput (token/s): 319.70, #queue-req: 0
[2026-10-18 18:01:00] Decode batch, #running-req: 33, #token: 20422, token usage: 0.85, cuda graph: False, gen throughput (token/s): 350.78, #queue-req: 0یک خط رمزگشایی از هر سرور جفت اول، در دو روز، با 33 درخواست در حال اجرا. اولی یک گراف را بازپخش کرد، دومی بهصورت مشتاق اجرا شد.
| همروندی | میانهی TPOT با گراف / بدون گراف | توکن خروجی بر ثانیه با / بدون | صدک 99 تاخیر بین توکنها با / بدون |
|---|---|---|---|
| 1 | 60.15 / 60.64 ms | 13.93 / 14.67 | 104 / 104 ms |
| 8 | 66.01 / 66.60 ms | 112.60 / 111.67 | 70 / 68 ms |
| 16 | 70.08 / 70.59 ms | 201.21 / 200.16 | 80 / 73 ms |
| 32 | 95.65 / 94.12 ms | 270.61 / 270.81 | 103 / 87 ms |
| 64 (یادداشت زیر را ببینید) | 103.39 / 103.12 ms | 264.10 / 265.30 | 109 / 90 ms |
سرورهای L4 گرافهای رمزگشایی را فقط تا 48 درخواست فعال ضبط کرده بودند. در 64 کاربر، دستههای بزرگتر از 48 روی هر دو سرور به صورت ایگر اجرا شدند؛ بنابراین ردیف آخر تاثیری از گراف را اندازه نمیگیرد.
ما این نتایج را ثبت کردیم: روی L4 نیز تفاوت اندک بود. تا 16 کاربر، گرافها تنها 0.5 تا 0.7 میلیثانیه از یک گامِ 60 تا 70 میلیثانیهای را صرفهجویی کردند (حدود 1 درصد). نرخ پردازش از 2 کاربر به بالا در بازهی اختلافیِ 1.2 درصد بود و در 1 کاربر، 5 درصد تفاوت داشت.
در 16 و 32 کاربر، سرور بدون گراف صدک 99 تاخیر بین توکنها (P99 ITL) کمتری داشت و این مسئله در تمام سیدها بدون هیچ همپوشانی (overlap) تکرار شد: 73 در برابر 80 میلیثانیه و 87 در برابر 103 میلیثانیه. هر دو سرور در این اندازههای دسته گرافها را بازپخش میکردند. ما هنوز سازوکار مشخصی برای این اختلاف نیافتهایم؛ بنابراین فقط آن را گزارش میکنیم و توضیحی برایش نمیآوریم.
روی GB10 در همان روز چنین اختلافی دیده نشد؛ P99 ITL با و بدون گراف در تمام همروندیها زیر 7 درصد، و میانهی TPOT زیر 2 درصد اختلاف داشت.
برداشت ما: یک گام از یک مدل 8B در دستهی 1، حدود 16 گیگابایت وزن را از حافظه میخواند. زمانی که گراف از هزینهی فراخوانی کم میکند در مقایسه با این خواندن ناچیز است.
شبیهساز Inside an LLM Serving GPU یک گام رمزگشایی روی L4 را به صورت خواندن وزنها و سپس پردازش پس از آن نشان میدهد. این لینک همان اجرا را بدون گراف و با یک کاربر باز میکند. دستورات فراخوانی باید برای هر کرنل از PCIe عبور کنند؛ در جفت اول آزمایشهای ما، زمان گام به اندازهی 0.47 میلیثانیه بیشتر شد و به 60.63 میلیثانیه رسید.
موضع ما
گرافهای CUDA را روشن بگذارید و ابعاد آنها را متناسب با ترافیک خود تعیین کنید. مقدار پیشفرض max_bs برای همروندیهای متوسط مناسب است. اگر بنچمارک شما یا ترافیک زمان اوج در محیط عملیاتی (production) درخواستهای بیشتری دارد، قبل از اندازهگیری، مقادیر --cuda-graph-max-bs-decode و --max-running-requests را متناسب با هدف خود تنظیم کنید. دستورالعملهای ارائهشده توسط SemiAnalysis InferenceX {{field InferenceX 2026-05}}، هر دوی این مقادیر را بر اساس همروندی مورد تست به دست میآورند.
انتظار نداشته باشید گرافها در هر سیستمی سرعت رمزگشایی کند را متحول کنند. روی GB10، یک گام رمزگشایی مدل ترکیبی از متخصصان دهها میلیثانیه طول میکشد و گرافها آن را 3 درصد یا کمتر تغییر دادند. روی L4 با یک مدل متراکم 8B، حدود 1 درصد صرفهجویی حاصل شد؛ حتی در 16 و 32 کاربر، بدترین فاصلهی بین توکنها بدون استفاده از گراف کوتاهتر بود. همیشه قبل از اینکه مشکل را به گردن مسیر فراخوانی بیندازید، میانه و دادههای دم توزیع را هم با گراف و هم بدون آن بسنجید.
برای حل مشکل حافظه، گرافها را خاموش نکنید. اگر فرایند ضبط با کمبود حافظه مواجه شد، مقادیر --cuda-graph-max-bs-decode یا --mem-fraction-static را کاهش دهید. سروری که از گرافهای رمزگشایی استفاده نمیکند، باید به ازای هر توکن برای هر کاربر هزینهی زمانی فراخوانیها را بپردازد.
در نسخهی v0.5.22 نام دو فلگ تغییر کرده است و دستورالعملهای قدیمی با آنها از کار میافتند. فلگ --disable-cuda-graph هنوز کار میکند، اما متن راهنما آن را منسوخشده علامت زده است.
دو خط از فلگهای منسوخشده در انتهای متن راهنما. --disable-cuda-graph Deprecated. Use --cuda-graph-
backend-{decode,prefill}=disabled instead.--cuda-graph-max-bs دیگر وجود ندارد. این فلگ را به آرگومانپارسرِ نسخهی v0.5.22 دادیم و با این خطا خارج شد: ambiguous option: --cuda-graph-max-bs could match --cuda-graph-max-bs-decode, --cuda-graph-max-bs-prefill.
رخدادها
کمبود حافظه در مرحلهی ضبط با اتنشن موازی داده. ایشوی شماره #23769 (تاریخ 2026-04-26): اجرای مدل DeepSeek-V4-Pro-FP8 روی دو نود با هشت H200 در جریان ضبط گراف متوقف شد. با اتنشن موازی داده، اندازهی دستهی گراف به ازای هر رتبه شمرده میشود؛ بنابراین گرافهای ضبطشده بزرگتر از نیاز ترافیک بودند. راهحل، کوچکتر کردن اندازهی دستهی گراف یا کاهش مقدار --mem-fraction-static بود.
تغییر نام یک فیلد و شکست API پایتون. ایشوی شماره #36478 (تاریخ 2026-08-26): دستور sgl.Engine(..., disable_piecewise_cuda_graph=True) خطای TypeError داد، در حالی که فلگ خط فرمان همچنان کار میکرد. در PR #23906 این فیلد در پیکربندی گراف مربوط به هر فاز ادغام شد و تنها نام مستعار خط فرمان باقی ماند. راهحل استفاده از cuda_graph_backend_prefill="disabled" است.
نیاز GPU جدید به حالت ایگر. گزارش میدانیِ joshua8.ai {{field joshua8 2026-01}} مربوط به اجرای SGLang روی یک RTX PRO 6000 با معماری Blackwell (SM120) بود. این اجرا برای بالا آمدن کلاً به فلگ --disable-cuda-graph نیاز داشت. روی معماریهای جدید، قبل از مقایسهی موتورها مطمئن شوید که ضبط گراف درست کار میکند.
منابع: capture/out/server-default.log، capture/out/serve-help.txt، capture/gpu/out-gb10/server-default.log، capture/gpu/out-gb10/server-no-cuda-graph.log، capture/gpu/summary/gb10.json، capture/gpu/incidents/l4-thermal-throttle.txt، capture/gpu/out-l4/server-load-graphs-on-off.log، capture/gpu/summary/l4.json (شامل load.default، load.no-cuda-graph، load.graphs-on-b و load.graphs-off-b)، python/sglang/srt/model_executor/forward_batch_info.py (کلاس ForwardMode)، model_executor/model_runner.py (متد _forward_raw)، model_executor/cuda_graph_config.py (تابع default_prefill_backend)، model_executor/runner/decode_cuda_graph_runner.py (تابع can_run_graph)، arg_groups/memory_hook.py (تابع _handle_gpu_memory_settings)، arg_groups/cuda_graph_hook.py (تابع generate_decode_cuda_graph_batch_sizes) و server_args.py (فلگهای منسوخشده) در نسخهی v0.5.22؛ آرگومانپارسر پکیج نصبشدهی v0.5.22؛ پول ریکوئستهای #23906، #29458، #37898 و #42285؛ ایشوهای شماره #23769 و #36478؛ گزارشهای میدانی Hazy Research (2025-09-28)، Jarvislabs (2026-05-18)، joshua8.ai (2026-01-10) و SemiAnalysis InferenceX (2026-05-26)، capture/gpu/out-l4/graphs-sameday-starts.log، capture/gpu/out-gb10/cuda-graph-max-bs-ambiguous.txt.