بخش 4.1 · هر گذر رو به جلو

حالت گذر رو به جلو (ForwardMode) و گراف‌های CUDA

ForwardMode and CUDA graphs

فهرست مطالب
  1. هر گذر رو به جلو یک حالت دارد
  2. هزینه‌ی ماجرا: هر گام رمزگشایی فهرستی طولانی از فراخوانی‌های کوچک است
  3. SGLang چه مواردی را ضبط می‌کند و چه زمانی دست می‌کشد
  4. پرتگاه کارایی در گزارش‌های میدانی
  5. یافته‌های ما از اندازه‌گیری روی GB10
  6. یافته‌های ما از اندازه‌گیری روی L4
  7. موضع ما
  8. رخدادها

یک گام رمزگشایی (decode) آن‌قدر کوچک است که نمی‌تواند GPU را مشغول نگه دارد؛ به همین دلیل SGLang فراخوانی کرنل‌های خود را یک‌بار در قالب یک گراف CUDA ضبط می‌کند و در هر گام، این توالی ضبط‌شده را بازپخش (replay) می‌کند.

مدل کوچکی را برای یک کاربر روی H100 بالا بیاورید و رسیدن توکن‌ها را تماشا کنید. GPU سریع است، با این حال پروفایلر (profiler) بین اجرای کرنل‌ها وقفه‌های خالی نشان می‌دهد. یک گزارش میدانی از تیم Hazy Research {{field Hazy Research 2025-09}} نشان داد که SGLang و vLLM برای مدل Llama-1B در دسته‌ی 1، فقط از حدود نیمی از پهنای باند حافظه‌ی H100 استفاده کرده‌اند. در واقع GPU منتظر می‌ماند تا CPU بگوید در گام بعدی چه کار کند.

با پایان این بخش، می‌توانید حالت هر گذر رو به جلو (forward pass) را نام ببرید و توضیح دهید که گراف CUDA چه چیزی را صرفه‌جویی می‌کند. همچنین متوجه می‌شوید SGLang چه اندازه‌هایی از دسته را ضبط می‌کند و چطور رمزگشایی‌های پربار را داخل گراف نگه دارید.

هر گذر رو به جلو یک حالت دارد

حالت گذر رو به جلو (ForwardMode): برچسبی روی دسته که به اجراکننده‌ی مدل (model runner) می‌گوید چه نوع گذری را اجرا کند. اسکژولر (scheduler) آن را تعیین می‌کند و اجراکننده‌ی مدل، بک‌اند اتنشن و اجراکننده‌های گراف همگی آن را می‌خوانند.

حالت کاری که این گذر انجام می‌دهد
EXTEND پیش‌پرکنی (prefill). ورودی‌های KV را برای تعداد زیادی توکن جدید می‌نویسد. بخشی از پرامپت (prompt) ممکن است از قبل در کش باشد.
DECODE تولید یک توکن جدید به ازای هر درخواست فعال.
MIXED ترکیبی از یک قطعه پیش‌پرکنی و توکن‌های رمزگشایی در یک دسته. غیرفعال است مگر اینکه آرگومان --enable-mixed-chunk را بفرستید.
IDLE بدون توکن. یک رتبه‌ی (rank) اتنشن در موازی‌سازی داده که کاری ندارد آن را اجرا می‌کند تا فراخوانی‌های عمل اشتراکی (collective) همچنان هماهنگ بمانند.
TARGET_VERIFY دیکودینگ حدسی (speculative decoding): مدل هدف (target model) به توکن‌های پیش‌نویس امتیاز می‌دهد.
DRAFT_EXTEND_V2 دیکودینگ حدسی: مدل پیش‌نویس (draft model) توکن‌های پذیرفته‌شده را می‌خواند.
PREBUILT یک ورکر رمزگشایی در معماری تفکیک پیش‌پرکنی و رمزگشایی. کش کلید-مقدار (KV cache) از سرور دیگری رسیده است.
SPLIT_PREFILL پیش‌پرکنی‌ای که هر بار چند لایه را اجرا می‌کند؛ برای تسهیم پیش‌پرکنی و رمزگشایی کاربرد دارد.

در SGLang، هر گذری که چندین ورودی KV به ازای هر درخواست بنویسد «extend» نامیده می‌شود. به همین دلیل است که TARGET_VERIFY در کدها جزو extend به حساب می‌آید؛ مدل هدف به ازای هر درخواست روی چند موقعیت پیش‌نویس اجرا می‌شود، درست مثل یک پیش‌پرکنی کوچک با ماسک درختی.

هزینه‌ی ماجرا: هر گام رمزگشایی فهرستی طولانی از فراخوانی‌های کوچک است

یک لایه‌ی ترنسفورمر، زنجیره‌ای از چندین کرنل است: نرمال‌سازی (norm)، تصویرِ QKV (کیو‌کی‌وی projection)، اتنشن، تصویر خروجی، نرمال‌سازی دوم و در نهایت لایه‌ی MLP. مدلی با 28 لایه برای تولید تنها یک توکن، صدها کرنل را فراخوانی می‌کند. هنگام پیش‌پرکنی، هر کرنل روی هزاران توکن کار می‌کند؛ بنابراین زمان راه‌اندازی در برابر زمان محاسبات ناچیز است. اما در زمان رمزگشایی، هر کرنل تنها روی یک توکن به ازای هر درخواست پردازش انجام می‌دهد.

در دسته‌ی 1، GPU اغلب قبل از اینکه فرایند پایتون دستور بعدی را بفرستد، اجرای کرنل را تمام کرده است. راه‌حل بدیهی، سریع‌تر کردن مسیر راه‌اندازی است؛ مثلاً کاهش فراخوانی‌های پایتون. این کار کمی کمک می‌کند، اما همچنان هر کرنل به فراخوانی جداگانه‌ی خود از سمت CPU نیاز دارد و تعداد این فراخوانی‌ها تغییری نمی‌کند.

گراف CUDA (CUDA graph): تاریخچه‌ای ثبت‌شده از فراخوانی کرنل‌ها با ابعاد و آدرس‌های ثابت تنسور (tensor)، که GPU می‌تواند آن را تنها با یک فراخوانی از طرف CPU مجدداً اجرا (replay) کند.

یک گام رمزگشایی، پرتاب‌شده و بازپخش‌شدهدر حالت مشتاق (eager)، پردازنده مرکزی هر کرنل از تمام لایه‌ها را پرتاب می‌کند؛ اما در حالت گراف، یک فراخوانی بازپخش کل گام رمزگشایی ضبط‌شده را اجرا می‌کند.
یک گام رمزگشایی، پرتاب‌شده و بازپخش‌شده دو ستون. در سمت چپ، رمزگشایی مشتاق (eager): برای هر کرنل از یک لایه ترنسفورمر، اجراکننده مدل پایتون یک پرتاب ارسال می‌کند و گام این عمل را برای همه لایه‌ها تکرار می‌کند. در سمت راست، بازپخش گراف: اجراکننده گراف CUDA رمزگشایی یک فراخوانی بازپخش برای اندازه دسته ضبط‌شده می‌فرستد و GPU کرنل‌های ضبط‌شده همه لایه‌ها را به ترتیب اجرا می‌کند. A · رمزگشایی EAGER B · بازپخش گراف پرتاب rms_norm پرتاب qkv_proj GEMM پرتاب رمزگشایی اتنشن پرتاب o_proj GEMM پرتاب gate_up_proj GEMM پرتاب silu_and_mul پرتاب down_proj GEMM یک پرتاب CPU برای هر کرنل، تکرار برای تمام لایه‌های مدل replay(bs=16) یک فراخوانی CPU برای کل گام captured decode graph, bs=16 تمام لایه‌ها، تمام کرنل‌ها همان ترتیب ستون A شکل‌ها و آدرس‌های ثابت یک بار ضبط در راه‌اندازی یک فراخوانی دسته 13 به 16 پد شده و بازپخش می‌شود a batch above max_bs cannot replay و مانند ستون A اجرا می‌شود
هر ستون را از بالا به پایین بخوانید. نام کرنل‌ها همان عملیات یک لایه به سبک Llama است. ستون راست تنها زمانی اجرا می‌شود که دسته در یک اندازه ضبط‌شده بگنجد. برگرفته از اجراکننده گراف CUDA رمزگشایی در v0.5.22.

این ضبط هزینه دارد. هر ابعاد ضبط‌شده بخشی از حافظه‌ی GPU را مصرف می‌کند و اندازه‌ی دسته باید دقیقاً با ابعاد ضبط‌شده مطابقت داشته باشد. SGLang این هزینه را برای رمزگشایی می‌پردازد و اندازه‌ی هر دسته را با اضافه کردن پدینگ به نزدیک‌ترین اندازه‌ی ضبط‌شده می‌رساند.

SGLang چه مواردی را ضبط می‌کند و چه زمانی دست می‌کشد

سبد ضبط (Capture bucket): اندازه‌ای از دسته که SGLang در زمان راه‌اندازی، گراف رمزگشایی آن را ذخیره می‌کند. بدون دیکودینگ حدسی، نسخه‌ی v0.5.22 اندازه‌های 1، 2، 4، 8 و 12، و سپس ضریب‌های 8 از 16 تا 256 را ضبط می‌کند. برای مقادیر بالاتر از 256، اندازه‌ها با گام‌های 16تایی تا 511 و پس از آن با گام‌های 32تایی تا بزرگ‌ترین اندازه ضبط می‌شوند. دسته‌ای با 13 درخواست، گراف مربوط به 16 را بازپخش می‌کند و سه جایگاه (slot) خالی هدر می‌رود.

بزرگ‌ترین سبد یا max_bs، به حافظه‌ی GPU و اندازه‌ی موازی‌سازی تنسور بستگی دارد. اگر --cuda-graph-max-bs-decode را مشخص نکنید، کد راه‌اندازی این مقدار را خودکار انتخاب می‌کند.

حافظه‌ی GPU نمونه‌های GPU مقدار max_bs رمزگشایی در TP زیر 4 در TP 4 یا بالاتر chunked_prefill_size
زیر 20 GB T4, RTX 4080 8 8 2048
20 تا 35 GB A10, RTX 4090, RTX 5090 48 160 4096
35 تا 60 GB A100 40 GB, L40 32 160 4096
60 تا 90 GB H100, A100 80 GB 256 512 8192
90 تا 160 GB H200 256 512 8192
160 GB و بالاتر B200, MI300X 512 512 16384

وقتی دسته‌ی رمزگشایی از max_bs بزرگ‌تر شود، اجراکننده‌ی گراف نمی‌تواند آن را بازپخش کند. در این وضعیت، این گام در حالت ایگر (eager) و با ارسال مجزای هر کرنل اجرا می‌شود. هیچ خطایی رخ نمی‌دهد و هیچ هشداری نمایش داده نمی‌شود؛ فقط در خط لاگ اسکژولر، مقدار این دسته به صورت cuda graph: False ثبت می‌شود و تاخیر به ازای هر توکن بالا می‌رود.

کدام دسته‌های رمزگشایی یک گراف را بازپخش می‌کنندیک دسته رمزگشایی در صورتی که زیر max_bs جا شود گراف ضبط‌شده بعدی را بازپخش می‌کند، و اگر جا نشود به‌صورت مشتاق با یک پرتاب به ازای هر کرنل اجرا می‌شود.
کدام دسته‌های رمزگشایی یک گراف را بازپخش می‌کنند یک دسته رمزگشایی به اجراکننده گراف CUDA رمزگشایی روی یک GPU با حافظه 80 گیگابایت در اندازه موازی‌سازی تنسور 1 وارد می‌شود که در آن max_bs برابر 256 است. یک دسته 13 تایی جا شده و گراف ضبط‌شده برای 16 را بازپخش می‌کند. یک دسته 256 تایی بزرگ‌ترین گراف را بازپخش می‌کند. یک دسته 300 تایی بالاتر از max_bs است و به‌صورت مشتاق با یک پرتاب به ازای هر کرنل اجرا می‌شود، و لاگ اسکژولر مقدار cuda graph False را نشان می‌دهد. دسته رمزگشایی CAN_RUN_GRAPH آنچه اجرا می‌شود bs = 13 درخواست‌های در حال اجرا 13 <= 256 جا می‌شود بازپخش گراف 16 3 جایگاه پدشده bs = 256 درخواست‌های در حال اجرا 256 <= 256 جا می‌شود بازپخش گراف 256 بزرگ‌ترین باکت bs = 300 درخواست‌های در حال اجرا 300 > 256 بیش از حد بزرگ ارسال مشتاق (eager) cuda graph: False اندازه‌های ضبط‌شده: 1، 2، 4، 8، 12، سپس 16 تا 256 با گام‌های 8 تایی max_bs 256 is the default on an 80 GB GPU at TP 1
از چپ به راست بخوانید. فهرست باکت‌ها پیش‌فرض v0.5.22 بدون دیکودینگ حدسی روی یک GPU با حافظه 80 گیگابایت در TP 1 است. یک دسته 300 تایی به‌صورت مشتاق اجرا می‌شود.

کدها ابعاد شما را برای فاز پیش‌پرکنی به همین شکل تغییر نمی‌دهند. از زمان PR #29458 (تاریخ 2026-07-01)، بیلدهای CUDA از گراف شکست‌پذیر (breakable graph) برای پیش‌پرکنی استفاده می‌کنند. گراف شکست‌پذیر: نوعی ضبط که در هر عملگرِ نشانه‌گذاری‌شده برای اجرای ایگر، یک بخش را خاتمه می‌دهد، آن عملگر را به صورت ایگر اجرا می‌کند و بخش بعدی را شروع می‌کند. مدلی که یک عملگر ناسازگار با گراف داشته باشد، همچنان برای بقیه‌ی عملگرهایش گراف دریافت می‌کند. روی پلتفرم‌های دیگر، گراف‌های پیش‌پرکنی خاموش هستند و لاگ‌های ضبط ما روی Mac هر دوی این موارد را نشان می‌دهد.

وضعیت گراف در لاگ راه‌اندازی و نخستین دسته‌ها capture/out/server-default.log
… Disable prefill CUDA graph because cuda_graph_config resolved prefill.backend='disabled' (e.g. via --cuda-graph-backend-prefill=disabled or auto-disable rules).
… Prefill batch, #new-seq: 1, #new-token: 6, #cached-token: 0, token usage: 0.00, #running-req: 0, #queue-req: 0, #pending-token: 0, cuda graph: False, …

دو خط از لاگ پیش‌فرض سرور. برچسب‌های زمانی و انتهای خط دسته حذف شده‌اند.

در لاگ‌های اسکژولر، هر خط مربوط به یک دسته با عبارت :cuda graph تمام می‌شود. روی سرور CUDA، همیشه این فیلد را برای دسته‌های رمزگشایی خود زیر نظر بگیرید.

مسیر قدیمی‌ترِ torch.compile برای گراف‌های پیش‌پرکنی در PRهای #42285 تا #42287 در حال حذف است. پست وبلاگی که می‌گوید «گراف‌های تکه‌ای CUDA از torch.compile استفاده می‌کنند»، در واقع همان مسیر قدیمی را توصیف می‌کند.

پرتگاه کارایی در گزارش‌های میدانی

یک گزارش میدانی از Jarvislabs {{field Jarvislabs 2026-05}}، مدل Qwen2.5-7B را روی یک H100 با فلگ‌های پیش‌فرض SGLang تست کرد. در همروندی (concurrency) 300، میانگین تاخیر بین توکن‌ها (ITL) برای SGLang برابر با 17.72 میلی‌ثانیه و برای vLLM برابر با 12.28 میلی‌ثانیه بود. بدون تعیین سقف همروندی، این عدد به 100.92 میلی‌ثانیه در برابر 28.84 میلی‌ثانیه رسید. در این پست، نسخه‌ی SGLang یا لاگ‌های سرور ثبت نشده است.

برداشت ما یک فرضیه (hypothesis) است و باید به چشم فرضیه دیده شود: مقدار پیش‌فرض max_bs رمزگشایی روی این GPU برابر با 256 است و این جهش ناگهانی تاخیر، دقیقاً بالای همین مقدار رخ می‌دهد. توسعه‌دهندگان نیز رفتار مشابهی را روی کارت‌های کوچک‌تر دیده بودند. کامنت موجود در کد مربوط به دسته‌ی 20 تا 35 گیگابایتی دلیل این موضوع را روشن می‌کند: سقف قبلی باعث می‌شد تمام دسته‌های رمزگشایی با اندازه‌ی 32 یا بیشتر در حالت ایگر اجرا شوند؛ در نتیجه نرخ پردازش (throughput) در همروندی‌های بالا نسبت به vLLM به شدت افت می‌کرد {{code}}. در تاریخ 2026-09-04، طی PR #37898 این سقف از 24 به 48 افزایش یافت.

یافته‌های ما از اندازه‌گیری روی GB10

هزینه‌های بالا برای یک GPU سریع و یک مدل کوچک در نظر گرفته شده بود. ما حالت متفاوتی را آزمودیم: مدلِ ترکیبی از متخصصان (mixture-of-experts) با نام Qwen/Qwen3-30B-A3B-Instruct-2507 روی یک NVIDIA GB10. این تراشه حافظه‌ی یکپارچه‌ای بین CPU و GPU دارد که پهنای باند آن به مراتب از حافظه‌ی HBM پردازنده‌های مراکز داده کمتر است.

ما این نتایج را ثبت کردیم: دو سرور با سه سید (seed) در هر همروندی از 1 تا 64 بررسی شدند. سرور پیش‌فرض روی هر دسته‌ی رمزگشایی یک گراف را بازپخش کرد و لاگ آن cuda graph: True را نشان داد. سروری که هر دو بک‌اند گراف آن روی disabled تنظیم شده بود، مقدار cuda graph: False را ثبت کرد. خروجی‌ها تقریباً یکسان بودند:

همروندی میانه‌ی TPOT با گراف میانه‌ی TPOT بدون گراف توکن خروجی بر ثانیه با گراف توکن خروجی بر ثانیه بدون گراف
1 32.52 ms 33.09 ms 29.14 28.72
8 102.21 ms 104.77 ms 74.11 73.46
64 254.06 ms 253.77 ms 235.38 235.79

هر دو خط در تصویر 5.1c درست روی هم قرار می‌گیرند. با این حال، استفاده از گراف هنوز هزینه‌ی زمان راه‌اندازی و مصرف حافظه را دارد. ضبط رمزگشایی 4.61 ثانیه و 1.73 گیگابایت، و ضبط پیش‌پرکنی 35.06 ثانیه و 2.14 گیگابایت زمان و حافظه مصرف کردند.

برداشت ما از این نتیجه: یک گام رمزگشایی این مدل در دسته‌ی 1 حدود 32 میلی‌ثانیه زمان می‌برد. زمان ارسال دستوری که گراف آن را حذف می‌کند، در مقایسه با طول این گام ناچیز است. در هر گام، وزن‌های متخصصانی که توسط توکن‌ها انتخاب شده‌اند از حافظه خوانده می‌شوند و گلوگاه اصلی زمان، پهنای باند حافظه است.

یافته‌های ما از اندازه‌گیری روی L4

اولین ارزیابی ما روی کارت L4 با مدل متراکم (dense) به نام Qwen/Qwen3-8B اشتباه از آب درآمد. کارت در دمای 87 درجه کار می‌کرد و به دلیل افت حرارتی (thermal slowdown)، فرکانس کلاک SM آن روی 360 مگاهرتز از 2040 مگاهرتز افت کرد. وقتی GPU دچار افت سرعت شود، در همه‌ی گام‌ها کند است و صرفه‌جویی زمان ارسال دستورات در میان این نویز گم می‌شود؛ بنابراین آن داده‌ها را حذف کردیم. همان‌طور که در بخش 5.1 آمده است، همیشه فرکانس کلاک و دمای GPU را هنگام بنچمارک ثبت کنید.

سپس همان دو تست را روی یک L4 خنک‌شده اجرا کردیم. تمام اجراهای جفت‌شده در یک روز با دمای 72 درجه یا کمتر آغاز شدند. آزمایشی که میانه‌ی کلاک SM آن کمتر از 1000 مگاهرتز می‌شد تا سه بار تکرار شد. جفت اول در دو روز مختلف (2026-10-16 و 2026-10-18) انجام شد. در تاریخ 2026-10-21، هر دو سرور را بار دیگر پشت سر هم و با یک توزیع مشترک از 24094 توکن اجرا کردیم. جدول زیر نتایج تست‌های این روز را نشان می‌دهد.

همان دسته، با و بدون گراف capture/gpu/out-l4/server-load-graphs-on-off.log
[2026-10-16 20:32:22] Decode batch, #running-req: 33, #token: 19597, token usage: 0.81, cuda graph: True, gen throughput (token/s): 319.70, #queue-req: 0
[2026-10-18 18:01:00] Decode batch, #running-req: 33, #token: 20422, token usage: 0.85, cuda graph: False, gen throughput (token/s): 350.78, #queue-req: 0

یک خط رمزگشایی از هر سرور جفت اول، در دو روز، با 33 درخواست در حال اجرا. اولی یک گراف را بازپخش کرد، دومی به‌صورت مشتاق اجرا شد.

همروندی میانه‌ی TPOT با گراف / بدون گراف توکن خروجی بر ثانیه با / بدون صدک 99 تاخیر بین توکن‌ها با / بدون
1 60.15 / 60.64 ms 13.93 / 14.67 104 / 104 ms
8 66.01 / 66.60 ms 112.60 / 111.67 70 / 68 ms
16 70.08 / 70.59 ms 201.21 / 200.16 80 / 73 ms
32 95.65 / 94.12 ms 270.61 / 270.81 103 / 87 ms
64 (یادداشت زیر را ببینید) 103.39 / 103.12 ms 264.10 / 265.30 109 / 90 ms

سرورهای L4 گراف‌های رمزگشایی را فقط تا 48 درخواست فعال ضبط کرده بودند. در 64 کاربر، دسته‌های بزرگ‌تر از 48 روی هر دو سرور به صورت ایگر اجرا شدند؛ بنابراین ردیف آخر تاثیری از گراف را اندازه نمی‌گیرد.

ما این نتایج را ثبت کردیم: روی L4 نیز تفاوت اندک بود. تا 16 کاربر، گراف‌ها تنها 0.5 تا 0.7 میلی‌ثانیه از یک گامِ 60 تا 70 میلی‌ثانیه‌ای را صرفه‌جویی کردند (حدود 1 درصد). نرخ پردازش از 2 کاربر به بالا در بازه‌ی اختلافیِ 1.2 درصد بود و در 1 کاربر، 5 درصد تفاوت داشت.

در 16 و 32 کاربر، سرور بدون گراف صدک 99 تاخیر بین توکن‌ها (P99 ITL) کمتری داشت و این مسئله در تمام سیدها بدون هیچ همپوشانی (overlap) تکرار شد: 73 در برابر 80 میلی‌ثانیه و 87 در برابر 103 میلی‌ثانیه. هر دو سرور در این اندازه‌های دسته گراف‌ها را بازپخش می‌کردند. ما هنوز سازوکار مشخصی برای این اختلاف نیافته‌ایم؛ بنابراین فقط آن را گزارش می‌کنیم و توضیحی برایش نمی‌آوریم.

روی GB10 در همان روز چنین اختلافی دیده نشد؛ P99 ITL با و بدون گراف در تمام همروندی‌ها زیر 7 درصد، و میانه‌ی TPOT زیر 2 درصد اختلاف داشت.

برداشت ما: یک گام از یک مدل 8B در دسته‌ی 1، حدود 16 گیگابایت وزن را از حافظه می‌خواند. زمانی که گراف از هزینه‌ی فراخوانی کم می‌کند در مقایسه با این خواندن ناچیز است.

شبیه‌ساز Inside an LLM Serving GPU یک گام رمزگشایی روی L4 را به صورت خواندن وزن‌ها و سپس پردازش پس از آن نشان می‌دهد. این لینک همان اجرا را بدون گراف و با یک کاربر باز می‌کند. دستورات فراخوانی باید برای هر کرنل از PCIe عبور کنند؛ در جفت اول آزمایش‌های ما، زمان گام به اندازه‌ی 0.47 میلی‌ثانیه بیشتر شد و به 60.63 میلی‌ثانیه رسید.

موضع ما

گراف‌های CUDA را روشن بگذارید و ابعاد آن‌ها را متناسب با ترافیک خود تعیین کنید. مقدار پیش‌فرض max_bs برای همروندی‌های متوسط مناسب است. اگر بنچمارک شما یا ترافیک زمان اوج در محیط عملیاتی (production) درخواست‌های بیشتری دارد، قبل از اندازه‌گیری، مقادیر --cuda-graph-max-bs-decode و --max-running-requests را متناسب با هدف خود تنظیم کنید. دستورالعمل‌های ارائه‌شده توسط SemiAnalysis InferenceX {{field InferenceX 2026-05}}، هر دوی این مقادیر را بر اساس همروندی مورد تست به دست می‌آورند.

انتظار نداشته باشید گراف‌ها در هر سیستمی سرعت رمزگشایی کند را متحول کنند. روی GB10، یک گام رمزگشایی مدل ترکیبی از متخصصان ده‌ها میلی‌ثانیه طول می‌کشد و گراف‌ها آن را 3 درصد یا کمتر تغییر دادند. روی L4 با یک مدل متراکم 8B، حدود 1 درصد صرفه‌جویی حاصل شد؛ حتی در 16 و 32 کاربر، بدترین فاصله‌ی بین توکن‌ها بدون استفاده از گراف کوتاه‌تر بود. همیشه قبل از اینکه مشکل را به گردن مسیر فراخوانی بیندازید، میانه و داده‌های دم توزیع را هم با گراف و هم بدون آن بسنجید.

برای حل مشکل حافظه، گراف‌ها را خاموش نکنید. اگر فرایند ضبط با کمبود حافظه مواجه شد، مقادیر --cuda-graph-max-bs-decode یا --mem-fraction-static را کاهش دهید. سروری که از گراف‌های رمزگشایی استفاده نمی‌کند، باید به ازای هر توکن برای هر کاربر هزینه‌ی زمانی فراخوانی‌ها را بپردازد.

در نسخه‌ی v0.5.22 نام دو فلگ تغییر کرده است و دستورالعمل‌های قدیمی با آن‌ها از کار می‌افتند. فلگ --disable-cuda-graph هنوز کار می‌کند، اما متن راهنما آن را منسوخ‌شده علامت زده است.

فلگ منسوخ‌شده گراف در sglang serve --help capture/out/serve-help.txt
  --disable-cuda-graph  Deprecated. Use --cuda-graph-
                        backend-{decode,prefill}=disabled instead.

دو خط از فلگ‌های منسوخ‌شده در انتهای متن راهنما.

فلگ --cuda-graph-max-bs دیگر وجود ندارد. این فلگ را به آرگومان‌پارسرِ نسخه‌ی v0.5.22 دادیم و با این خطا خارج شد: ambiguous option: --cuda-graph-max-bs could match --cuda-graph-max-bs-decode, --cuda-graph-max-bs-prefill.

رخدادها

کمبود حافظه در مرحله‌ی ضبط با اتنشن موازی داده. ایشوی شماره #23769 (تاریخ 2026-04-26): اجرای مدل DeepSeek-V4-Pro-FP8 روی دو نود با هشت H200 در جریان ضبط گراف متوقف شد. با اتنشن موازی داده، اندازه‌ی دسته‌ی گراف به ازای هر رتبه شمرده می‌شود؛ بنابراین گراف‌های ضبط‌شده بزرگ‌تر از نیاز ترافیک بودند. راه‌حل، کوچک‌تر کردن اندازه‌ی دسته‌ی گراف یا کاهش مقدار --mem-fraction-static بود.

تغییر نام یک فیلد و شکست API پایتون. ایشوی شماره #36478 (تاریخ 2026-08-26): دستور sgl.Engine(..., disable_piecewise_cuda_graph=True) خطای TypeError داد، در حالی که فلگ خط فرمان همچنان کار می‌کرد. در PR #23906 این فیلد در پیکربندی گراف مربوط به هر فاز ادغام شد و تنها نام مستعار خط فرمان باقی ماند. راه‌حل استفاده از cuda_graph_backend_prefill="disabled" است.

نیاز GPU جدید به حالت ایگر. گزارش میدانیِ joshua8.ai {{field joshua8 2026-01}} مربوط به اجرای SGLang روی یک RTX PRO 6000 با معماری Blackwell (SM120) بود. این اجرا برای بالا آمدن کلاً به فلگ --disable-cuda-graph نیاز داشت. روی معماری‌های جدید، قبل از مقایسه‌ی موتورها مطمئن شوید که ضبط گراف درست کار می‌کند.

منابع: capture/out/server-default.log، capture/out/serve-help.txt، capture/gpu/out-gb10/server-default.log، capture/gpu/out-gb10/server-no-cuda-graph.log، capture/gpu/summary/gb10.json، capture/gpu/incidents/l4-thermal-throttle.txt، capture/gpu/out-l4/server-load-graphs-on-off.log، capture/gpu/summary/l4.json (شامل load.default، load.no-cuda-graph، load.graphs-on-b و load.graphs-off-b)، python/sglang/srt/model_executor/forward_batch_info.py (کلاس ForwardMode)، model_executor/model_runner.py (متد _forward_raw)، model_executor/cuda_graph_config.py (تابع default_prefill_backend)، model_executor/runner/decode_cuda_graph_runner.py (تابع can_run_graph)، arg_groups/memory_hook.py (تابع _handle_gpu_memory_settings)، arg_groups/cuda_graph_hook.py (تابع generate_decode_cuda_graph_batch_sizes) و server_args.py (فلگ‌های منسوخ‌شده) در نسخه‌ی v0.5.22؛ آرگومان‌پارسر پکیج نصب‌شده‌ی v0.5.22؛ پول ریکوئست‌های #23906، #29458، #37898 و #42285؛ ایشوهای شماره #23769 و #36478؛ گزارش‌های میدانی Hazy Research (2025-09-28)، Jarvislabs (2026-05-18)، joshua8.ai (2026-01-10) و SemiAnalysis InferenceX (2026-05-26)، capture/gpu/out-l4/graphs-sameday-starts.log، capture/gpu/out-gb10/cuda-graph-max-bs-ambiguous.txt.

ترجمه‌ی فارسی ForwardMode and CUDA graphs از راهنمای SGLang 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما