در SGLang چندین کرنل اتنشن (Attention kernel) مختلف وجود دارد؛ چون هیچ کرنلی روی تمام مدلها و پردازندههای گرافیکی برنده نیست. انتخاب پیشفرض آن هم با در نظر گرفتن پسرفتهای عملکردی (Regressions) شکل گرفته است که کاربران دیگر قبلاً تاوانش را پس دادهاند.
در ژانویهی 2026، کاربری FlashInfer خود را ارتقا داد و مدل Qwen3-235B را روی پردازندههای گرافیکی H20 سرو کرد. میانهی تاخیر بین هر توکن (Inter-token latency) از 39.44 میلیثانیه به 283.52 میلیثانیه رسید؛ یعنی هفت برابر کندتر، بدون اینکه هیچ چیز دیگری در تنظیمات تغییر کرده باشد. کرنل FA3 در همان اجرا تاخیر 56.73 میلیثانیه را ثبت کرد. این گزارش در ایشوی (Issue) شمارهی 17411 آمده است و کدی که بکاند اتنشن شما را در نسخهی v0.5.22 تعیین میکند، هنوز به آن ارجاع میدهد.
پس از پایان این بخش، میتوانید بکاند انتخابی SGLang را برای مدل و پردازندهی گرافیکیتان نام ببرید و دلیلش را توضیح دهید. علاوه بر این، میتوانید پیشپرکنی (Prefill) و رمزگشایی (Decode) را میان دو بکاند مجزا تقسیم کنید و تصمیم بگیرید چه زمانی باید انتخاب پیشفرض را بازنویسی کنید.
بکاند اتنشن چیست؟
بکاند اتنشن (Attention backend): کلاسی است که محاسبات اتنشن را روی کش کلید-مقدار صفحهبندیشده (Paged KV cache) برای یک دسته (Batch) انجام میدهد. تمام بکاندها اینترفیس یکسانی را پیادهسازی میکنند. هر بکاند متادیتای مربوط به هر دسته مانند جدول صفحات و بافرهای شاخص را میسازد؛ وضعیت را برای ضبط و بازپخش گراف کودا (CUDA graph capture and replay) آماده میکند؛ و forward_extend را برای پیشپرکنی و forward_decode را برای رمزگشایی اجرا میکند.
کد مدل هیچوقت کرنلی را مستقیماً با نام صدا نمیزند. در عوض، هر لایهی اتنشن همان بکاندی را فراخوانی میکند که اجراکنندهی مدل (Model runner) در زمان راهاندازی ثبت کرده است. بنابراین، فقط با تغییر یک فلگ (Flag)، کرنل تمام لایههای تمام مدلها تغییر میکند.
در نسخهی v0.5.22، این فلگ 25 نام مختلف را میپذیرد. دو مورد از آنها نام مستعار هستند (nsa برای dsa و compressed برای dsv4)؛ بنابراین در کل 23 بکاند وجود دارد.
| بکاند | کاربرد |
|---|---|
flashinfer |
برای MHA و MLA صفحهبندیشده. از مقادیر چندگانهی دیکودینگ حدسی (Speculative topk) بزرگتر از 1 و اندازهی صفحات بزرگتر از 1 پشتیبانی میکند. گزینهی پیشفرض عمومی. |
fa3 |
همان FlashAttention 3 مخصوص Hopper. گزینهی پیشفرض روی Hopper. |
fa4 |
همان FlashAttention 4 مخصوص Blackwell. وقتی عرض هدهای K و V در مدل متفاوت باشد انتخاب میشود. |
trtllm_mha، trtllm_mla |
کرنلهای TensorRT-LLM از طریق FlashInfer، مخصوص Blackwell با معماریهای SM100 و SM103. |
flashmla، cutedsl_mla، tokenspeed_mla |
کرنلهای رمزگشایی برای مدلهای MLA مانند DeepSeek. |
dsa، dsv4، qsa، minicpm_* |
اتنشن تنک (Sparse attention) برای هر یک از خانوادههای مدلها. |
triton |
کرنلهای پرتابل Triton. گزینهی پیشفرض در شرایطی که FlashInfer امکان اجرای مدل را ندارد. |
torch_native، flex_attention |
مسیرهای ارجاع PyTorch. گزینهی torch_native روی Apple MPS و پردازندههای مرکزی ARM64 پیشفرض است. |
aiter، wave |
کرنلهای AMD ROCm. گزینهی aiter روی AMD برای MHA پیشفرض است. |
intel_amx، intel_xpu، ascend، hpc_ops |
پردازندههای x86 مجهز به AMX، پردازندههای گرافیکی Intel، پردازندههای هوش مصنوعی Huawei (NPU) و کرنلهای Tencent برای SM90. |
llada2_cfg_flashinfer |
نسخهای مخصوص مدلهای زبانی انتشار (Diffusion language model). |
راهکار بدیهی و دلیل شکست آن
راهحل بدیهی این است که بنچمارک را بخوانید، سریعترین کرنل را پیدا کنید و آن را روی تمام سرورها به کار ببرید. این راهکار شکست میخورد؛ چون هر بکاند محدودیتهایی دارد که در بنچمارک دیده نمیشوند.
برای نمونه، trtllm_mha اجرای دیکودینگ حدسی با topk بالاتر از 1 را رد میکند و روی SM120 هم اجرا نمیشود. FlashInfer توان اجرای مدلهای دارای سینک اتنشن (Attention sink) را ندارد. گزینهی fa4 اندازهی صفحهی پیشفرض 128 دارد. برخی بکاندها کش کلید-مقدار FP8 را میپذیرند و برخی نه. کرنلی که روی یک مدل و GPU برنده میشود، ممکن است روی گزینهی بعدی اصلاً بالا نیاید.
نحوهی انتخاب بکاند پیشفرض در SGLang
اگر پرچم --attention-backend را ارسال نکنید، در زمان راهاندازی، تابعی فراخوانی میشود که GPU، نوع اتنشنِ مدل و تنظیمات دیکودینگ حدسی شما را میخواند.
برای مدلهای MHA مانند Llama و Qwen، ترتیب اولویت به این صورت است:
- روی Hopper با CUDA نسخهی 12.3 یا بالاتر، بدون topk بالاتر از 1 در دیکودینگ حدسی، پیشفرض
fa3است. کامنتِ کد مستقیماً به ایشوی 17411 ارجاع میدهد. - روی Blackwell با مشخصات SM100 یا SM103، حالت پیشفرض
trtllm_mhaاست، و چنانچه عرض K و V ناهمسان باشد،fa4انتخاب میشود. - روی AMD حالت پیشفرض
aiterاست و روی Apple MPS گزینهیtorch_native. - در تمام حالتهای دیگر، اگر FlashInfer نصب باشد و مدل سینک اتنشن نداشته باشد،
flashinferپیشفرض خواهد بود؛ در غیر این صورتtriton.
برای مدلهای MLA مانند DeepSeek V3، پردازندههای Hopper بکاند fa3 و پردازندههای Blackwell بکاند flashinfer را دریافت میکنند. روی AMD، در صورتی که هر رتبه (Rank) شامل 16 یا 128 هد کلید-مقدار باشد، گزینهی aiter تنظیم میشود. سپس با یک بازنویسیِ تنظیمی برای مدل، DeepSeek V3 روی SM100 به trtllm_mla منتقل میشود.
در داکاسترینگ (Docstring) همین تابع آمده است که اگر اندازهی صفحه بیشتر از 1 باشد، از FA3 پرهیز میشود؛ اما کد اصلاً اندازهی صفحه را بررسی نمیکند. وقتی کامنت و کد با هم نخوانند، معیار همان چیزی است که اجرا میشود: یعنی کد.
اجرای همزمان دو بکاند در یک سرور
پیشپرکنی و رمزگشایی به بخشهای متفاوتی فشار میآورند. پیشپرکنی بلوکهای طولانی کوئری را میخواند، اما رمزگشایی یک کوئری را در برابر کشی طولانی ارزیابی میکند. فلگهای --prefill-attention-backend و --decode-attention-backend این دو فاز را جداگانه تعیین میکنند. اگر این دو با هم فرق داشته باشند، SGLang آنها را در یک بکاند ترکیبی میپیچد که بر اساس ForwardMode کارها را توزیع میکند. در حالت دیکودینگ حدسی، فلگ --speculative-attention-mode تعیین میکند کدامیک فاز اعتبارسنجی را اجرا کند؛ پیشفرض آن prefill است.
تناقض مستندات و کد
صفحهی مستندات بکاند اتنشن در نسخهی v0.5.22 هنوز Cutlass MLA و Dual Chunk FlashAttention را در فهرست خود دارد. پیآر (PR) شمارهی 32114 در تاریخ 2026-09-10 هر دو را حذف کرد و هیچکدام در این تگ گزینهی معتبری نیستند. همین صفحه میگوید Blackwell MHA از trtllm_mha استفاده میکند؛ در حالی که کد برای مدلهایی با عرض نامتقارن K و V گزینهی fa4 را برمیگزیند. در هر دو مورد، حرف اول را کد میزند و این راهنما هم بر اساس کد پیش میرود.
چه چیزی را بسنجیم؟
پیش از اجرای هر بنچمارکی، بکاند نهایی را از لاگ راهاندازی بخوانید. سپس فقط یک فلگ را تغییر دهید، همان بنچمارک را با ترافیک همزمان واقعیتان دوباره اجرا کنید و تاخیر بین هر توکن را در p50 و p99 مقایسه کنید. اتنشن تنها بخشی از یک گام رمزگشایی است؛ بنابراین یک کرنل سریعتر ممکن است اعداد نهایی سرتاسری (End-to-end) را کمتر از آنچه بنچمارک خودش نشان میدهد جابهجا کند.
در لاگهای سیستمیِ ما روی Mac، نرمافزار SGLang روی محیط اجرای MLX اجرا شد. آرگومانهای سرور روی torch_native تعیین میشوند، اما MLX مسیر اتنشن خودش را اجرا میکند؛ بنابراین هیچکدام از این بکاندها در آنجا اجرا نشدند.
نتایجی که روی یک L4 سنجیدیم
ما آزمون رفتوبرگشت بار در بخش 5.1 را با مدل Qwen/Qwen3-8B روی یک پردازندهی L4 اجرا کردیم؛ با سه سید تصادفی برای هر نقطه. سرور پیشفرض بکاند خود را روی flashinfer تعیین کرد و در تاریخ 2026-10-16 اجرا شد. سرور دوم با فلگ --attention-backend triton پیکربندی شد و در تاریخ 2026-10-18 اجرا گردید. هر دو سرور از همان استخر مشترک 24,094 توکن استفاده کردند و بازپخش گرافهای رمزگشایی را تا سقف 48 درخواست فعال پوشش دادند. در تمام تستها، کلاکِ میانه برای SMها روی 1,000 مگاهرتز یا بیشتر قرار داشت.
[2026-10-18 14:28:40] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 24094, K size: 1.65 GB, V size: 1.65 GB
[2026-10-18 16:11:42] Decode batch, #running-req: 33, #token: 20422, token usage: 0.85, cuda graph: True, gen throughput (token/s): 311.50, #queue-req: 0استخر حافظه هنگام راهاندازی، و یک سطر رمزگشایی در وضعیت 33 درخواست در حال اجرا.
| نرخ همزمانی | توکن خروجی بر ثانیه، flashinfer / triton | میانهی TPOT، بر حسب flashinfer / triton | میانهی TTFT، بر حسب flashinfer / triton |
|---|---|---|---|
| 1 | 13.42 / 13.94 | 60.16 / 59.98 میلیثانیه | 189 / 183 میلیثانیه |
| 8 | 112.62 / 112.90 | 66.01 / 65.83 میلیثانیه | 170 / 187 میلیثانیه |
| 32 | 270.11 / 270.91 | 96.18 / 96.99 میلیثانیه | 2,970 / 2,833 میلیثانیه |
| 64 | 250.85 / 257.29 | 107.42 / 107.76 میلیثانیه | 18,349 / 18,260 میلیثانیه |
نتیجهی سنجش ما یک برابری کامل در نرخ پردازش و زمان پردازش هر توکن بود. در تمام سطوح همزمانی، نرخ پردازش در محدودهی 4 درصد و میانهی زمان هر توکن با اختلافی کمتر از 1 میلیثانیه قرار داشت. میانهی TTFT تا 9 درصد در هر دو جهت اختلاف داشت که در همزمانیهای 2، 16 و 32 کاربر فراتر از پراکندگی ناشی از سیدها بود. این دو سرور با فاصلهی دو روز اجرا شدند. برداشت ما این است: در یک مدل متراکم (Dense) با ابعاد 8B و کانتکست زیر 1,000 توکن، کرنل اتنشن بخش کوچکی از هر گام است و سرعت را خواندن وزنها تعیین میکند.
دیدگاه ما
تا زمانی که با ترافیک واقعی خودتان بنچمارک نگرفتهاید، به --attention-backend دست نزنید. گزینهی پیشفرض بر اساس پسرفتهایی شکل گرفته که بقیهی کاربران پیدا کردهاند (مانند ایشوی 17411) و بازنویسیهای مدلها (مانند DeepSeek V3 روی SM100). همین ایشو روی دیگر سکه را هم نشان میدهد: کاربری که عملکرد را بسنجد، میتواند پیشفرضی را که با ارتقای کتابخانه خراب شده پشت سر بگذارد. ابتدا بنچمارک بگیرید، بعد بازنویسی کنید و دلیلتان را کنار فلگ بنویسید.
همیشه بکاندی را انتخاب کنید که از تمام امکانات موردنیازتان پشتیبانی کند، نه گزینهای را که فقط در یک میکروبنچمارک برنده شده است. دیکودینگ حدسی با topk بالاتر از 1، در صورتی که اندازهی صفحه بزرگتر از 1 باشد، به flashinfer، fa3 یا triton نیاز دارد.
رخدادها
ارتقای یک کتابخانه Hopper را هفت برابر کند کرد. ایشوی شمارهی 17411 (تاریخ 2026-01-20): ارتقا به FlashInfer 0.6.1 باعث پسرفت کارایی کرنل اتنشن Hopper شد. میانهی تاخیر بین هر توکن روی H20 از 39.44 میلیثانیه به 283.52 میلیثانیه رسید. SGLang دو روز بعد fa3 را به گزینهی پیشفرض Hopper MHA تبدیل کرد.
موتور دیگر گرافهایش را از دست داد. یک گزارش میدانی از Varad More {{field Varad More 2026-04}} نشان داد مدل Gemma 3 4B روی یک کارت A10G با SGLang نرخ 149 توکن بر ثانیه و با vLLM نرخ 84 توکن بر ثانیه را ثبت کرده است. علت این اختلاف خارج از سرعت اتنشن بود: vLLM این مدل را بهخاطر اتنشن پنجرهی لغزان (Sliding-window attention) درهمتنیدهاش، بدون گرافهای CUDA و با پرچم --enforce-eager اجرا کرد. مقایسهی بکاندها تنها زمانی منصفانه است که هر دو سرور گرافها را بازپخش کنند.
منابع: python/sglang/srt/arg_groups/model_override_base.py (تابع get_default_attn_backend)، arg_groups/choices.py (متغیر ATTENTION_BACKEND_CHOICES)، layers/attention/base_attn_backend.py، layers/attention/attention_registry.py، model_executor/model_runner_components/attention_backend_setup.py، arg_groups/fields/spec.py و docs/docs/advanced_features/attention_backend.mdx در نسخهی v0.5.22؛ پیآر شمارهی 32114؛ ایشوی 17411؛ گزارش میدانی Varad More (تاریخ 2026-04-22)؛ لاگهای capture/gpu/out-l4/server-load-triton.log و capture/gpu/summary/l4.json (شامل load.default و load.triton).