بخش 4.2 · هر گذر رو به جلو

‎--attention-backend

--attention-backend

فهرست مطالب
  1. بک‌اند اتنشن چیست؟
  2. راهکار بدیهی و دلیل شکست آن
  3. نحوه‌ی انتخاب بک‌اند پیش‌فرض در SGLang
  4. اجرای هم‌زمان دو بک‌اند در یک سرور
  5. تناقض مستندات و کد
  6. چه چیزی را بسنجیم؟
  7. نتایجی که روی یک L4 سنجیدیم
  8. دیدگاه ما
  9. رخدادها

در SGLang چندین کرنل اتنشن (Attention kernel) مختلف وجود دارد؛ چون هیچ کرنلی روی تمام مدل‌ها و پردازنده‌های گرافیکی برنده نیست. انتخاب پیش‌فرض آن هم با در نظر گرفتن پسرفت‌های عملکردی (Regressions) شکل گرفته است که کاربران دیگر قبلاً تاوانش را پس داده‌اند.

در ژانویه‌ی 2026، کاربری FlashInfer خود را ارتقا داد و مدل Qwen3-235B را روی پردازنده‌های گرافیکی H20 سرو کرد. میانه‌ی تاخیر بین هر توکن (Inter-token latency) از 39.44 میلی‌ثانیه به 283.52 میلی‌ثانیه رسید؛ یعنی هفت برابر کندتر، بدون اینکه هیچ چیز دیگری در تنظیمات تغییر کرده باشد. کرنل FA3 در همان اجرا تاخیر 56.73 میلی‌ثانیه را ثبت کرد. این گزارش در ایشوی (Issue) شماره‌ی 17411 آمده است و کدی که بک‌اند اتنشن شما را در نسخه‌ی v0.5.22 تعیین می‌کند، هنوز به آن ارجاع می‌دهد.

پس از پایان این بخش، می‌توانید بک‌اند انتخابی SGLang را برای مدل و پردازنده‌ی گرافیکی‌تان نام ببرید و دلیلش را توضیح دهید. علاوه بر این، می‌توانید پیش‌پرکنی (Prefill) و رمزگشایی (Decode) را میان دو بک‌اند مجزا تقسیم کنید و تصمیم بگیرید چه زمانی باید انتخاب پیش‌فرض را بازنویسی کنید.

بک‌اند اتنشن چیست؟

بک‌اند اتنشن (Attention backend): کلاسی است که محاسبات اتنشن را روی کش کلید-مقدار صفحه‌بندی‌شده (Paged KV cache) برای یک دسته (Batch) انجام می‌دهد. تمام بک‌اندها اینترفیس یکسانی را پیاده‌سازی می‌کنند. هر بک‌اند متادیتای مربوط به هر دسته مانند جدول صفحات و بافرهای شاخص را می‌سازد؛ وضعیت را برای ضبط و بازپخش گراف کودا (CUDA graph capture and replay) آماده می‌کند؛ و forward_extend را برای پیش‌پرکنی و forward_decode را برای رمزگشایی اجرا می‌کند.

کد مدل هیچ‌وقت کرنلی را مستقیماً با نام صدا نمی‌زند. در عوض، هر لایه‌ی اتنشن همان بک‌اندی را فراخوانی می‌کند که اجراکننده‌ی مدل (Model runner) در زمان راه‌اندازی ثبت کرده است. بنابراین، فقط با تغییر یک فلگ (Flag)، کرنل تمام لایه‌های تمام مدل‌ها تغییر می‌کند.

در نسخه‌ی v0.5.22، این فلگ 25 نام مختلف را می‌پذیرد. دو مورد از آن‌ها نام مستعار هستند (nsa برای dsa و compressed برای dsv4)؛ بنابراین در کل 23 بک‌اند وجود دارد.

بک‌اند کاربرد
flashinfer برای MHA و MLA صفحه‌بندی‌شده. از مقادیر چندگانه‌ی دیکودینگ حدسی (Speculative topk) بزرگ‌تر از 1 و اندازه‌ی صفحات بزرگ‌تر از 1 پشتیبانی می‌کند. گزینه‌ی پیش‌فرض عمومی.
fa3 همان FlashAttention 3 مخصوص Hopper. گزینه‌ی پیش‌فرض روی Hopper.
fa4 همان FlashAttention 4 مخصوص Blackwell. وقتی عرض هدهای K و V در مدل متفاوت باشد انتخاب می‌شود.
trtllm_mha، trtllm_mla کرنل‌های TensorRT-LLM از طریق FlashInfer، مخصوص Blackwell با معماری‌های SM100 و SM103.
flashmla، cutedsl_mla، tokenspeed_mla کرنل‌های رمزگشایی برای مدل‌های MLA مانند DeepSeek.
dsa، dsv4، qsa، minicpm_* اتنشن تنک (Sparse attention) برای هر یک از خانواده‌های مدل‌ها.
triton کرنل‌های پرتابل Triton. گزینه‌ی پیش‌فرض در شرایطی که FlashInfer امکان اجرای مدل را ندارد.
torch_native، flex_attention مسیرهای ارجاع PyTorch. گزینه‌ی torch_native روی Apple MPS و پردازنده‌های مرکزی ARM64 پیش‌فرض است.
aiter، wave کرنل‌های AMD ROCm. گزینه‌ی aiter روی AMD برای MHA پیش‌فرض است.
intel_amx، intel_xpu، ascend، hpc_ops پردازنده‌های x86 مجهز به AMX، پردازنده‌های گرافیکی Intel، پردازنده‌های هوش مصنوعی Huawei (NPU) و کرنل‌های Tencent برای SM90.
llada2_cfg_flashinfer نسخه‌ای مخصوص مدل‌های زبانی انتشار (Diffusion language model).

راهکار بدیهی و دلیل شکست آن

راه‌حل بدیهی این است که بنچمارک را بخوانید، سریع‌ترین کرنل را پیدا کنید و آن را روی تمام سرورها به کار ببرید. این راهکار شکست می‌خورد؛ چون هر بک‌اند محدودیت‌هایی دارد که در بنچمارک دیده نمی‌شوند.

برای نمونه، trtllm_mha اجرای دیکودینگ حدسی با topk بالاتر از 1 را رد می‌کند و روی SM120 هم اجرا نمی‌شود. FlashInfer توان اجرای مدل‌های دارای سینک اتنشن (Attention sink) را ندارد. گزینه‌ی fa4 اندازه‌ی صفحه‌ی پیش‌فرض 128 دارد. برخی بک‌اندها کش کلید-مقدار FP8 را می‌پذیرند و برخی نه. کرنلی که روی یک مدل و GPU برنده می‌شود، ممکن است روی گزینه‌ی بعدی اصلاً بالا نیاید.

نحوه‌ی انتخاب بک‌اند پیش‌فرض در SGLang

اگر پرچم --attention-backend را ارسال نکنید، در زمان راه‌اندازی، تابعی فراخوانی می‌شود که GPU، نوع اتنشنِ مدل و تنظیمات دیکودینگ حدسی شما را می‌خواند.

بک‌اند پیش‌فرض اتنشن در v0.5.22فریم‌ورک SGLang بک‌اند اتنشن را بر اساس نسل GPU و نوع اتنشن مدل انتخاب می‌کند، و هر branch یک محدودیت اندازه‌گیری‌شده را ثبت می‌کند.
بک‌اند پیش‌فرض اتنشن در v0.5.22 یک درخت تصمیم. نوع اتنشن مدل به MHA در سمت چپ و MLA در سمت راست تقسیم می‌شود. برای MHA: هاپر با CUDA 12.3 به‌دلیل issue 17411 مقدار fa3 را می‌دهد، بلک‌ول SM100 مقدار trtllm_mha یا fa4 را برای عرض‌های نابرابر K و V می‌دهد، معماری AMD مقدار aiter را می‌دهد، اپل MPS مقدار torch_native را می‌دهد و هر GPU دیگری flashinfer، یا در صورت وجود سینک اتنشن در مدل، triton را انتخاب می‌کند. برای MLA: هاپر مقدار fa3، بلک‌ول مقدار flashinfer (که DeepSeek V3 آن را به trtllm_mla تغییر می‌دهد)، پردازنده AMD برای 16 یا 128 هد KV مقدار aiter، و بقیه triton را برمی‌گردانند. get_default_attn_backend بدون تعیین --attention-backend مدل MHA Llama، Qwen، Gemma مدل MLA DeepSeek V3، GLM MoE Hopper fa3 issue 17411 Blackwell SM100 trtllm_mha fa4 برای K و V نابرابر AMD ROCm aiter همه مدل‌های MHA Apple MPS torch_native PyTorch SDPA سایر GPUها flashinfer triton با سینک‌ها Hopper fa3 مشابه MHA Blackwell SM100 flashinfer override در DeepSeek V3 AMD ROCm aiter اگر 16 یا 128 هد KV باشد Apple MPS torch_native PyTorch SDPA سایر GPUها triton کرنل‌های پرتابل
از بالا به پایین بخوانید. مدل‌های MHA مسیر چپ و مدل‌های MLA مسیر راست را دنبال می‌کنند. منظور از Hopper نسخه CUDA 12.3 یا جدیدتر است. برگرفته از get_default_attn_backend در v0.5.22.

برای مدل‌های MHA مانند Llama و Qwen، ترتیب اولویت به این صورت است:

  1. روی Hopper با CUDA نسخه‌ی 12.3 یا بالاتر، بدون topk بالاتر از 1 در دیکودینگ حدسی، پیش‌فرض fa3 است. کامنتِ کد مستقیماً به ایشوی 17411 ارجاع می‌دهد.
  2. روی Blackwell با مشخصات SM100 یا SM103، حالت پیش‌فرض trtllm_mha است، و چنانچه عرض K و V ناهمسان باشد، fa4 انتخاب می‌شود.
  3. روی AMD حالت پیش‌فرض aiter است و روی Apple MPS گزینه‌ی torch_native.
  4. در تمام حالت‌های دیگر، اگر FlashInfer نصب باشد و مدل سینک اتنشن نداشته باشد، flashinfer پیش‌فرض خواهد بود؛ در غیر این صورت triton.

برای مدل‌های MLA مانند DeepSeek V3، پردازنده‌های Hopper بک‌اند fa3 و پردازنده‌های Blackwell بک‌اند flashinfer را دریافت می‌کنند. روی AMD، در صورتی که هر رتبه (Rank) شامل 16 یا 128 هد کلید-مقدار باشد، گزینه‌ی aiter تنظیم می‌شود. سپس با یک بازنویسیِ تنظیمی برای مدل، DeepSeek V3 روی SM100 به trtllm_mla منتقل می‌شود.

در داک‌استرینگ (Docstring) همین تابع آمده است که اگر اندازه‌ی صفحه بیشتر از 1 باشد، از FA3 پرهیز می‌شود؛ اما کد اصلاً اندازه‌ی صفحه را بررسی نمی‌کند. وقتی کامنت و کد با هم نخوانند، معیار همان چیزی است که اجرا می‌شود: یعنی کد.

اجرای هم‌زمان دو بک‌اند در یک سرور

پیش‌پرکنی و رمزگشایی به بخش‌های متفاوتی فشار می‌آورند. پیش‌پرکنی بلوک‌های طولانی کوئری را می‌خواند، اما رمزگشایی یک کوئری را در برابر کشی طولانی ارزیابی می‌کند. فلگ‌های --prefill-attention-backend و --decode-attention-backend این دو فاز را جداگانه تعیین می‌کنند. اگر این دو با هم فرق داشته باشند، SGLang آن‌ها را در یک بک‌اند ترکیبی می‌پیچد که بر اساس ForwardMode کارها را توزیع می‌کند. در حالت دیکودینگ حدسی، فلگ --speculative-attention-mode تعیین می‌کند کدام‌یک فاز اعتبارسنجی را اجرا کند؛ پیش‌فرض آن prefill است.

تناقض مستندات و کد

صفحه‌ی مستندات بک‌اند اتنشن در نسخه‌ی v0.5.22 هنوز Cutlass MLA و Dual Chunk FlashAttention را در فهرست خود دارد. پی‌آر (PR) شماره‌ی 32114 در تاریخ 2026-09-10 هر دو را حذف کرد و هیچ‌کدام در این تگ گزینه‌ی معتبری نیستند. همین صفحه می‌گوید Blackwell MHA از trtllm_mha استفاده می‌کند؛ در حالی که کد برای مدل‌هایی با عرض نامتقارن K و V گزینه‌ی fa4 را برمی‌گزیند. در هر دو مورد، حرف اول را کد می‌زند و این راهنما هم بر اساس کد پیش می‌رود.

چه چیزی را بسنجیم؟

پیش از اجرای هر بنچمارکی، بک‌اند نهایی را از لاگ راه‌اندازی بخوانید. سپس فقط یک فلگ را تغییر دهید، همان بنچمارک را با ترافیک هم‌زمان واقعی‌تان دوباره اجرا کنید و تاخیر بین هر توکن را در p50 و p99 مقایسه کنید. اتنشن تنها بخشی از یک گام رمزگشایی است؛ بنابراین یک کرنل سریع‌تر ممکن است اعداد نهایی سرتاسری (End-to-end) را کمتر از آنچه بنچمارک خودش نشان می‌دهد جا‌به‌جا کند.

در لاگ‌های سیستمیِ ما روی Mac، نرم‌افزار SGLang روی محیط اجرای MLX اجرا شد. آرگومان‌های سرور روی torch_native تعیین می‌شوند، اما MLX مسیر اتنشن خودش را اجرا می‌کند؛ بنابراین هیچ‌کدام از این بک‌اندها در آنجا اجرا نشدند.

نتایجی که روی یک L4 سنجیدیم

ما آزمون رفت‌وبرگشت بار در بخش 5.1 را با مدل Qwen/Qwen3-8B روی یک پردازنده‌ی L4 اجرا کردیم؛ با سه سید تصادفی برای هر نقطه. سرور پیش‌فرض بک‌اند خود را روی flashinfer تعیین کرد و در تاریخ 2026-10-16 اجرا شد. سرور دوم با فلگ --attention-backend triton پیکربندی شد و در تاریخ 2026-10-18 اجرا گردید. هر دو سرور از همان استخر مشترک 24,094 توکن استفاده کردند و بازپخش گراف‌های رمزگشایی را تا سقف 48 درخواست فعال پوشش دادند. در تمام تست‌ها، کلاکِ میانه برای SMها روی 1,000 مگاهرتز یا بیشتر قرار داشت.

سرور Triton زیر بار کاری capture/gpu/out-l4/server-load-triton.log
[2026-10-18 14:28:40] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 24094, K size: 1.65 GB, V size: 1.65 GB
[2026-10-18 16:11:42] Decode batch, #running-req: 33, #token: 20422, token usage: 0.85, cuda graph: True, gen throughput (token/s): 311.50, #queue-req: 0

استخر حافظه هنگام راه‌اندازی، و یک سطر رمزگشایی در وضعیت 33 درخواست در حال اجرا.

نرخ هم‌زمانی توکن خروجی بر ثانیه، flashinfer / triton میانه‌ی TPOT، بر حسب flashinfer / triton میانه‌ی TTFT، بر حسب flashinfer / triton
1 13.42 / 13.94 60.16 / 59.98 میلی‌ثانیه 189 / 183 میلی‌ثانیه
8 112.62 / 112.90 66.01 / 65.83 میلی‌ثانیه 170 / 187 میلی‌ثانیه
32 270.11 / 270.91 96.18 / 96.99 میلی‌ثانیه 2,970 / 2,833 میلی‌ثانیه
64 250.85 / 257.29 107.42 / 107.76 میلی‌ثانیه 18,349 / 18,260 میلی‌ثانیه

نتیجه‌ی سنجش ما یک برابری کامل در نرخ پردازش و زمان پردازش هر توکن بود. در تمام سطوح هم‌زمانی، نرخ پردازش در محدوده‌ی 4 درصد و میانه‌ی زمان هر توکن با اختلافی کمتر از 1 میلی‌ثانیه قرار داشت. میانه‌ی TTFT تا 9 درصد در هر دو جهت اختلاف داشت که در هم‌زمانی‌های 2، 16 و 32 کاربر فراتر از پراکندگی ناشی از سیدها بود. این دو سرور با فاصله‌ی دو روز اجرا شدند. برداشت ما این است: در یک مدل متراکم (Dense) با ابعاد 8B و کانتکست زیر 1,000 توکن، کرنل اتنشن بخش کوچکی از هر گام است و سرعت را خواندن وزن‌ها تعیین می‌کند.

دیدگاه ما

تا زمانی که با ترافیک واقعی خودتان بنچمارک نگرفته‌اید، به --attention-backend دست نزنید. گزینه‌ی پیش‌فرض بر اساس پسرفت‌هایی شکل گرفته که بقیه‌ی کاربران پیدا کرده‌اند (مانند ایشوی 17411) و بازنویسی‌های مدل‌ها (مانند DeepSeek V3 روی SM100). همین ایشو روی دیگر سکه را هم نشان می‌دهد: کاربری که عملکرد را بسنجد، می‌تواند پیش‌فرضی را که با ارتقای کتابخانه خراب شده پشت سر بگذارد. ابتدا بنچمارک بگیرید، بعد بازنویسی کنید و دلیلتان را کنار فلگ بنویسید.

همیشه بک‌اندی را انتخاب کنید که از تمام امکانات موردنیازتان پشتیبانی کند، نه گزینه‌ای را که فقط در یک میکروبنچمارک برنده شده است. دیکودینگ حدسی با topk بالاتر از 1، در صورتی که اندازه‌ی صفحه بزرگ‌تر از 1 باشد، به flashinfer، fa3 یا triton نیاز دارد.

رخدادها

ارتقای یک کتابخانه Hopper را هفت برابر کند کرد. ایشوی شماره‌ی 17411 (تاریخ 2026-01-20): ارتقا به FlashInfer 0.6.1 باعث پسرفت کارایی کرنل اتنشن Hopper شد. میانه‌ی تاخیر بین هر توکن روی H20 از 39.44 میلی‌ثانیه به 283.52 میلی‌ثانیه رسید. SGLang دو روز بعد fa3 را به گزینه‌ی پیش‌فرض Hopper MHA تبدیل کرد.

موتور دیگر گراف‌هایش را از دست داد. یک گزارش میدانی از Varad More {{field Varad More 2026-04}} نشان داد مدل Gemma 3 4B روی یک کارت A10G با SGLang نرخ 149 توکن بر ثانیه و با vLLM نرخ 84 توکن بر ثانیه را ثبت کرده است. علت این اختلاف خارج از سرعت اتنشن بود: vLLM این مدل را به‌خاطر اتنشن پنجره‌ی لغزان (Sliding-window attention) درهم‌تنیده‌اش، بدون گراف‌های CUDA و با پرچم --enforce-eager اجرا کرد. مقایسه‌ی بک‌اندها تنها زمانی منصفانه است که هر دو سرور گراف‌ها را بازپخش کنند.

منابع: python/sglang/srt/arg_groups/model_override_base.py (تابع get_default_attn_backend)، arg_groups/choices.py (متغیر ATTENTION_BACKEND_CHOICES)، layers/attention/base_attn_backend.py، layers/attention/attention_registry.py، model_executor/model_runner_components/attention_backend_setup.py، arg_groups/fields/spec.py و docs/docs/advanced_features/attention_backend.mdx در نسخه‌ی v0.5.22؛ پی‌آر شماره‌ی 32114؛ ایشوی 17411؛ گزارش میدانی Varad More (تاریخ 2026-04-22)؛ لاگ‌های capture/gpu/out-l4/server-load-triton.log و capture/gpu/summary/l4.json (شامل load.default و load.triton).

ترجمه‌ی فارسی --attention-backend از راهنمای SGLang 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما