بخش 4.5 · قابلیت‌های شتاب‌دهنده و سرعت

تغییر بک‌اند اتنشن فقط با دلیلی موجه

Change the attention backend only for a reason

فهرست مطالب
  1. مشاهده‌ی بک‌اند انتخابی vLLM
  2. شناخت ترتیبی که vLLM امتحان می‌کند
  3. تأثیر کش کلید-مقدار با فرمت FP8 بر تغییر بک‌اند
  4. اجبار یک بک‌اند مشخص
  5. نتیجه‌ی آزمایش ما چه چیزی را نشان می‌دهد؟
  6. تصمیم‌گیری

ابزار vLLM خودش بک‌اند اتنشن (Attention backend) را متناسب با پردازنده‌ی گرافیکی شما انتخاب می‌کند؛ تنها در دو حالت دلیل موجهی برای بازنویسی و تغییر دستی آن دارید.

شاید در انجمنی خوانده باشید که فلان بک‌اند اتنشن سریع‌تر است. پس از خواندن این بخش، می‌توانید ببینید vLLM چه بک‌اندی را انتخاب کرده است و تصمیم بگیرید چه زمانی باید آن را تغییر دهید.

نتیجه‌ی آزمایش ما: روی پردازنده‌ی L4 ما، اجبار سیستم به استفاده از بک‌اند Triton راه‌اندازی ناموفقی را که با بک‌اند انتخابی خودِ vLLM رخ داده بود حل کرد.

مشاهده‌ی بک‌اند انتخابی vLLM

ابزار vLLM هنگام راه‌اندازی خطی را می‌نویسد که نام بک‌اند انتخابی و سایر بک‌اندهای قابل‌اجرا را مشخص می‌کند. لاگ را برای پیدا کردن آن جست‌وجو کنید:

grep "attention backend" server.log

روی سرور DGX Spark ما، با مدل Qwen3-30B-A3B و تنظیمات پیش‌فرض، این خط ثبت شد:

خط بک‌اند اتنشن روی DGX Spark ما capture/gpu/out-gb10/server-load-vllm.log
(EngineCore pid=143) INFO 10-21 10:53:17 [cuda.py:526] Using FLASH_ATTN attention backend out of potential backends: ['FLASH_ATTN', 'FLASHINFER', 'TRITON_ATTN', 'FLEX_ATTENTION'].

این فهرست فقط شامل بک‌اندهایی است که می‌توانند با این مدل و این تنظیمات اجرا شوند، به همان ترتیبی که vLLM آن‌ها را امتحان می‌کند.

شناخت ترتیبی که vLLM امتحان می‌کند

ابزار vLLM برای هر رده از پردازنده‌های گرافیکی، یک فهرست اولویت از بک‌اندها دارد. این ابزار هر بک‌اندی را که با مدل و تنظیمات شما اجرا نشود کنار می‌گذارد و اولین گزینه‌ی باقی‌مانده را انتخاب می‌کند. در vLLM 0.31.0 برای یک مدل استاندارد، ترتیب اولویت به این صورت است:

پردازنده‌ی گرافیکی نمونه‌ها ترتیب اولویت
SM 10.x B200، GB200 FlashInfer، FlashAttention، Triton، FlexAttention، TurboQuant
سایر پردازنده‌های گرافیکی NVIDIA L4 (SM 8.9)، H100 (SM 9.0)، DGX Spark (SM 12.1) FlashAttention، FlashInfer، Triton، FlexAttention، TurboQuant

دلایل حذف هر بک‌اند در لاگ دیباگ (Debug) ثبت می‌شود، نه لاگ اطلاعات (Info). برای دیدن آن‌ها، فهرست موجود در خطِ راه‌اندازی را با جدول بالا مقایسه کنید؛ هر بک‌اندی که در آن فهرست نیست، کنار گذاشته شده است.

تأثیر کش کلید-مقدار با فرمت FP8 بر تغییر بک‌اند

در vLLM 0.31.0، بک‌اند FlashAttention کش کلید-مقدار (KV cache) با فرمت FP8 را فقط روی پردازنده‌های SM 9.0 و خانواده‌ی SM 10.x می‌خواند. بنابراین روی L4 یا DGX Spark، تعیین --kv-cache-dtype fp8 بک‌اند را بدون هیچ هشداری تغییر می‌دهد. صفحه‌ی کش کلید-مقدار FP8 شرح می‌دهد که روی پردازنده‌ی L4 ما چه اتفاقی افتاد.

اجبار یک بک‌اند مشخص

بک‌اند موردنظرتان را با آرگومان --attention-backend مشخص کنید:

vllm serve Qwen/Qwen3-8B --kv-cache-dtype fp8 --attention-backend TRITON_ATTN

اگر بک‌اندی که تعیین کرده‌اید نتواند با مدل و تنظیمات شما اجرا شود، vLLM همان ابتدای راه‌اندازی با پیامی که علت خطا را می‌گوید متوقف می‌شود و سراغ بک‌اند دیگری نمی‌رود. بنابراین امتحان کردن یک بک‌اند اجباری خطری ندارد: یا کار می‌کند، یا همان لحظه متوقف می‌شود.

فلگ --block-size نیز ممکن است باعث حذف بک‌اندها شود. اگر این تنظیم بک‌اندی با اولویت بالاتر در فهرست را حذف کند، vLLM هشداری صادر کرده و نام آن بک‌اند را ذکر می‌کند.

نتیجه‌ی آزمایش ما چه چیزی را نشان می‌دهد؟

تنها اجرای ما با بک‌اند اجباری، بک‌اند و نوع داده‌ی کش کلید-مقدار را هم‌زمان تغییر داد؛ بنابراین نتیجه‌ی آن نشان نمی‌دهد کدام بک‌اند سریع‌تر است. ما روی هیچ‌یک از پردازنده‌های گرافیکی‌مان، بک‌اندها را با یک نوع داده‌ی کش یکسان مقایسه نکرده‌ایم.

تصمیم‌گیری

انتخاب بک‌اند را به خود vLLM بسپارید؛ فقط به یکی از این دو دلیل آن را دستی تغییر دهید:

  • راه‌اندازی مدل با بک‌اند انتخابی vLLM با شکست مواجه می‌شود، درست مثل اتفاقی که برای FlashInfer روی L4 ما افتاد.
  • روی بار کاری واقعی‌تان افت سرعت اندازه‌گیری کرده‌اید و بک‌اند دیگری با همان بار، مشکل را حل کرده است.

پستی در یک انجمن که می‌گوید بک‌اندی سریع‌تر است، پردازنده‌ی گرافیکی، مدل یا بار کاری متفاوتی را آزمایش کرده است. قبل از تغییر بک‌اند، آن را روی سیستم و بار کاری خودتان بسنجید.

منابع: capture/gpu/out-gb10/server-load-vllm.log، capture/gpu/incidents/l4-vllm-kv-fp8-flashinfer-attention-jit.txt، capture/gpu/summary/l4.json (load.vllm-fast-b، load.vllm-kv-fp8-triton)، سورس کد vLLM در نگارش v0.31.0 (vllm/platforms/cuda.py، vllm/v1/attention/backends/fa_utils.py، vllm/v1/attention/backends/flash_attn.py).

ترجمه‌ی فارسی Change the attention backend only for a reason از راهنمای vLLM 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما