این صفحه ترتیب اولویت انتخاب بکاند را برای هر رده از پردازندههای گرافیکی (GPU) توضیح میدهد و مشخص میکند اگر گزینه اول اجرا نشد، vLLM سراغ چه گزینهای میرود.
کرنل اتنشن (Attention kernel) تنها بخشی از گذر رو به جلو (forward pass) است که میان GPUهای مختلف بیشترین تغییر را دارد. وقتی این بخش را به پایان برسانید، میتوانید بکاند انتخابی vLLM روی GPU خود را پیشبینی کنید و توضیح دهید که چرا تغییر یک فلگ میتواند آن را جابهجا کند.
یک فهرست اولویت برای هر رده از GPUها
نسخه 0.31.0 فریمورک vLLM بیش از 30 بکاند اتنشن دارد. vLLM روی پردازندههای گرافیکی CUDA، یک فهرست مرتبشده را میپیماید و اولین بکاندی را که بتواند مدل را با تنظیمات شما اجرا کند، برمیگزیند. این فهرست برای مدلی با اتنشن استاندارد به شرح زیر است:
| GPU | ترتیب اولویت |
|---|---|
| پردازندههای گرافیکی دیتاسنتری بلکول (Blackwell) مانند B200 | FlashInfer، FlashAttention، Triton، FlexAttention، TurboQuant |
| تمام پردازندههای گرافیکی دیگر CUDA، شامل L4 و GB10 | FlashAttention، FlashInfer، Triton، FlexAttention، TurboQuant |
مدلهایی با اتنشن چندسر نهفته (Multi-head Latent Attention)، مانند خانواده DeepSeek، فهرستهای اختصاصی خود را دارند.
خود FlashAttention نیز چند نسخه دارد. vLLM روی پردازندههای هاپر (Hopper) از نسخه 3 و روی پردازندههای دیتاسنتری بلکول (در صورت پشتیبانی) از نسخه 4 استفاده میکند. بقیه GPUها از نسخه 2 استفاده میکنند؛ بنابراین هر دو پردازنده L4 و GB10 ما نسخه FlashAttention 2 را اجرا کردند. لاگ GB10 ما نام گزینه انتخابی و این فهرست را آورده است:
(EngineCore pid=143) INFO 10-21 10:53:17 [cuda.py:526] Using FLASH_ATTN attention backend out of potential backends: ['FLASH_ATTN', 'FLASHINFER', 'TRITON_ATTN', 'FLEX_ATTENTION'].vLLM نخستین ورودی فهرست را انتخاب کرد.
چرا یک فلگ باعث تغییر بکاند میشود؟
هر بکاند قابلیتهای تحت پشتیبانی خود را صراحتاً اعلام میکند: نوع داده کش کلید-مقدار (KV cache)، اندازه هد (Head size)، اندازه بلوک و حالتهای گراف CUDA. اگر در تنظیمات خود چیزی بخواهید که اولین بکاند از پس آن برنیاید، vLLM سراغ گزینه بعدی میرود.
کش کلید-مقدار با فرمت FP8 حالت رایج آن است. روی یک L4، بکاند FlashAttention 2 توانایی خواندن کش FP8 را ندارد. با تعیین --kv-cache-dtype fp8، vLLM از آن رد میشود و اگر FlashInfer نصب باشد، آن را انتخاب میکند؛ در غیر این صورت سراغ Triton میرود. در این حالت نتیجه تست FP8 شما همزمان اثر یک نوع داده جدید و یک کرنل جدید را میسنجد. همانطور که در صفحه کش کلید-مقدار FP8 میبینید، بیلد FlashInfer روی کارت L4 ما با شکست مواجه شد.
دلیل تفاوت در اولویتبندی چیست؟
برداشت ما این است: این اولویتبندی نشان میدهد هنگام تدوین فهرست، کدام کرنلها روی هر رده سریعتر بودهاند و بهتر تست شدهاند. FlashInfer کرنلهایی بهینهشده برای پردازندههای دیتاسنتری بلکول دارد؛ به همین دلیل در آنجا اولویت اول است. در ردههای قدیمیتر، FlashAttention سابقه بیشتری دارد. این فهرست صرفاً قضاوتی است که بین نسخههای مختلف تغییر میکند، نه یک قانون ثابت.
به همین دلیل راهنما تأکید میکند که بعد از هر بار راهاندازی و پس از هر تغییر فلگ، خط مربوط به بکاند را بررسی کنید. اگر دو اجرای مختلف از دو بکاند متفاوت استفاده کرده باشند، شما در واقع دو کرنل را با هم مقایسه کردهاید، نه تنظیمات را. فلگ --attention-backend یک بکاند را با نام اختصاصی آن در شمارشگر (enum)، مانند TRITON_ATTN، قفل و تثبیت میکند.
منابع: سورسکد vLLM در نسخه v0.31.0 (مسیرهای vllm/platforms/cuda.py، vllm/v1/attention/backends/registry.py، vllm/v1/attention/backends/fa_utils.py)، مستندات vLLM در نسخه v0.31.0 (مسیر docs/design/attention_backends.md)، ایشوی 60262 در vLLM، لاگ capture/gpu/out-gb10/server-load-vllm.log.