کش کلید-مقدار (KV cache) از نوع FP8 ظرفیت نگهداری توکنها را دو برابر میکند؛ علاوه بر این، روی کارت L4 موتور پشتیبان اتنشن (attention backend) را هم بدون هیچ هشداری تغییر میدهد.
سرور شما درخواستها را صفبندی میکند، چون کش کلید-مقدار پر شده است. با پایان این بخش، میتوانید فضای کش کلید-مقدار را دو برابر کنید و هزینهی آن را از نظر سرعت و دقت بسنجید.
نتیجهی ما: روی کارت L4 ما، اولین راهاندازی FP8 با خطا مواجه شد و موتور پشتیبان Triton مشکل را برطرف کرد. با ثابت نگهداشتن ظرفیت کش، سرعت تولید هر توکن برای یک کاربر 2.3 درصد بیشتر شد.
فعالسازی
کش کلید-مقدار به ازای هر لایه، هر هد و هر توکن دو مقدار ذخیره میکند. بهصورت پیشفرض، vLLM این مقادیر را با همان نوع دادهی مدل ذخیره میکند؛ یعنی برای Qwen/Qwen3-8B از نوع دادهی BF16 و با حجم 2 بایت به ازای هر مقدار استفاده میکند. فرمت FP8 هر مقدار را در 1 بایت ذخیره میکند:
vllm serve Qwen/Qwen3-8B --kv-cache-dtype fp8
وزنهای مدل همچنان در قالب BF16 باقی میمانند؛ فقط کش کلید-مقدار تغییر میکند.
محاسبهی دستاوردها
فرمول ارائهشده در صفحهی حافظه را با در نظر گرفتن 1 بایت به ازای هر مقدار به کار ببرید. برای مدل Qwen/Qwen3-8B، هر توکن در حالت BF16 به 144 کیبیبایت و در حالت FP8 به 72 کیبیبایت حافظه نیاز دارد.
همان مقدار حافظه میتواند دو برابر توکن نگه دارد. بنابراین با طول متن یکسان، تعداد کاربران همزمان دو برابر میشود یا هر کاربر میتواند متنی با دو برابر طول قبلی داشته باشد.
رفع خطای راهاندازی روی L4
روی کارت L4 ما، اولین راهاندازی با --kv-cache-dtype fp8 شکست خورد. دلیل آن به موتور پشتیبان اتنشن مربوط میشود:
- vLLM روی کارت L4 ابتدا FlashAttention را امتحان میکند.
- ماژول FlashAttention در vLLM 0.31.0، کش کلید-مقدار FP8 را فقط روی پردازندههای گرافیکی دیتاسنتری معماریهای Hopper و Blackwell میخواند. کارت L4 یک پردازندهی گرافیکی بر پایهی معماری Ada با SM 8.9 است.
- سپس vLLM سراغ FlashInfer میرود که موتور پشتیبان بعدی در فهرستش است.
- ماژول FlashInfer کرنلهایش را در اولین راهاندازی بیلد میکند. روی نود ما، این بیلد با خطا متوقف شد.
(EngineCore pid=814129) INFO 10-22 09:11:03 [cuda.py:526] Using FLASHINFER attention backend out of potential backends: ['FLASHINFER', 'TRITON_ATTN'].
(EngineCore pid=814129) ERROR 10-22 09:11:53 [core.py:1433] /data/vllm/.venv/lib/python3.12/site-packages/flashinfer/data/cccl/libcudacxx/include/cuda/std/__cccl/cuda_toolkit.h:41:8: error: #error "CUDA compiler and CUDA toolkit headers are incompatible, please check your include paths"
RuntimeError: Engine core initialization failed. See root cause above. Failed core proc(s): {}شروع FP8 ما در تاریخ 2026-10-22. ابزار vLLM از میان دو بکاند معتبر، FlashInfer را انتخاب کرد. بیلد کرنل پیشپرکنی FP8 آن با شکست مواجه شد، زیرا کامپایلر CUDA و هدرهای CUDA از نسخههای متفاوتی بودند.
نمونهگیر (sampler) مربوط به FlashInfer نیز روی این نود با خطایی مشابه در بیلد مواجه میشود. به همین دلیل، ابزار sweep ما vLLM را با متغیر VLLM_USE_FLASHINFER_SAMPLER=0 اجرا میکند.
موتور پشتیبان Triton را انتخاب کنید. این موتور کش کلید-مقدار FP8 را میخواند و نیازی به بیلد FlashInfer ندارد. ضمناً مانند ابزار sweep ما، نمونهگیر FlashInfer را هم خاموش کنید:
VLLM_USE_FLASHINFER_SAMPLER=0 vllm serve Qwen/Qwen3-8B --kv-cache-dtype fp8 --attention-backend TRITON_ATTN
صفحهی موتور پشتیبان اتنشن توضیح میدهد که vLLM چطور موتور پشتیبان را انتخاب میکند.
بررسی نتایج آزمایش ما
ما عملکرد کش کلید-مقدار FP8 را همراه با موتور پشتیبان Triton در مقایسه با حالت پیشفرض BF16 روی کارت L4 خود با مدل Qwen/Qwen3-8B در تاریخ 2026-10-22 اندازهگیری کردیم. هر دو اجرا در نشست محدودشده (throttled)، با سناریوهای 1 و 32 کاربر انجام شدند.
در هر دو اجرا، ظرفیت کش توکنها را بهعنوان یک فضای ثابت روی 24,096 توکن نگه داشتیم. بنابراین، این آزمایش افزایش ظرفیت را نشان نمیدهد؛ بلکه فقط تغییرات سرعت را مشخص میکند.
| کاربران، نشست محدودشده روی L4 | میانهی TPOT، حالت BF16 / FP8 | توکن خروجی بر ثانیه، BF16 / FP8 | میانهی فرکانس SM، حالت BF16 / FP8 | سیدها، BF16 / FP8 |
|---|---|---|---|---|
| 1 | 104.1 / 101.8 میلیثانیه | 10.59 / 10.75 | 210 / 210 مگاهرتز | 3 / 2 |
| 32 | 142.7 / 138.0 میلیثانیه | 186.68 / 192.00 | 450 / 480 مگاهرتز | 3 / 2 |
در حالت 1 کاربر، سرعت FP8 به ازای هر توکن در فرکانس برابر، 2.3 درصد بیشتر شد و بازهی خروجی سیدها هم همپوشانی نداشت. در حالت 32 کاربر، بازهی سیدها همپوشانی داشت و آزمون FP8 هم فرکانس هستهی بالاتری ثبت کرد؛ بنابراین برای 32 کاربر ادعای بهبودی نداریم.
دو عامل همزمان تغییر کردند: نوع دادهی کلید-مقدار و موتور پشتیبان. جدول مشخص نمیکند کدامیک منشأ این بهبود بوده است. پردازندهی گرافیکی برای هر دو اجرا محدود شده بود؛ بنابراین به نسبت اعداد توجه کنید، نه زمانهای خام.
سنجش دقت
در تاریخ 2026-10-23، تعداد 500 سؤال اول GSM8K را بهصورت 8-shot و با نمونهگیری حریصانه (greedy) روی کارت L4 اجرا کردیم. مدل Qwen3-8B هیچ مقیاسی برای کلید-مقدار (KV scale) ندارد؛ بنابراین اجراهای FP8 از مقیاس 1.0 استفاده کردند. آزمونهای FP8 نیز همانطور که در بالا گفته شد، با موتور پشتیبان Triton اجرا شدند.
engine config correct accuracy Wilson 95% interval
…
vLLM BF16 459/500 91.8% 89.1 to 93.9
vLLM FP8 weights 453/500 90.6% 87.7 to 92.9
vLLM FP8 KV cache 454/500 90.8% 87.9 to 93.0
vLLM FP8 weights + FP8 KV 453/500 90.6% 87.7 to 92.9سطرهای vLLM. سطرهای SGLang مربوط به همین فایل حذف شدهاند.
تمام بازهها با بازهی BF16 همپوشانی دارند؛ بنابراین این اجرا تفاوتی نشان نداد. البته با 500 سؤال نمیتوان افت چندصدمی یا چند امتیازی دقت را رد کرد. این فقط یک مدل و یک بنچمارک است؛ حتماً همین ارزیابی را روی مدل و وظیفهی خودتان هم انجام دهید. مدلی با ساختار اتنشن متفاوت ممکن است افت دقت بیشتری داشته باشد.
پست وبلاگی «وضعیت کش کلید-مقدار FP8 و کوانتیزهسازی اتنشن در vLLM» در وبلاگ vLLM (آوریل 2026)، کشهای کلید-مقدار FP8 کالیبرهنشده را بررسی کرده است. نویسندگان آن از AWS و Red Hat هستند. در آزمایشهای آنها، دقت بیشتر مدلها بسیار نزدیک به BF16 ماند، اما نه همهی آنها. آنها از مدل Kimi-K2.5 که از موتور پشتیبان FlashMLA استفاده میکند، بهعنوان مدلی نام بردهاند که با مقیاسهای کالیبرهنشده عملکرد خوبی نداشت. ما خودمان این نتایج را اندازهگیری نکردهایم.
اطمینان از بارگذاری مقیاسها
چکپوینتی با مقیاسهای کالیبرهشده، همیشه از آنها استفاده نمیکند. در نسخهی 0.31.0، ایشوی 54623 گزارش میدهد که خانوادهی مدلهای Qwen3.5 هرگز مقیاسهای کلید-مقدار خود را بارگذاری نمیکنند. ایشوی 60333 نیز مشکل مشابهی را برای یک لودر پیشنویس MTP گزارش داده است. هر دو ایشو باز هستند.
ابتدا وجود مقیاسها را در چکپوینت بررسی کنید. ایندکس وزنها را در کش Hugging Face برای نام تنسورهایی که به k_scale یا v_scale ختم میشوند جستوجو کنید. نام پوشهی مدل را به مدل خودتان تغییر دهید:
grep -oE '"[^"]*(k|v)_scale"' ~/.cache/huggingface/hub/models--Qwen--Qwen3-8B/snapshots/*/model.safetensors.index.json | head
نبود خروجی یعنی چکپوینت هیچ مقیاسی ندارد.
چکپوینتی که فقط یک فایل وزن دارد، ایندکس ندارد. برای چنین چکپوینتی، نام تنسورها را با پکیج پایتون safetensors لیست کنید.
سپس لاگ راهاندازی را بخوانید. هشدار Using KV cache scaling factor 1.0 یعنی vLLM از مقیاس 1.0 استفاده میکند. اگر چکپوینت مقیاس دارد ولی لاگ همچنان این هشدار را میدهد، لودر آنها را کنار گذاشته است.
در پایان، پرامپتهای خودتان را با و بدون FP8 اجرا کنید و پیش از رفتن به محیط عملیاتی، پاسخها را با هم بسنجید.
تغییرات پس از نسخهی 0.31.0
نسخهی 0.32.0 کش کلید-مقدار NVFP4 را روی پردازندههای گرافیکی SM 8.x و SM 12.x اضافه میکند که شامل L4 و GB10 میشود. این فرمت بایتهای کمتری را به ازای هر توکن در مقایسه با FP8 ذخیره میکند. ما این مورد را آزمایش نکردهایم.
منابع: capture/gpu/summary/l4.json (شامل load.vllm-fast-b و load.vllm-kv-fp8-triton)، capture/gpu/incidents/l4-vllm-kv-fp8-flashinfer-attention-jit.txt، capture/gpu/incidents/l4-vllm-flashinfer-jit.txt، سورس vLLM در v0.31.0 (فایلهای vllm/platforms/cuda.py، vllm/v1/attention/backends/fa_utils.py و vllm/v1/attention/backends/triton_attn.py)، مستندات vLLM در v0.31.0 (مسیر docs/features/quantization/quantized_kvcache.md)، پست وبلاگ vLLM با عنوان The State of FP8 KV-Cache and Attention Quantization in vLLM (تاریخ 2026-04-22)، ایشوهای 54623 و 60333 در vLLM، یادداشتهای انتشار v0.32.0 (کش کلید-مقدار NVFP4)، capture/gpu/out-l4/gsm8k-fp8-accuracy.txt.