بخش 2.4 · تعیین ابعاد و ظرفیت

پاسخ‌گویی به کاربران بیشتر با کش کلید-مقدار FP8

Fit more users with an FP8 KV cache

فهرست مطالب
  1. فعال‌سازی
  2. محاسبه‌ی دستاوردها
  3. رفع خطای راه‌اندازی روی L4
  4. بررسی نتایج آزمایش ما
  5. سنجش دقت
  6. اطمینان از بارگذاری مقیاس‌ها
  7. تغییرات پس از نسخه‌ی 0.31.0

کش کلید-مقدار (KV cache) از نوع FP8 ظرفیت نگهداری توکن‌ها را دو برابر می‌کند؛ علاوه بر این، روی کارت L4 موتور پشتیبان اتنشن (attention backend) را هم بدون هیچ هشداری تغییر می‌دهد.

سرور شما درخواست‌ها را صف‌بندی می‌کند، چون کش کلید-مقدار پر شده است. با پایان این بخش، می‌توانید فضای کش کلید-مقدار را دو برابر کنید و هزینه‌ی آن را از نظر سرعت و دقت بسنجید.

نتیجه‌ی ما: روی کارت L4 ما، اولین راه‌اندازی FP8 با خطا مواجه شد و موتور پشتیبان Triton مشکل را برطرف کرد. با ثابت نگه‌داشتن ظرفیت کش، سرعت تولید هر توکن برای یک کاربر 2.3 درصد بیشتر شد.

فعال‌سازی

کش کلید-مقدار به ازای هر لایه، هر هد و هر توکن دو مقدار ذخیره می‌کند. به‌صورت پیش‌فرض، vLLM این مقادیر را با همان نوع داده‌ی مدل ذخیره می‌کند؛ یعنی برای Qwen/Qwen3-8B از نوع داده‌ی BF16 و با حجم 2 بایت به ازای هر مقدار استفاده می‌کند. فرمت FP8 هر مقدار را در 1 بایت ذخیره می‌کند:

vllm serve Qwen/Qwen3-8B --kv-cache-dtype fp8

وزن‌های مدل همچنان در قالب BF16 باقی می‌مانند؛ فقط کش کلید-مقدار تغییر می‌کند.

محاسبه‌ی دستاوردها

فرمول ارائه‌شده در صفحه‌ی حافظه را با در نظر گرفتن 1 بایت به ازای هر مقدار به کار ببرید. برای مدل Qwen/Qwen3-8B، هر توکن در حالت BF16 به 144 کیبی‌بایت و در حالت FP8 به 72 کیبی‌بایت حافظه نیاز دارد.

توکن‌های کش کلید-مقدار در یک GiBبرای Qwen3-8B، یک GiB از کش کلید-مقدار حدود 7,300 توکن در فرمت BF16 و حدود 14,600 توکن در فرمت FP8 جا می‌دهد.
کش کلید-مقدار FP8 دو برابر توکن در هر GiB جا می‌دهد تعداد محاسبه‌شده‌ی توکن‌های کش کلید-مقدار قابل‌جای‌گیری در یک GiB برای Qwen3-8B با 36 لایه، 8 هد KV و اندازه هد 128. دقت BF16 از 2 بایت برای هر مقدار (144 KiB به ازای هر توکن) استفاده کرده و 7,281 توکن در هر GiB جا می‌دهد. دقت FP8 از 1 بایت برای هر مقدار (72 KiB به ازای هر توکن) استفاده کرده و 14,563 توکن در هر GiB جا می‌دهد. این اعداد از فرمول حاصل شده‌اند، نه از اجرا. 0 6,000 12,000 18,000 توکن‌های KV در هر GiB 7,281 BF16، 144 KiB به ازای هر توکن 14,563 FP8، 72 KiB به ازای هر توکن محاسبه‌شده از بایت بر توکن. در اجراهای ما تعداد بلوک‌ها ثابت بود.
این اعداد از بایت به ازای هر توکن به دست آمده‌اند، نه از یک اجرا. بر اساس پیکربندی مدل Qwen/Qwen3-8B.

همان مقدار حافظه می‌تواند دو برابر توکن نگه دارد. بنابراین با طول متن یکسان، تعداد کاربران هم‌زمان دو برابر می‌شود یا هر کاربر می‌تواند متنی با دو برابر طول قبلی داشته باشد.

رفع خطای راه‌اندازی روی L4

روی کارت L4 ما، اولین راه‌اندازی با --kv-cache-dtype fp8 شکست خورد. دلیل آن به موتور پشتیبان اتنشن مربوط می‌شود:

  1. vLLM روی کارت L4 ابتدا FlashAttention را امتحان می‌کند.
  2. ماژول FlashAttention در vLLM 0.31.0، کش کلید-مقدار FP8 را فقط روی پردازنده‌های گرافیکی دیتاسنتری معماری‌های Hopper و Blackwell می‌خواند. کارت L4 یک پردازنده‌ی گرافیکی بر پایه‌ی معماری Ada با SM 8.9 است.
  3. سپس vLLM سراغ FlashInfer می‌رود که موتور پشتیبان بعدی در فهرستش است.
  4. ماژول FlashInfer کرنل‌هایش را در اولین راه‌اندازی بیلد می‌کند. روی نود ما، این بیلد با خطا متوقف شد.
خطای بیلد FlashInfer روی کارت L4 ما capture/gpu/incidents/l4-vllm-kv-fp8-flashinfer-attention-jit.txt
(EngineCore pid=814129) INFO 10-22 09:11:03 [cuda.py:526] Using FLASHINFER attention backend out of potential backends: ['FLASHINFER', 'TRITON_ATTN'].
(EngineCore pid=814129) ERROR 10-22 09:11:53 [core.py:1433] /data/vllm/.venv/lib/python3.12/site-packages/flashinfer/data/cccl/libcudacxx/include/cuda/std/__cccl/cuda_toolkit.h:41:8: error: #error "CUDA compiler and CUDA toolkit headers are incompatible, please check your include paths"
RuntimeError: Engine core initialization failed. See root cause above. Failed core proc(s): {}

شروع FP8 ما در تاریخ 2026-10-22. ابزار vLLM از میان دو بک‌اند معتبر، FlashInfer را انتخاب کرد. بیلد کرنل پیش‌پرکنی FP8 آن با شکست مواجه شد، زیرا کامپایلر CUDA و هدرهای CUDA از نسخه‌های متفاوتی بودند.

نمونه‌گیر (sampler) مربوط به FlashInfer نیز روی این نود با خطایی مشابه در بیلد مواجه می‌شود. به همین دلیل، ابزار sweep ما vLLM را با متغیر VLLM_USE_FLASHINFER_SAMPLER=0 اجرا می‌کند.

موتور پشتیبان Triton را انتخاب کنید. این موتور کش کلید-مقدار FP8 را می‌خواند و نیازی به بیلد FlashInfer ندارد. ضمناً مانند ابزار sweep ما، نمونه‌گیر FlashInfer را هم خاموش کنید:

VLLM_USE_FLASHINFER_SAMPLER=0 vllm serve Qwen/Qwen3-8B --kv-cache-dtype fp8 --attention-backend TRITON_ATTN

صفحه‌ی موتور پشتیبان اتنشن توضیح می‌دهد که vLLM چطور موتور پشتیبان را انتخاب می‌کند.

بررسی نتایج آزمایش ما

ما عملکرد کش کلید-مقدار FP8 را همراه با موتور پشتیبان Triton در مقایسه با حالت پیش‌فرض BF16 روی کارت L4 خود با مدل Qwen/Qwen3-8B در تاریخ 2026-10-22 اندازه‌گیری کردیم. هر دو اجرا در نشست محدودشده (throttled)، با سناریوهای 1 و 32 کاربر انجام شدند.

در هر دو اجرا، ظرفیت کش توکن‌ها را به‌عنوان یک فضای ثابت روی 24,096 توکن نگه داشتیم. بنابراین، این آزمایش افزایش ظرفیت را نشان نمی‌دهد؛ بلکه فقط تغییرات سرعت را مشخص می‌کند.

کاربران، نشست محدودشده روی L4 میانه‌ی TPOT، حالت BF16 / FP8 توکن خروجی بر ثانیه، BF16 / FP8 میانه‌ی فرکانس SM، حالت BF16 / FP8 سیدها، BF16 / FP8
1 104.1 / 101.8 میلی‌ثانیه 10.59 / 10.75 210 / 210 مگاهرتز 3 / 2
32 142.7 / 138.0 میلی‌ثانیه 186.68 / 192.00 450 / 480 مگاهرتز 3 / 2

در حالت 1 کاربر، سرعت FP8 به ازای هر توکن در فرکانس برابر، 2.3 درصد بیشتر شد و بازه‌ی خروجی سیدها هم همپوشانی نداشت. در حالت 32 کاربر، بازه‌ی سیدها همپوشانی داشت و آزمون FP8 هم فرکانس هسته‌ی بالاتری ثبت کرد؛ بنابراین برای 32 کاربر ادعای بهبودی نداریم.

دو عامل هم‌زمان تغییر کردند: نوع داده‌ی کلید-مقدار و موتور پشتیبان. جدول مشخص نمی‌کند کدام‌یک منشأ این بهبود بوده است. پردازنده‌ی گرافیکی برای هر دو اجرا محدود شده بود؛ بنابراین به نسبت اعداد توجه کنید، نه زمان‌های خام.

سنجش دقت

در تاریخ 2026-10-23، تعداد 500 سؤال اول GSM8K را به‌صورت 8-shot و با نمونه‌گیری حریصانه (greedy) روی کارت L4 اجرا کردیم. مدل Qwen3-8B هیچ مقیاسی برای کلید-مقدار (KV scale) ندارد؛ بنابراین اجراهای FP8 از مقیاس 1.0 استفاده کردند. آزمون‌های FP8 نیز همان‌طور که در بالا گفته شد، با موتور پشتیبان Triton اجرا شدند.

دقت GSM8K، 500 سؤال، 8-shot، مدل Qwen3-8B روی vLLM 0.31.0 capture/gpu/out-l4/gsm8k-fp8-accuracy.txt
engine   config                     correct   accuracy   Wilson 95% interval
…
vLLM     BF16                       459/500   91.8%      89.1 to 93.9
vLLM     FP8 weights                453/500   90.6%      87.7 to 92.9
vLLM     FP8 KV cache               454/500   90.8%      87.9 to 93.0
vLLM     FP8 weights + FP8 KV       453/500   90.6%      87.7 to 92.9

سطرهای vLLM. سطرهای SGLang مربوط به همین فایل حذف شده‌اند.

تمام بازه‌ها با بازه‌ی BF16 همپوشانی دارند؛ بنابراین این اجرا تفاوتی نشان نداد. البته با 500 سؤال نمی‌توان افت چندصدمی یا چند امتیازی دقت را رد کرد. این فقط یک مدل و یک بنچمارک است؛ حتماً همین ارزیابی را روی مدل و وظیفه‌ی خودتان هم انجام دهید. مدلی با ساختار اتنشن متفاوت ممکن است افت دقت بیشتری داشته باشد.

پست وبلاگی «وضعیت کش کلید-مقدار FP8 و کوانتیزه‌سازی اتنشن در vLLM» در وبلاگ vLLM (آوریل 2026)، کش‌های کلید-مقدار FP8 کالیبره‌نشده را بررسی کرده است. نویسندگان آن از AWS و Red Hat هستند. در آزمایش‌های آن‌ها، دقت بیشتر مدل‌ها بسیار نزدیک به BF16 ماند، اما نه همه‌ی آن‌ها. آن‌ها از مدل Kimi-K2.5 که از موتور پشتیبان FlashMLA استفاده می‌کند، به‌عنوان مدلی نام برده‌اند که با مقیاس‌های کالیبره‌نشده عملکرد خوبی نداشت. ما خودمان این نتایج را اندازه‌گیری نکرده‌ایم.

اطمینان از بارگذاری مقیاس‌ها

چک‌پوینتی با مقیاس‌های کالیبره‌شده، همیشه از آن‌ها استفاده نمی‌کند. در نسخه‌ی 0.31.0، ایشوی 54623 گزارش می‌دهد که خانواده‌ی مدل‌های Qwen3.5 هرگز مقیاس‌های کلید-مقدار خود را بارگذاری نمی‌کنند. ایشوی 60333 نیز مشکل مشابهی را برای یک لودر پیش‌نویس MTP گزارش داده است. هر دو ایشو باز هستند.

ابتدا وجود مقیاس‌ها را در چک‌پوینت بررسی کنید. ایندکس وزن‌ها را در کش Hugging Face برای نام تنسورهایی که به k_scale یا v_scale ختم می‌شوند جست‌وجو کنید. نام پوشه‌ی مدل را به مدل خودتان تغییر دهید:

grep -oE '"[^"]*(k|v)_scale"' ~/.cache/huggingface/hub/models--Qwen--Qwen3-8B/snapshots/*/model.safetensors.index.json | head

نبود خروجی یعنی چک‌پوینت هیچ مقیاسی ندارد.

چک‌پوینتی که فقط یک فایل وزن دارد، ایندکس ندارد. برای چنین چک‌پوینتی، نام تنسورها را با پکیج پایتون safetensors لیست کنید.

سپس لاگ راه‌اندازی را بخوانید. هشدار Using KV cache scaling factor 1.0 یعنی vLLM از مقیاس 1.0 استفاده می‌کند. اگر چک‌پوینت مقیاس دارد ولی لاگ همچنان این هشدار را می‌دهد، لودر آن‌ها را کنار گذاشته است.

در پایان، پرامپت‌های خودتان را با و بدون FP8 اجرا کنید و پیش از رفتن به محیط عملیاتی، پاسخ‌ها را با هم بسنجید.

تغییرات پس از نسخه‌ی 0.31.0

نسخه‌ی 0.32.0 کش کلید-مقدار NVFP4 را روی پردازنده‌های گرافیکی SM 8.x و SM 12.x اضافه می‌کند که شامل L4 و GB10 می‌شود. این فرمت بایت‌های کمتری را به ازای هر توکن در مقایسه با FP8 ذخیره می‌کند. ما این مورد را آزمایش نکرده‌ایم.

منابع: capture/gpu/summary/l4.json (شامل load.vllm-fast-b و load.vllm-kv-fp8-triton)، capture/gpu/incidents/l4-vllm-kv-fp8-flashinfer-attention-jit.txt، capture/gpu/incidents/l4-vllm-flashinfer-jit.txt، سورس vLLM در v0.31.0 (فایل‌های vllm/platforms/cuda.py، vllm/v1/attention/backends/fa_utils.py و vllm/v1/attention/backends/triton_attn.py)، مستندات vLLM در v0.31.0 (مسیر docs/features/quantization/quantized_kvcache.md)، پست وبلاگ vLLM با عنوان The State of FP8 KV-Cache and Attention Quantization in vLLM (تاریخ 2026-04-22)، ایشوهای 54623 و 60333 در vLLM، یادداشت‌های انتشار v0.32.0 (کش کلید-مقدار NVFP4)، capture/gpu/out-l4/gsm8k-fp8-accuracy.txt.

ترجمه‌ی فارسی Fit more users with an FP8 KV cache از راهنمای vLLM 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما