وزنهای FP8 حافظه را برای کش کلید-مقدار (KV cache) آزاد میکنند و تغییر سرعت پردازش هم به پشتیبانی GPU شما بستگی دارد.
مدل شما در حافظه جا میشود، اما استخر KV بسیار کوچکی برایش باقی میماند. پس از مطالعهی این بخش، میتوانید با همان سقف حافظه میان انتخاب چکپوینت BF16 یا FP8 تصمیم بگیرید.
نتیجهی بررسی ما: روی پردازندهی L4 با فرکانس قفلشده، چکپوینت FP8 در سناریوی 32 کاربر همزمان و با اندازهی استخر یکسان، 36 درصد خروجی بیشتری نسبت به BF16 تولید کرد.
انتخاب چکپوینت
چکپوینت FP8 بیشتر وزنها را بهجای 2 بایت در 1 بایت ذخیره میکند. بسیاری از سازندگان مدل، چنین چکپوینتی را در کنار مدل اصلی BF16 منتشر میکنند. برای نمونه در مدل Qwen/Qwen3-8B، چکپوینت FP8 با نام Qwen/Qwen3-8B-FP8 در دسترس است و مثل هر مدل دیگری اجرا و سرو میشود:
vllm serve Qwen/Qwen3-8B-FP8
کتابخانهی vLLM نوع کوانتیزهسازی (quantization) را مستقیماً از فایل پیکربندی چکپوینت تشخیص میدهد؛ بنابراین نیازی به تنظیم هیچ فلگ اضافهای ندارید. اگر چکپوینت FP8 آمادهای در دست نباشد، vLLM میتواند موقع بارگذاری، مدل BF16 را با فلگ --quantization fp8_per_tensor کوانتیزه کند. ما این مسیر را آزمایش نکردیم.
بررسی توان محاسباتی GPU
پردازندهی L4 مبتنی بر معماری Ada با قابلیت SM 8.9 است و از محاسبات ریاضی FP8 پشتیبانی میکند. از این رو، vLLM محاسبات ماتریسی مدل را بهصورت FP8 انجام میدهد که علاوه بر آزادسازی حافظه، میتواند سرعت اجرا را هم بالا ببرد.
پردازندههای گرافیکی پیش از نسل Ada (مانند A100) فاقد واحدهای محاسباتی FP8 هستند. روی این پردازندهها، vLLM وزنها را در قالب FP8 نگه میدارد اما یک کرنل محاسباتی صرفاً مخصوص وزن (weight-only) اجرا میکند. در این حالت صرفهجویی در حافظه حفظ میشود، ولی نباید منتظر افزایش سرعت چشمگیری باشید. ما عملکرد چنین پردازندههایی را نسنجیدیم.
محاسبهی حافظهی آزادشده
وزنها در قالب FP8 تقریباً نیمی از حافظه را اشغال میکنند. کتابخانهی vLLM این حافظهی آزادشده را در اختیار استخر KV قرار میدهد. همانطور که در صفحهی کش کلید-مقدار FP8 نشان داده شده است، برای مدل Qwen/Qwen3-8B هر گیبیبایت از استخر KV گنجایش حدود 7300 توکن در قالب BF16 را دارد.
ما در آزمایشهایمان ظرفیت استخر را روی 24096 توکن بهعنوان استخر ثابت تنظیم کردیم تا هر دو سناریو فضای برابری داشته باشند؛ به همین دلیل استخر بزرگتر را نسنجیدیم. افزایش فضای در دسترس مستقیماً حاصل کاهش حجم بایتهاست، نه وابسته به اجرای آزمایشی ما.
بررسی نتایج آزمایشها
ما عملکرد Qwen/Qwen3-8B-FP8 را در مقایسه با Qwen/Qwen3-8B در تاریخ 2026-10-22 روی پردازندهی L4 و در نشست کاری قفلشده روی فرکانس 900 مگاهرتز ارزیابی کردیم. بنچمارک را برای سناریوهای 1 و 32 کاربر، هر کدام با دو مقدار seed مختلف اجرا کردیم.
| کاربران، نشست قفلشدهی L4 | میانهی TPOT، بر حسب BF16 / FP8 | خروجی توکن بر ثانیه، BF16 / FP8 | میانهی فرکانس SM، بر حسب BF16 / FP8 |
|---|---|---|---|
| 32 | 119.9 / 83.8 میلیثانیه | 208.8 / 284.7 | 881 / 900 مگاهرتز |
| 1 | مقایسه نشد / 35.3 میلیثانیه | مقایسه نشد / 25.4 | 210 / 900 مگاهرتز |
در سناریوی 32 کاربر، چکپوینت FP8 خروجی را 36 درصد افزایش داد و زمان تولید هر توکن را 30 درصد کاهش داد. بازهی خروجیهای حاصل از seedهای مختلف برای هیچیک از این دو عدد همپوشانی نداشت. فرکانس پردازنده در اجرای BF16 حدود 2 درصد کمتر بود که بسیار ناچیزتر از شکاف عملکردی ثبتشده است.
در سناریوی یک کاربر، اجرای BF16 به دلیل افت توان ناشی از حرارت پردازنده (throttling) تا 210 مگاهرتز افت کرد که زیر فرکانس قفلشده بود؛ بنابراین مقایسهی این دو در حالت تککاربره را معتبر ندانستیم و لحاظ نکردیم.
استفاده از چکپوینت عدد صحیح 4 یا 8 بیتی
فرمت FP8 حجم وزنها را نصف میکند. یک چکپوینت 4 بیتی بیشتر وزنها را در حدود نیم بایت جای میدهد؛ بنابراین میتوان مدلی با دو برابر پارامتر را در همان فضا نشاند. روی پردازندهای 24 گیگابایتی مانند L4، استفاده از چکپوینت 4 بیتی روشی رایج برای اجرای یک مدل 14B به شمار میرود.
نسخهی 0.31.0 از vLLM این فرمتها را مستقیماً از فایل پیکربندی چکپوینت میخواند؛ در نتیجه برای اجرای چکپوینتهای رسمی نیازی به افزودن هیچ آرگومانی ندارید:
| فرمت | نحوهی ذخیرهسازی داده | نکات در نسخهی 0.31.0 |
|---|---|---|
| AWQ و GPTQ | وزنهای 4 بیتی، محاسبات ریاضی 16 بیتی | قابل اجرا از نسل معماری Turing به بعد، با کرنلهای پرسرعت Marlin روی معماریهای Ampere، Ada و Hopper |
| compressed-tensors W4A16 یا W8A8 | وزنهای 4 یا 8 بیتی، تولیدشده با کتابخانهی LLM Compressor | vLLM استفاده از این کتابخانه را برای ساخت چکپوینتهای سفارشی پیشنهاد میکند |
| bitsandbytes | وزنهای 4 بیتی، ایجادشده حین بارگذاری مدل روی سرور | نیازمند پکیج مجزای vllm-bnb-plugin؛ سپس افزودن فلگ --quantization bitsandbytes برای مدلهایی که کوانتیزه نشدهاند |
| GGUF | فرمت فایل اختصاصی llama.cpp | نیازمند پکیج مجزای vllm-gguf-plugin، که در مستندات vLLM هنوز آزمایشی (experimental) عنوان شده است |
برای مثال، تیم Qwen چکپوینت 4 بیتی AWQ از مدل Qwen3-14B را منتشر کرده است:
vllm serve Qwen/Qwen3-14B-AWQ --max-model-len 8192
ما این چکپوینت AWQ را یک بار روی یک L4 بدون فلگ --quantization بارگذاری کردیم. لاگ خروجی، مقدار quantization=auto_awq و استفاده از کرنل Marlin را تأیید کرد. وزنها 9.44 گیبیبایت فضا گرفتند و ظرفیت استخر به 36272 توکن رسید. سرعت یا دقت این پیکربندی را اندازه نگرفتیم.
همچنین در تاریخ 2026-10-23، دو فرمت دیگر را روی پردازندهی دوم اشتراکی در نود L4 اجرا کردیم. از آنجا که فرکانس آن GPU افت کرده بود (throttled)، ارقام سرعت را گزارش نمیکنیم.
- bitsandbytes. بدون نصب افزونه، اجرای فرمان با
--quantization bitsandbytesهمان ابتدا با خطایUnknown quantization method: bitsandbytesمتوقف میشود. ابتدا افزونه را با دستورuv pip install vllm-bnb-pluginیا در مسیر معمول باpip install vllm-bnb-pluginنصب کنید. پس از نصب، مدلQwen/Qwen3-1.7Bبهجای 3.22 گیبیبایت در BF16، تنها با 1.33 گیبیبایت بارگذاری شد که یعنی مصرف 41 درصدی حافظه. ظرفیت استخر توکن نیز از 92960 به 108512 توکن افزایش یافت. - GGUF. با نصب افزونهی مربوطه، دستور
vllm serve unsloth/Qwen3-0.6B-GGUF:Q4_K_M --tokenizer Qwen/Qwen3-0.6Bمدل را با 0.55 گیبیبایت وزن در حافظه نشاند و به درخواست گفتوگو نیز کد وضعیت HTTP 200 برگرداند.
این رقم 41 درصد مربوط به یک مدل کوچک است. این مقدار شامل لایههای امبدینگ (embedding) و لایهی خروجی هم میشود که بهصورت 16 بیتی باقی میمانند؛ به همین دلیل در مدلهای بزرگتر این نسبت ممکن است تفاوت داشته باشد. دقت هیچیک از این دو فرمت را نسنجیدیم.
مدلهای 4 بیتی ممکن است بیشتر از مدلهای FP8 دچار افت کیفیت و دقت شوند؛ میزان این افت به معماری مدل و روش فشردهسازی وابسته است. حتماً هر دو فرمت را روی مجموعهپرامپتهای کاری خودتان ارزیابی کنید.
ارزیابی دقت خروجی
در تاریخ 2026-10-23، نخستین 500 مسئلهی بنچمارک GSM8K را در حالت 8-shot و رمزگشایی حریصانه (greedy) روی پردازندهی L4 اجرا کردیم تا عملکرد Qwen/Qwen3-8B را در برابر Qwen/Qwen3-8B-FP8 بسنجیم:
engine config correct accuracy Wilson 95% interval
…
vLLM BF16 459/500 91.8% 89.1 to 93.9
vLLM FP8 weights 453/500 90.6% 87.7 to 92.9
vLLM FP8 KV cache 454/500 90.8% 87.9 to 93.0
vLLM FP8 weights + FP8 KV 453/500 90.6% 87.7 to 92.9سطرهای vLLM. سطرهای SGLang مربوط به همین فایل حذف شدهاند.
مدل با وزنهای FP8 به میزان 1.2 نمره امتیاز کمتری به دست آورد و بازهی خطای هر دو خروجی همپوشانی داشت. بنابراین این تست اختلاف معناداری را نشان نداد، هرچند احتمال افت چند نمرهای را هم کاملاً رد نمیکند. فراموش نکنید که این نتیجه صرفاً برای یک مدل و یک بنچمارک است. حتماً پیش از انتقال به محیط عملیاتی (production)، پرامپتهای کسبوکار خودتان را روی هر دو چکپوینت تست کرده و پاسخها را دقیق مقایسه کنید. ما این آزمون کیفی را روی فرمتهای 4 بیتی اجرا نکردیم.
منابع: capture/gpu/summary/l4.json (پیکربندیهای load.vllm-lock-b و load.vllm-lock-fp8)، سورسکد vLLM در نسخهی v0.31.0 (مسیر vllm/model_executor/layers/quantization/fp8.py)، مستندات vLLM در نسخهی v0.31.0 (شامل docs/features/quantization/online.md، docs/features/quantization/README.md، docs/features/quantization/auto_awq.md، docs/features/quantization/gptqmodel.md، docs/features/quantization/bnb.md، docs/features/quantization/gguf.md و docs/features/quantization/llm_compressor/)، فایلهای لاگ capture/gpu/out-l4/livecheck-2026-10-22.txt و capture/gpu/out-l4/livecheck-2026-10-23.txt، مستندات vLLM در نگارش v0.31.0 (مسیر docs/features/quantization/bnb.md) و فایل نتایج capture/gpu/out-l4/gsm8k-fp8-accuracy.txt.