بخش 2.5 · تعیین ابعاد و ظرفیت

جا دادن مدل بزرگ‌تر با وزن‌های FP8

Fit a bigger model with FP8 weights

فهرست مطالب
  1. انتخاب چک‌پوینت
  2. بررسی توان محاسباتی GPU
  3. محاسبه‌ی حافظه‌ی آزادشده
  4. بررسی نتایج آزمایش‌ها
  5. استفاده از چک‌پوینت عدد صحیح 4 یا 8 بیتی
  6. ارزیابی دقت خروجی

وزن‌های FP8 حافظه را برای کش کلید-مقدار (KV cache) آزاد می‌کنند و تغییر سرعت پردازش هم به پشتیبانی GPU شما بستگی دارد.

مدل شما در حافظه جا می‌شود، اما استخر KV بسیار کوچکی برایش باقی می‌ماند. پس از مطالعه‌ی این بخش، می‌توانید با همان سقف حافظه میان انتخاب چک‌پوینت BF16 یا FP8 تصمیم بگیرید.

نتیجه‌ی بررسی ما: روی پردازنده‌ی L4 با فرکانس قفل‌شده، چک‌پوینت FP8 در سناریوی 32 کاربر هم‌زمان و با اندازه‌ی استخر یکسان، 36 درصد خروجی بیشتری نسبت به BF16 تولید کرد.

انتخاب چک‌پوینت

چک‌پوینت FP8 بیشتر وزن‌ها را به‌جای 2 بایت در 1 بایت ذخیره می‌کند. بسیاری از سازندگان مدل، چنین چک‌پوینتی را در کنار مدل اصلی BF16 منتشر می‌کنند. برای نمونه در مدل Qwen/Qwen3-8B، چک‌پوینت FP8 با نام Qwen/Qwen3-8B-FP8 در دسترس است و مثل هر مدل دیگری اجرا و سرو می‌شود:

vllm serve Qwen/Qwen3-8B-FP8

کتابخانه‌ی vLLM نوع کوانتیزه‌سازی (quantization) را مستقیماً از فایل پیکربندی چک‌پوینت تشخیص می‌دهد؛ بنابراین نیازی به تنظیم هیچ فلگ اضافه‌ای ندارید. اگر چک‌پوینت FP8 آماده‌ای در دست نباشد، vLLM می‌تواند موقع بارگذاری، مدل BF16 را با فلگ --quantization fp8_per_tensor کوانتیزه کند. ما این مسیر را آزمایش نکردیم.

بررسی توان محاسباتی GPU

پردازنده‌ی L4 مبتنی بر معماری Ada با قابلیت SM 8.9 است و از محاسبات ریاضی FP8 پشتیبانی می‌کند. از این رو، vLLM محاسبات ماتریسی مدل را به‌صورت FP8 انجام می‌دهد که علاوه بر آزادسازی حافظه، می‌تواند سرعت اجرا را هم بالا ببرد.

پردازنده‌های گرافیکی پیش از نسل Ada (مانند A100) فاقد واحدهای محاسباتی FP8 هستند. روی این پردازنده‌ها، vLLM وزن‌ها را در قالب FP8 نگه می‌دارد اما یک کرنل محاسباتی صرفاً مخصوص وزن (weight-only) اجرا می‌کند. در این حالت صرفه‌جویی در حافظه حفظ می‌شود، ولی نباید منتظر افزایش سرعت چشمگیری باشید. ما عملکرد چنین پردازنده‌هایی را نسنجیدیم.

محاسبه‌ی حافظه‌ی آزادشده

وزن‌ها در قالب FP8 تقریباً نیمی از حافظه را اشغال می‌کنند. کتابخانه‌ی vLLM این حافظه‌ی آزادشده را در اختیار استخر KV قرار می‌دهد. همان‌طور که در صفحه‌ی کش کلید-مقدار FP8 نشان داده شده است، برای مدل Qwen/Qwen3-8B هر گیبی‌بایت از استخر KV گنجایش حدود 7300 توکن در قالب BF16 را دارد.

ما در آزمایش‌هایمان ظرفیت استخر را روی 24096 توکن به‌عنوان استخر ثابت تنظیم کردیم تا هر دو سناریو فضای برابری داشته باشند؛ به همین دلیل استخر بزرگ‌تر را نسنجیدیم. افزایش فضای در دسترس مستقیماً حاصل کاهش حجم بایت‌هاست، نه وابسته به اجرای آزمایشی ما.

بررسی نتایج آزمایش‌ها

ما عملکرد Qwen/Qwen3-8B-FP8 را در مقایسه با Qwen/Qwen3-8B در تاریخ 2026-10-22 روی پردازنده‌ی L4 و در نشست کاری قفل‌شده روی فرکانس 900 مگاهرتز ارزیابی کردیم. بنچمارک را برای سناریوهای 1 و 32 کاربر، هر کدام با دو مقدار seed مختلف اجرا کردیم.

مقایسه وزن‌های FP8 با BF16 در 32 کاربربا کلاک قفل‌شده و استخر یکسان KV، وزن‌های FP8 به میزان 284.7 در برابر 208.8 توکن خروجی بر ثانیه در 32 کاربر دست یافتند.
وزن‌های FP8 در 32 کاربر با کلاک قفل‌شده روی 900 مگاهرتز مدل Qwen3-8B در فرمت BF16 در برابر Qwen3-8B-FP8 روی یک پردازنده گرافیکی NVIDIA L4 با 32 کاربر، کلاک SM قفل‌شده روی 900 مگاهرتز، استخر KV ثابت روی 24,096 توکن، دو سید. خروجی 208.8 توکن بر ثانیه برای BF16 و 284.7 برای FP8 بود. زمان میانه هر توکن 119.9 میلی‌ثانیه برای BF16 و 83.8 میلی‌ثانیه برای FP8 ثبت شد. توکن خروجی بر ثانیه، بیشتر بهتر است 0 200 400 208.8 BF16 284.7 FP8 میانه میلی‌ثانیه بر توکن، کمتر بهتر است 0 50 100 150 119.9 BF16 83.8 FP8 هر دو اجرا در 32 کاربر با استخر KV یکسان. میانه دو سید.
هر میله میانه دو سید (seed) است. اجرای BF16 کلاک میانه 881 مگاهرتز و اجرای FP8 کلاک 900 مگاهرتز داشت. برگرفته از capture/gpu/summary/l4.json.
کاربران، نشست قفل‌شده‌ی L4 میانه‌ی TPOT، بر حسب BF16 / FP8 خروجی توکن بر ثانیه، BF16 / FP8 میانه‌ی فرکانس SM، بر حسب BF16 / FP8
32 119.9 / 83.8 میلی‌ثانیه 208.8 / 284.7 881 / 900 مگاهرتز
1 مقایسه نشد / 35.3 میلی‌ثانیه مقایسه نشد / 25.4 210 / 900 مگاهرتز

در سناریوی 32 کاربر، چک‌پوینت FP8 خروجی را 36 درصد افزایش داد و زمان تولید هر توکن را 30 درصد کاهش داد. بازه‌ی خروجی‌های حاصل از seedهای مختلف برای هیچ‌یک از این دو عدد همپوشانی نداشت. فرکانس پردازنده در اجرای BF16 حدود 2 درصد کمتر بود که بسیار ناچیزتر از شکاف عملکردی ثبت‌شده است.

در سناریوی یک کاربر، اجرای BF16 به دلیل افت توان ناشی از حرارت پردازنده (throttling) تا 210 مگاهرتز افت کرد که زیر فرکانس قفل‌شده بود؛ بنابراین مقایسه‌ی این دو در حالت تک‌کاربره را معتبر ندانستیم و لحاظ نکردیم.

استفاده از چک‌پوینت عدد صحیح 4 یا 8 بیتی

فرمت FP8 حجم وزن‌ها را نصف می‌کند. یک چک‌پوینت 4 بیتی بیشتر وزن‌ها را در حدود نیم بایت جای می‌دهد؛ بنابراین می‌توان مدلی با دو برابر پارامتر را در همان فضا نشاند. روی پردازنده‌ای 24 گیگابایتی مانند L4، استفاده از چک‌پوینت 4 بیتی روشی رایج برای اجرای یک مدل 14B به شمار می‌رود.

نسخه‌ی 0.31.0 از vLLM این فرمت‌ها را مستقیماً از فایل پیکربندی چک‌پوینت می‌خواند؛ در نتیجه برای اجرای چک‌پوینت‌های رسمی نیازی به افزودن هیچ آرگومانی ندارید:

فرمت نحوه‌ی ذخیره‌سازی داده نکات در نسخه‌ی 0.31.0
AWQ و GPTQ وزن‌های 4 بیتی، محاسبات ریاضی 16 بیتی قابل اجرا از نسل معماری Turing به بعد، با کرنل‌های پرسرعت Marlin روی معماری‌های Ampere، Ada و Hopper
compressed-tensors W4A16 یا W8A8 وزن‌های 4 یا 8 بیتی، تولیدشده با کتابخانه‌ی LLM Compressor vLLM استفاده از این کتابخانه را برای ساخت چک‌پوینت‌های سفارشی پیشنهاد می‌کند
bitsandbytes وزن‌های 4 بیتی، ایجادشده حین بارگذاری مدل روی سرور نیازمند پکیج مجزای vllm-bnb-plugin؛ سپس افزودن فلگ --quantization bitsandbytes برای مدل‌هایی که کوانتیزه نشده‌اند
GGUF فرمت فایل اختصاصی llama.cpp نیازمند پکیج مجزای vllm-gguf-plugin، که در مستندات vLLM هنوز آزمایشی (experimental) عنوان شده است

برای مثال، تیم Qwen چک‌پوینت 4 بیتی AWQ از مدل Qwen3-14B را منتشر کرده است:

vllm serve Qwen/Qwen3-14B-AWQ --max-model-len 8192

ما این چک‌پوینت AWQ را یک بار روی یک L4 بدون فلگ --quantization بارگذاری کردیم. لاگ خروجی، مقدار quantization=auto_awq و استفاده از کرنل Marlin را تأیید کرد. وزن‌ها 9.44 گیبی‌بایت فضا گرفتند و ظرفیت استخر به 36272 توکن رسید. سرعت یا دقت این پیکربندی را اندازه نگرفتیم.

همچنین در تاریخ 2026-10-23، دو فرمت دیگر را روی پردازنده‌ی دوم اشتراکی در نود L4 اجرا کردیم. از آنجا که فرکانس آن GPU افت کرده بود (throttled)، ارقام سرعت را گزارش نمی‌کنیم.

  • bitsandbytes. بدون نصب افزونه، اجرای فرمان با --quantization bitsandbytes همان ابتدا با خطای Unknown quantization method: bitsandbytes متوقف می‌شود. ابتدا افزونه را با دستور uv pip install vllm-bnb-plugin یا در مسیر معمول با pip install vllm-bnb-plugin نصب کنید. پس از نصب، مدل Qwen/Qwen3-1.7B به‌جای 3.22 گیبی‌بایت در BF16، تنها با 1.33 گیبی‌بایت بارگذاری شد که یعنی مصرف 41 درصدی حافظه. ظرفیت استخر توکن نیز از 92960 به 108512 توکن افزایش یافت.
  • GGUF. با نصب افزونه‌ی مربوطه، دستور vllm serve unsloth/Qwen3-0.6B-GGUF:Q4_K_M --tokenizer Qwen/Qwen3-0.6B مدل را با 0.55 گیبی‌بایت وزن در حافظه نشاند و به درخواست گفت‌وگو نیز کد وضعیت HTTP 200 برگرداند.

این رقم 41 درصد مربوط به یک مدل کوچک است. این مقدار شامل لایه‌های امبدینگ (embedding) و لایه‌ی خروجی هم می‌شود که به‌صورت 16 بیتی باقی می‌مانند؛ به همین دلیل در مدل‌های بزرگ‌تر این نسبت ممکن است تفاوت داشته باشد. دقت هیچ‌یک از این دو فرمت را نسنجیدیم.

مدل‌های 4 بیتی ممکن است بیشتر از مدل‌های FP8 دچار افت کیفیت و دقت شوند؛ میزان این افت به معماری مدل و روش فشرده‌سازی وابسته است. حتماً هر دو فرمت را روی مجموعه‌پرامپت‌های کاری خودتان ارزیابی کنید.

ارزیابی دقت خروجی

در تاریخ 2026-10-23، نخستین 500 مسئله‌ی بنچمارک GSM8K را در حالت 8-shot و رمزگشایی حریصانه (greedy) روی پردازنده‌ی L4 اجرا کردیم تا عملکرد Qwen/Qwen3-8B را در برابر Qwen/Qwen3-8B-FP8 بسنجیم:

دقت GSM8K، 500 سؤال، 8-شات، مدل Qwen3-8B روی vLLM 0.31.0 capture/gpu/out-l4/gsm8k-fp8-accuracy.txt
engine   config                     correct   accuracy   Wilson 95% interval
…
vLLM     BF16                       459/500   91.8%      89.1 to 93.9
vLLM     FP8 weights                453/500   90.6%      87.7 to 92.9
vLLM     FP8 KV cache               454/500   90.8%      87.9 to 93.0
vLLM     FP8 weights + FP8 KV       453/500   90.6%      87.7 to 92.9

سطرهای vLLM. سطرهای SGLang مربوط به همین فایل حذف شده‌اند.

مدل با وزن‌های FP8 به میزان 1.2 نمره امتیاز کمتری به دست آورد و بازه‌ی خطای هر دو خروجی همپوشانی داشت. بنابراین این تست اختلاف معناداری را نشان نداد، هرچند احتمال افت چند نمره‌ای را هم کاملاً رد نمی‌کند. فراموش نکنید که این نتیجه صرفاً برای یک مدل و یک بنچمارک است. حتماً پیش از انتقال به محیط عملیاتی (production)، پرامپت‌های کسب‌وکار خودتان را روی هر دو چک‌پوینت تست کرده و پاسخ‌ها را دقیق مقایسه کنید. ما این آزمون کیفی را روی فرمت‌های 4 بیتی اجرا نکردیم.

منابع: capture/gpu/summary/l4.json (پیکربندی‌های load.vllm-lock-b و load.vllm-lock-fp8)، سورس‌کد vLLM در نسخه‌ی v0.31.0 (مسیر vllm/model_executor/layers/quantization/fp8.py)، مستندات vLLM در نسخه‌ی v0.31.0 (شامل docs/features/quantization/online.md، docs/features/quantization/README.md، docs/features/quantization/auto_awq.md، docs/features/quantization/gptqmodel.md، docs/features/quantization/bnb.md، docs/features/quantization/gguf.md و docs/features/quantization/llm_compressor/)، فایل‌های لاگ capture/gpu/out-l4/livecheck-2026-10-22.txt و capture/gpu/out-l4/livecheck-2026-10-23.txt، مستندات vLLM در نگارش v0.31.0 (مسیر docs/features/quantization/bnb.md) و فایل نتایج capture/gpu/out-l4/gsm8k-fp8-accuracy.txt.

ترجمه‌ی فارسی Fit a bigger model with FP8 weights از راهنمای vLLM 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما