کوانتیزهسازی (Quantization) در درجهی اول حافظه آزاد میکند و بعد سرعت میبخشد. SGLang وزنها، کرنلهای GEMM و کش کلید-مقدار (KV cache) را در قالب سه انتخاب کاملاً مجزا نگه میدارد تا فقط چیزی را تغییر دهید که واقعاً نیاز دارید.
کلودفلر (Cloudflare) مدل Kimi K2.6 را با کش کلید-مقدار BF16 سرو کرد و همزمانی را پلهپله بالا برد. در 32 درخواست همزمان، سرور به نرخ پردازش 1,558 توکن بر ثانیه رسید، اما در همزمانی 64 با کمبود حافظه (OOM) مواجه شد. همین سرویس با کش کلید-مقدار FP8 در 64 درخواست همزمان به نرخ 2,192 توکن بر ثانیه دست یافت؛ یعنی حدود 41% بیشتر از بهترین نتیجهی BF16 {{field Cloudflare 2026-08}}. کش FP8 در تمام همزمانیهایی که هر دو نسخه توان اجرای آن را داشتند، به ازای هر توکن کندتر عمل کرد؛ برتری آن صرفاً به این دلیل بود که توانست دو برابر درخواست بیشتر را در حافظه جای دهد.
پس از پایان این بخش، میتوانید تفاوت کوانتیزهسازی وزنها با کوانتیزهسازی کش کلید-مقدار را تشخیص دهید، یک چکپوینت (checkpoint) کوانتیزهشده را بدون برهمزدن فرایند شناسایی خودکار لود کنید، میزان حافظهی آزادشده را پیش از سنجش سرعت بسنجید و مشخص کنید کاهش دقت (precision) دقیقاً مناسب کدام بخش است.
سه انتخاب، سه پرچم
کوانتیزهسازی وزنها: ذخیرهی وزنهای مدل با بیتهای کمتر، مثل FP8، FP4 یا INT4. این کار حجم وزنها و ترافیک حافظه را در هر GEMM کاهش میدهد. روش کوانتیزهسازی با پرچم --quantization انتخاب میشود.
بکاند GEMM: کتابخانهی کرنلی (kernel) که ضرب ماتریسی وزنهای کوانتیزهشده را اجرا میکند. این گزینه با پرچمهای --fp8-gemm-backend و --fp4-gemm-backend تعیین میشود و پیشفرض هر دو روی auto است که مقدار مناسب را بر اساس نسل پردازندهی گرافیکی انتخاب میکند.
نوع دادهی کش کلید-مقدار (KV cache dtype): فرمت ذخیرهسازی کلیدها و مقدارهای کششده در حافظه. این مقدار با پرچم --kv-cache-dtype و جدا از وزنها تعیین میشود. حالت پیشفرض آن auto است و از نوع دادهی خود مدل پیروی میکند.
یک مدل میتواند با وزنهای FP8 و کش کلید-مقدار BF16 اجرا شود، یا برعکس با وزنهای BF16 و کش کلید-مقدار FP8 بالا بیاید. هر کدام از این انتخابها بخش متفاوتی از حافظه را تغییر میدهند؛ بنابراین به چشم سه تصمیم مستقل به آنها نگاه کنید.
وزنها: اولویت با حالت آفلاین
در نسخهی v0.5.22، پرچم --quantization تعداد 31 نام روش مختلف را میپذیرد. بیشتر آنها مربوط به چکپوینتهایی هستند که قبلاً کوانتیزه شدهاند: AWQ، GPTQ، نگارشهای FP8 و FP4 از ModelOpt، فشردهسازی compressed-tensors، GGUF، Quark و موارد دیگر. تعداد معدودی نیز وزنهای BF16 را همزمان با لود مدل کوانتیزه میکنند: fp8، mxfp8، nvfp4_online و گزینههای mlx_q4 یا mlx_q8 روی تراشههای Apple silicon.
کوانتیزهسازی آفلاین: چکپوینت از قبل وزنهای کمبیت و مقیاسهای (scale) آنها را ذخیره کرده است. کوانتیزهسازی آنلاین: SGLang وزنهای با دقت کامل را هنگام لود در حافظه تبدیل میکند.
هنگام لود یک چکپوینت کوانتیزهشده، پرچم --quantization را پاس ندهید. فرایند بررسی پیکربندی مدل، مقدار quantization_config.quant_method را از خود چکپوینت میخواند و همان را اعمال میکند. اگر روش متفاوتی را دستی پاس دهید، این بررسی فقط جفتهای سازگارِ شناختهشده را قبول میکند؛ مثل modelopt_fp4 روی یک چکپوینت modelopt. در صورت نیاز به کوانتیزهسازی مجدد، سیستم لاگ میزند که باید دقت مدل را دوباره ارزیابی کنید. هر ناهمخوانی دیگری در زمان راهاندازی با خطا متوقف میشود.
این پرچم حتی میتواند مانع ارتقای خودکار کرنل شود. اگر یک چکپوینت GPTQ را بدون هیچ پرچمی لود کنید، سیستم آن را شناسایی کرده، در محیط اجرا (runtime) تبدیل میکند و در نهایت با کرنل Marlin سرویس میدهد. کد ارتقا این تبدیل را تنها زمانی میپذیرد که هیچ روشی تعیین نکرده باشید یا صراحتاً gptq_marlin را داده باشید.
در تاریخ 2026-09-10، پولریکوئست PR #32114 کرنل معمولی GPTQ CUDA را حذف کرد و در بیلد CUDA دیگر ورودیای به نام gptq در رجیستری روشها وجود ندارد. پارسر پرچمها همچنان --quantization gptq را میپذیرد، اما بررسی پیکربندی مدل دیگر ارتقا به Marlin را انجام نمیدهد و خطای Unknown quantization method: gptq برمیگرداند. این مسیر را مستقیماً از روی کد منبع خواندیم و روی GPU اجرایش نکردیم.
کش کلید-مقدار: افزایش ظرفیت همراه با ضریب مقیاس
پرچم --kv-cache-dtype مقادیر auto، bf16، fp8_e4m3، fp8_e5m2، mxfp8 (فقط برای FA4)، nvfp4 و fp4_mx_block16 را میپذیرد. فرمت FP8 بایتهای لازم به ازای هر توکن را نصف و فرمت FP4 آن را یکچهارم میکند؛ در نتیجه یک استخر حافظهی ثابت میتواند دو تا چهار برابر توکن بیشتری نگه دارد. بخش 3.1 نحوهی محاسبهی بایت به ازای هر توکن را برای مدلتان نشان میدهد.
فرمت FP8 برای هر تنسور (tensor) به یک ضریب مقیاس نیاز دارد. راهنمای پرچم --quantization-param-path میگوید اگر نوع دادهی کش کلید-مقدار را FP8 گذاشتید، فایل مقیاسها را به آن بدهید. بدون این فایل، تمام ضرایب مقیاس برابر 1.0 در نظر گرفته میشوند که میتواند دقت خروجی را کاهش دهد {{code}}. هر بار که نوع دادهی کش کلید-مقدار را تغییر میدهید، حتماً یک تست ارزیابی دقت بگیرید.
تیم vLLM ضریب مقیاسِ 1.0 را بدترین حالت برای دقت مدل در نظر میگیرد. آنها در سال 2026 کشهای کلید-مقدار FP8 کالیبرهنشده را تست کردند و در آزمایشهایشان دقت بیشتر مدلها بسیار نزدیک به BF16 ماند. البته آنها مشخصاً از Kimi-K2.5 روی بکاند FlashMLA به عنوان مدلی نام بردند که حتماً به مقیاسهای کالیبرهشده نیاز دارد. ما خودمان این نتایج را بازتولید و اندازهگیری نکردیم.
کلودفلر نتایج بررسی خود را منتشر کرد. روی Kimi K2.6، مقایسهی BF16 با کش کلید-مقدار FP8 این نمرات را نشان داد: روی بنچمارک GSM8K نمرات 94.24 در برابر 94.09؛ روی MMLU نمرات 89.11 در برابر 89.04؛ و روی MMLU-Pro نمرات 80.29 در برابر 79.29 {{field Cloudflare 2026-08}}. اینها ارقام آنها روی مدل خودشان است و مدل شما ممکن است رفتار متفاوتی داشته باشد.
ما نیز در تاریخ 2026-10-23 بررسی مستقلی روی کارت L4 خود انجام دادیم: 500 سوال اول بنچمارک GSM8K، به صورت 8-shot و رمزگشایی حریصانه (greedy)، با دو مدل Qwen/Qwen3-8B و Qwen/Qwen3-8B-FP8. هیچیک از این دو چکپوینت مقیاسهای KV را نداشتند؛ بنابراین اجرای FP8 KV با مقیاس پیشفرض 1.0 انجام شد.
engine config correct accuracy Wilson 95% interval
SGLang BF16 458/500 91.6% 88.8 to 93.7
SGLang FP8 weights 456/500 91.2% 88.4 to 93.4
SGLang FP8 KV cache 458/500 91.6% 88.8 to 93.7
SGLang FP8 weights + FP8 KV 460/500 92.0% 89.3 to 94.1
…ردیفهای مربوط به SGLang. ردیفهای vLLM از همین فایل حذف شدهاند.
هر چهار بازه با یکدیگر همپوشانی دارند؛ بنابراین این اجرا تفاوت معناداری نشان نداد. البته با 500 سوال نمیتوان احتمال افت چند دهم درصدی را کاملاً رد کرد. این فقط یک مدل و یک بنچمارک است و جای ارزیابی روی مدل خاص خودتان را نمیگیرد.
بررسی لود شدن درست مقیاسها
اگر پرچم --quantization-param-path را ندهید، هشدار Using FP8 KV cache but no scaling factors provided چاپ میشود {{code}}. با این حال، یک چکپوینت میتواند مقیاسها را درون همان فایلهای وزن خود به همراه داشته باشد. در نتیجه، دیدن این هشدار بهتنهایی مشخص نمیکند سرور از کدام مقیاسها استفاده کرده است.
ابتدا فایلهای چکپوینت را بررسی کنید. درون ایندکس وزنها دنبال نام تنسورهایی بگردید که به k_scale یا v_scale ختم میشوند:
grep -oE '"[^"]*(k|v)_scale"' model.safetensors.index.json | sort -u
ما این جستجو را در تاریخ 2026-10-22 روی ایندکس مدل Qwen/Qwen3-30B-A3B-Instruct-2507-FP8 اجرا کردیم. ایندکس فقط مقیاسهای مربوط به وزنها را برگرداند و هیچ مقیاسی برای KV پیدا نشد؛ در نتیجه سرور FP8 ما در آزمایش زیر با مقیاس KV برابر 1.0 کار کرد.
سپس لاگهای لود شدن را بخوانید. پیش از PR #35455، موتور SGLang مقیاسهای KV را در چکپوینتهای compressed-tensors نادیده میگرفت و لاگ سرور پارامترهای k_scale را پیدانشده گزارش میکرد {{issue #35455}}. این ایراد در سورس نسخهی v0.5.22 برطرف شده است {{code}}. با این حال، اگر هشداری مبنی بر نبودِ k_scale یا v_scale دیدید، همچنان به این معناست که لودر آن مقیاسها را رد کرده است. در این پولریکوئست، روی چکپوینتی با مقیاسهای نزدیک به 1.0، نمرهی GSM8K در حالت مقیاسهای نادیدهگرفتهشده برابر 0.960 و با مقیاسهای درست لودشده برابر 0.965 ثبت شد.
در گام آخر، پرامپتهای (prompt) واقعی خودتان را در هر دو حالت با و بدون FP8 اجرا و خروجیها را با هم مقایسه کنید؛ این کار را حتماً پیش از رفتن به محیط عملیاتی (production) انجام دهید.
کوانتیزهسازی تصمیمی برای افزایش ظرفیت است
کلودفلر وزنهای INT4 را نیز روی GLM 5.2 بررسی کرد {{field Cloudflare 2026-08}}. مرحلهی رمزگشایی (decode) سریعتر شد؛ یعنی از 60 به 92 توکن بر ثانیه در همزمانی 1 و از 1,672 به 1,933 توکن بر ثانیه در همزمانی 64 رسید. در مقابل، مرحلهی پیشپرکنی (prefill) کندتر شد و از حدود 10,160 توکن بر ثانیه با FP8 به حدود 8,660 توکن با INT4 افت کرد.
محدودیت اصلی مرحلهی رمزگشایی ترافیک حافظه است؛ بنابراین وزنهای سبکتر به آن کمک میکنند. اما گلوگاه پیشپرکنی، توان محاسباتی است و تبدیل معکوس (dequantization) وزنهای INT4 بار محاسباتی اضافه دارد. کلودفلر این دو فاز را روی سرورهای جداگانه تفکیک کرد؛ سرورهای رمزگشایی با INT4 و سرورهای پیشپرکنی با FP8 بالا آمدند. بخش 6.3 جزئیات این تفکیک را توضیح میدهد.
یافتههای ما روی پردازندهی GB10
ما مدل Qwen/Qwen3-30B-A3B-Instruct-2507 را دو بار روی یک پردازندهی NVIDIA GB10 سرو کردیم. سرور اول چکپوینت BF16 را بالا آورد. سرور دوم چکپوینت FP8 یعنی Qwen/Qwen3-30B-A3B-Instruct-2507-FP8 را با پرچم --kv-cache-dtype fp8_e4m3 لود کرد. در هر دو حالت از --mem-fraction-static 0.7 استفاده شد و هیچ پرچم --quantization پاس ندادیم.
… Detected fp8 checkpoint.
… Using FP8 KV cache but no scaling factors provided. Defaulting to scaling factors of 1.0.
… Load weight end. elapsed=152.29 s, type=Qwen3MoeForCausalLM, quant=fp8, fmt=e4m3, avail mem=83.63 GB, mem usage=29.75 GB.
… KV Cache is allocated. dtype: torch.float8_e4m3fn, #tokens: 1083008, K size: 24.79 GB, V size: 24.79 GBچهار سطر از لاگ راهاندازی. برچسبهای زمانی حذف شدهاند.
اندازهگیریهای ما نشان داد که این دو تغییر چه دستاوردی داشتند. حجم وزنها از 57.75 گیگابایت به 29.75 گیگابایت رسید و زمان لود از 323.61 ثانیه به 152.29 ثانیه کاهش یافت. ظرفیت استخر توکنها نیز از 227,243 توکن به 1,083,008 توکن جهش کرد؛ یعنی 4.77 برابر رشد.
این رقم حاصل ضرب دو اثر است: اول اینکه وزنهای کوچکتر 28.00 گیگابایت حافظه آزاد کردند و حجم استخر بر اساس واحدهای لاگ با 28.78 گیگابایت افزایش، از 20.80 گیگابایت به 49.58 گیگابایت رسید. دوم اینکه هر توکن حالا به نصف بایت قبلی نیاز داشت: یعنی 49,152 بایت در برابر 98,304 بایت برای مدلی با 48 لایه و 4 هد (head) کلید-مقدار با اندازهی 128.
خط دوم خروجی لاگ، همان هشدار بخش قبلی است. چون فایل مقیاس ندادیم، تمام ضرایب روی 1.0 تنظیم شدند. هر دو سرور برای اولین درخواست آزمایشی ما با دمای 0 دقیقاً همان 12 توکن یکسان را تولید کردند؛ البته این فقط یک پرامپت بود، نه یک بررسی کامل دقت.
سرعت در تمام بارهای کاری تغییر کرد. جدول زیر از سرورهای آزمون بار متغیر گرفته شده که اندازهی استخر آنها به ترتیب 234,600 و 1,084,458 توکن بود. در هر سطح همزمانی، تست با سه سید (seed) مختلف اجرا شد:
| همزمانی | نرخ توکن خروجی BF16 (بر ثانیه) | نرخ توکن خروجی FP8 (بر ثانیه) | میانه TPOT در BF16 | میانه TPOT در FP8 |
|---|---|---|---|---|
| 1 | 29.14 | 51.50 | 32.52 میلیثانیه | 18.41 میلیثانیه |
| 8 | 74.11 | 137.00 | 102.21 میلیثانیه | 54.96 میلیثانیه |
| 32 | 150.66 | 283.19 | 201.91 میلیثانیه | 104.12 میلیثانیه |
| 64 | 235.38 | 440.86 | 254.06 میلیثانیه | 131.78 میلیثانیه |
این نتیجه با گزارش کلودفلر در بالا تفاوت دارد. آنجا کش FP8 به ازای هر توکن کمی کندتر بود و به خاطر ظرفیت بیشتر برنده شد. اما اینجا وزنها هم FP8 بودند. مرحلهی رمزگشایی روی این پردازنده، وزنها را از حافظهای با پهنای باند متوسط میخواند؛ بنابراین نصف شدن بایتها، سرعت را تقریباً دو برابر کرد.
تکرار آزمایش روی کارت 24 گیگابایتی L4
کارت GB10 حدود 121.7 گیبیبایت حافظه دارد و استخر BF16 آن هیچوقت کم نیاورد. برای دیدن روی دیگر سکه، همین آزمون را روی یک کارت NVIDIA L4 با دو مدل Qwen/Qwen3-8B و Qwen/Qwen3-8B-FP8 تکرار کردیم. هر دو سرور از --mem-fraction-static 0.85 استفاده کردند. در این تست، سیستم پیش از شروع هر مرحله صبر میکرد تا دمای کارت به 72 درجهی سانتیگراد برسد.
… Load weight end. elapsed=3.92 s, type=Qwen3ForCausalLM, avail mem=6.59 GB, mem usage=15.28 GB.
… KV Cache is allocated. dtype: torch.bfloat16, #tokens: 24094, K size: 1.65 GB, V size: 1.65 GBدو سطر از لاگ راهاندازی. برچسبهای زمانی حذف شدهاند.
… Load weight end. elapsed=2.54 s, type=Qwen3ForCausalLM, quant=fp8, fmt=e4m3, avail mem=13.06 GB, mem usage=8.81 GB.
… KV Cache is allocated. dtype: torch.float8_e4m3fn, #tokens: 142369, K size: 4.89 GB, V size: 4.89 GBدو سطر از لاگ راهاندازی. برچسبهای زمانی حذف شدهاند.
اندازهگیریهای ما نشان داد که اندازهی استخر برای BF16 برابر 24,094 توکن و برای FP8 برابر 142,369 توکن بود؛ یعنی 5.91 برابر بیشتر. در این تست، هر درخواست شامل 512 توکن ورودی و 128 توکن خروجی بود. استخر BF16 گنجایش حدود 37 درخواست از این دست را داشت.
| همزمانی | نرخ توکن خروجی BF16 (بر ثانیه) | نرخ توکن خروجی FP8 (بر ثانیه) | میانه TTFT در BF16 | میانه TTFT در FP8 |
|---|---|---|---|---|
| 1 | 13.42 | 24.53 | 189.16 میلیثانیه | 140.72 میلیثانیه |
| 16 | 201.09 | 313.92 | 211.78 میلیثانیه | 147.52 میلیثانیه |
| 32 | 270.11 | 507.20 | 2,969.61 میلیثانیه | 199.09 میلیثانیه |
| 64 | 250.85 | 735.91 | 18,348.57 میلیثانیه | 296.42 میلیثانیه |
لاگ اسکژولر (scheduler) در همزمانی 64 علت اصلی این اختلاف را نشان میدهد. سرور BF16 همزمان حداکثر 38 درخواست را اجرا میکرد، میزان مصرف توکن آن روی 0.99 بود و 26 درخواست در صف معطل مانده بودند. در مقابل، سرور FP8 تمام 64 درخواست را با مصرف توکن 0.29 و بدون هیچ صفی اجرا کرد. افت نرخ پردازش BF16 از همزمانی 32 به 64 به این دلیل رخ داد که درخواستهای بیشتری منتظر ماندند و هر درخواست در صف، زمان انتظارش به TTFT اضافه شد.
در همزمانی 1 اندازهی استخر اهمیتی ندارد، اما FP8 باز هم سریعتر بود: 39.66 میلیثانیه به ازای هر توکن در برابر 60.16 میلیثانیه. اینجا هم همان رفتار GB10 تکرار شد. مرحلهی رمزگشایی در L4 برای هر توکن باید تمام وزنها را بخواند و حجم وزنهای FP8 نصف است.
روی این کارت گرافیک، تفاوت نرخ پردازش موثر (goodput) کاملاً مشخص است. هدف ما رسیدن به TTFT زیر 1 ثانیه و TPOT زیر 100 میلیثانیه بود. در همزمانیهای 32 و 64، سرور BF16 توانست 0 درخواست بر ثانیه در محدودهی مجاز تحویل دهد؛ درحالیکه FP8 در همزمانی 64 به نرخ 2.87 درخواست بر ثانیه در محدودهی مجاز رسید.
وقتی استخر برای پیشوندها بیش از حد کوچک است
در آزمون قبلی L4 به BF16 یک استخر کامل داده بودیم. سپس به هر دو ساختار همان بودجهی کوچکتر --mem-fraction-static 0.74 را دادیم و آزمون پیشوند مشترک بخش 3.3 را اجرا کردیم. هر اجرا شامل 64 پرامپت بود که در 4 گروه 16تایی توسط 8 کاربر ارسال میشدند و طول پرامپت سیستم مشترک بین 0 تا 4,096 توکن تغییر میکرد. نگهداری چهار گروه با 4,096 توکن نیازمند فضایی در حدود 16,000 توکن پیشوند در کش است.
[2026-10-18 19:35:26] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 6559, K size: 0.45 GB, V size: 0.45 GB
[2026-10-18 22:02:58] KV Cache is allocated. dtype: torch.float8_e4m3fn, #tokens: 107299, K size: 3.68 GB, V size: 3.68 GBاستخر BF16 و استخر FP8 با نسبت حافظه یکسان 0.74.
| توکنهای پرامپت مشترک | توکن خروجی بر ثانیه (BF16 / FP8) | میانه TTFT (BF16 / FP8) |
|---|---|---|
| 0 | 113.5 / 180.1 | 354 / 255 میلیثانیه |
| 1,024 | 95.0 / 164.1 | 470 / 349 میلیثانیه |
| 2,048 | 25.9 / 155.1 | 12,576 / 380 میلیثانیه |
| 4,096 | 10.9 / 134.8 | 40,126 / 372 میلیثانیه |
اندازهگیریهای ما سقوط ناگهانی کارایی را در BF16 ثبت کرد، درحالیکه در FP8 افت شدیدی رخ نداد. استخر BF16 فقط 6,559 توکن فضا داشت؛ بنابراین با رسیدن طول پرامپت مشترک به 2,048 توکن، چهار پیشوند دیگر در آن جا نگرفتند. زمان رسیدن به اولین توکن در آن از 470 میلیثانیه به 12.6 ثانیه رسید. در سوی دیگر، استخر FP8 فضایی معادل 107,299 توکن داشت و تمام پیشوندها را حفظ کرد؛ زمان اولین توکن آن در تمام طولها زیر 400 میلیثانیه ماند. در پرامپت مشترک با طول 2,048 توکن، FP8 حدود 6.0 برابر خروجی BF16 بازدهی داشت.
یک نکتهی فنی دربارهی سطر آخر وجود دارد: پردازندهی گرافیکی در اجرای BF16 با 4,096 توکن مشترک، حتی بعد از سه بار تلاش به کف فرکانس 1,000 مگاهرتز نرسید و میانهی کلاک روی 390 مگاهرتز ماند. نتیجهی دقیقتر را از روی سطر 2,048 بخوانید. در سطر 2,048 میانهی کلاک BF16 برابر 1,275 مگاهرتز و بالاتر از کف تعیینشده بود، اگرچه در نیمی از نمونهها پرچم محدودیت حرارتی فعال شد. اجرای FP8 میانهی کلاکی بین 1,200 تا 1,260 مگاهرتز را ثبت کرد.
سیستم Inside an LLM Serving GPU آزمون استخر کوچک را روی یک کارت L4 شبیهسازی میکند. با باز کردن این لینک، مدل BF16 با نسبت حافظهی 0.74 و 2,048 توکن مشترک اجرا میشود. چهار پیشوند همزمان در فضای 6,559 توکنی جا نمیشوند؛ در نتیجه درخت کش آنها را خارج میکند (evict) و درخواستها ناچارند آنها را دوباره محاسبه کنند. وزنها را به FP8 تغییر دهید تا ببینید چطور تمام پیشوندها در فضای 107,299 توکنی حفظ میشوند.
جمعبندی ما
از چکپوینتهای کوانتیزهشدهی آفلاین استفاده کنید و پرچم --quantization را پاس ندهید؛ مستندات SGLang نیز همین توصیه را دارند {{docs}}. کوانتیزهسازی آنلاین تنها زمان لود را بالا میبرد و چکپوینتی به شما تحویل میدهد که هیچکس دقت آن را ارزیابی نکرده است.
نوع دادهی کش کلید-مقدار را با هدف مدیریت حافظه انتخاب کنید، نه سرعت. اگر سرور شما به دلیل پر شدن استخر حافظه درخواستها را به صف میفرستد، FP8 کمهزینهترین افزایش ظرفیتی است که اندازهگیری کردهایم. در آزمایشهای ما وزنها و کش همزمان تغییر کردند. برای بررسی اثر کش FP8 بهتنهایی، شواهد موجود همان گزارش میدانی بخش 3.1 است که در آن حالت حتماً به فایل مقیاس نیاز خواهید داشت. اگر استخر به اندازهی کافی جا دارد، بگذارید همان نوع دادهی مدل باقی بماند.
روی کارت GB10 ما با مدل Qwen3-30B-A3B، وزنهای FP8 همراه با کش کلید-مقدار FP8 در تمامی سطوح همزمانی بین 1.73 تا 1.88 برابر نرخ پردازش بالاتری ثبت کردند. از آنجا که مرحلهی رمزگشایی روی این کارت معطل حافظه میماند، وزنهای سبکتر سریعتر اجرا میشوند. قبل از بالا آوردن در محیط عملیاتی، حتماً دقت مدل را روی وظایف (task) خود ارزیابی کنید.
اگر فازهای پیشپرکنی و رمزگشایی را روی سرورهای جداگانه اجرا میکنید، کوانتیزهسازی را برای هر فاز جداگانه در نظر بگیرید. وزنهای کوچکتر به فاز رمزگشایی کمک میکنند، اما ممکن است سرعت فاز پیشپرکنی را کاهش دهند.
گزارشهای میدانی
پر شدن کش BF16 در 64 درخواست. کلودفلر {{field Cloudflare 2026-08}} گزارش داد که اجرای Kimi K2.6 با کش کلید-مقدار BF16 در همزمانی 64 دچار کمبود حافظه شد. کش FP8 توانست به جای حدود 686,000 توکن، نزدیک به 1.37 میلیون توکن را نگه دارد و همان بار کاری را پاسخ دهد.
ناتوانی کانتینر در اجرای NVFP4. یک گزارش میدانی از joshua8.ai {{field joshua8 2026-01}} روی کارت RTX PRO 6000 معماری Blackwell نشان داد که فرمت NVFP4 درون کانتینر SGLang اجرا نشد؛ به همین دلیل نویسنده SGLang را روی فرمت GPTQ-INT4 با vLLM روی فرمت NVFP4 مقایسه کرد. همیشه موتورهای مختلف را با فرمت وزن کاملاً یکسان مقایسه کنید؛ در غیر این صورت نتیجه تفاوت فرمتها را نشان میدهد نه موتورها را.
نیاز FP4 به یک نسل پردازندهی یکسان. جمعبندی یکی از کاربران در Pivot News {{field Pivot News 2026-05}} نشان داد وقتی کارتهای RTX 4090 به پایپلاین (pipeline) کارتهای Blackwell اضافه شدند، SGLang کرش کرد. مسیر پردازشی FP4 آن به قابلیت محاسباتی نسخه 10.0 نیاز داشت و هیچ مسیر نرمافزاری برای کارتهای قدیمیتر وجود نداشت. این گزارش از طریق یک خلاصهی ثانویه از پستی در Reddit به دست ما رسید.
منابع: capture/gpu/out-gb10/server-default.log، server-fp8.log، server-fp8.command.txt، generate.txt، fp8-generate.txt، capture/gpu/summary/gb10.json، capture/gpu/summary/l4.json، capture/gpu/out-l4/server-load-default.log، server-load-fp8.log؛ سورسکد نسخهی v0.5.22 در مسیرهای python/sglang/srt/arg_groups/choices.py (QUANTIZATION_CHOICES)، arg_groups/fields/model.py (kv_cache_dtype, quantization_param_path)، configs/model_config.py (_verify_quantization)، layers/quantization/init.py (get_quantization_config)، layers/quantization/gptq/gptq.py (override_quantization_method)، layers/quantization/fp8.py و مستندات docs/docs/advanced_features/quantization.mdx؛ سورسکد نسخهی v0.5.22 در مسیرهای model_executor/model_runner_components/load_model_utils.py (load_kv_cache_scales) و layers/quantization/compressed_tensors/compressed_tensors.py (kv_cache_scheme)؛ پولریکوئست PR #32114؛ پولریکوئست PR #35455 (مقیاسهای KV برای compressed-tensors، ثبت merge در 2026-08-20)؛ ایندکس model.safetensors.index.json از مدل Qwen/Qwen3-30B-A3B-Instruct-2507-FP8 (بررسیشده در 2026-10-22)؛ مقالهی تیم vLLM با عنوان The State of FP8 KV-Cache and Attention Quantization in vLLM (تاریخ 2026-04-22)؛ گزارشهای میدانی Cloudflare (تاریخ 2026-08-03)، joshua8.ai (تاریخ 2026-01-10) و Pivot News (تاریخ 2026-05-19)؛ capture/gpu/out-l4/server-small-pool-bf16-fp8.log، capture/gpu/summary/l4.json (prefix.small-pool, prefix.fp8-small-pool)، capture/gpu/out-l4/server-load-c64-scheduler.log و capture/gpu/out-l4/gsm8k-fp8-accuracy.txt.