بخش 4.3 · هر گذر رو به جلو

پرچم‌های ‎--quantization‎ و ‎--kv-cache-dtype‎

--quantization and --kv-cache-dtype

فهرست مطالب
  1. سه انتخاب، سه پرچم
  2. وزن‌ها: اولویت با حالت آفلاین
  3. کش کلید-مقدار: افزایش ظرفیت همراه با ضریب مقیاس
  4. بررسی لود شدن درست مقیاس‌ها
  5. کوانتیزه‌سازی تصمیمی برای افزایش ظرفیت است
  6. یافته‌های ما روی پردازنده‌ی GB10
  7. تکرار آزمایش روی کارت 24 گیگابایتی L4
  8. وقتی استخر برای پیشوندها بیش از حد کوچک است
  9. جمع‌بندی ما
  10. گزارش‌های میدانی

کوانتیزه‌سازی (Quantization) در درجه‌ی اول حافظه آزاد می‌کند و بعد سرعت می‌بخشد. SGLang وزن‌ها، کرنل‌های GEMM و کش کلید-مقدار (KV cache) را در قالب سه انتخاب کاملاً مجزا نگه می‌دارد تا فقط چیزی را تغییر دهید که واقعاً نیاز دارید.

کلودفلر (Cloudflare) مدل Kimi K2.6 را با کش کلید-مقدار BF16 سرو کرد و همزمانی را پله‌پله بالا برد. در 32 درخواست هم‌زمان، سرور به نرخ پردازش 1,558 توکن بر ثانیه رسید، اما در همزمانی 64 با کمبود حافظه (OOM) مواجه شد. همین سرویس با کش کلید-مقدار FP8 در 64 درخواست هم‌زمان به نرخ 2,192 توکن بر ثانیه دست یافت؛ یعنی حدود 41% بیشتر از بهترین نتیجه‌ی BF16 {{field Cloudflare 2026-08}}. کش FP8 در تمام همزمانی‌هایی که هر دو نسخه توان اجرای آن را داشتند، به ازای هر توکن کندتر عمل کرد؛ برتری آن صرفاً به این دلیل بود که توانست دو برابر درخواست بیشتر را در حافظه جای دهد.

پس از پایان این بخش، می‌توانید تفاوت کوانتیزه‌سازی وزن‌ها با کوانتیزه‌سازی کش کلید-مقدار را تشخیص دهید، یک چک‌پوینت (checkpoint) کوانتیزه‌شده را بدون برهم‌زدن فرایند شناسایی خودکار لود کنید، میزان حافظه‌ی آزادشده را پیش از سنجش سرعت بسنجید و مشخص کنید کاهش دقت (precision) دقیقاً مناسب کدام بخش است.

سه انتخاب، سه پرچم

کوانتیزه‌سازی وزن‌ها: ذخیره‌ی وزن‌های مدل با بیت‌های کمتر، مثل FP8، FP4 یا INT4. این کار حجم وزن‌ها و ترافیک حافظه را در هر GEMM کاهش می‌دهد. روش کوانتیزه‌سازی با پرچم ‎--quantization‎ انتخاب می‌شود.

بک‌اند GEMM: کتابخانه‌ی کرنلی (kernel) که ضرب ماتریسی وزن‌های کوانتیزه‌شده را اجرا می‌کند. این گزینه با پرچم‌های ‎--fp8-gemm-backend‎ و ‎--fp4-gemm-backend‎ تعیین می‌شود و پیش‌فرض هر دو روی auto است که مقدار مناسب را بر اساس نسل پردازنده‌ی گرافیکی انتخاب می‌کند.

نوع داده‌ی کش کلید-مقدار (KV cache dtype): فرمت ذخیره‌سازی کلیدها و مقدارهای کش‌شده در حافظه. این مقدار با پرچم ‎--kv-cache-dtype‎ و جدا از وزن‌ها تعیین می‌شود. حالت پیش‌فرض آن auto است و از نوع داده‌ی خود مدل پیروی می‌کند.

یک مدل می‌تواند با وزن‌های FP8 و کش کلید-مقدار BF16 اجرا شود، یا برعکس با وزن‌های BF16 و کش کلید-مقدار FP8 بالا بیاید. هر کدام از این انتخاب‌ها بخش متفاوتی از حافظه را تغییر می‌دهند؛ بنابراین به چشم سه تصمیم مستقل به آن‌ها نگاه کنید.

وزن‌ها: اولویت با حالت آفلاین

در نسخه‌ی v0.5.22، پرچم ‎--quantization‎ تعداد 31 نام روش مختلف را می‌پذیرد. بیشتر آن‌ها مربوط به چک‌پوینت‌هایی هستند که قبلاً کوانتیزه شده‌اند: AWQ، GPTQ، نگارش‌های FP8 و FP4 از ModelOpt، فشرده‌سازی compressed-tensors، GGUF، Quark و موارد دیگر. تعداد معدودی نیز وزن‌های BF16 را هم‌زمان با لود مدل کوانتیزه می‌کنند: fp8، mxfp8، nvfp4_online و گزینه‌های mlx_q4 یا mlx_q8 روی تراشه‌های Apple silicon.

کوانتیزه‌سازی آفلاین: چک‌پوینت از قبل وزن‌های کم‌بیت و مقیاس‌های (scale) آن‌ها را ذخیره کرده است. کوانتیزه‌سازی آنلاین: SGLang وزن‌های با دقت کامل را هنگام لود در حافظه تبدیل می‌کند.

هنگام لود یک چک‌پوینت کوانتیزه‌شده، پرچم ‎--quantization‎ را پاس ندهید. فرایند بررسی پیکربندی مدل، مقدار quantization_config.quant_method را از خود چک‌پوینت می‌خواند و همان را اعمال می‌کند. اگر روش متفاوتی را دستی پاس دهید، این بررسی فقط جفت‌های سازگارِ شناخته‌شده را قبول می‌کند؛ مثل modelopt_fp4 روی یک چک‌پوینت modelopt. در صورت نیاز به کوانتیزه‌سازی مجدد، سیستم لاگ می‌زند که باید دقت مدل را دوباره ارزیابی کنید. هر ناهمخوانی دیگری در زمان راه‌اندازی با خطا متوقف می‌شود.

نحوه تعیین فرمت وزن‌ها توسط SGLangچک‌پوینت روش کوانتیزه‌سازی خود را مشخص می‌کند، و فلگ ‎--quantization‎ تنها زمانی مؤثر است که با آن روش یا یک ارتقای شناخته‌شده مطابقت داشته باشد.
نحوه تعیین فرمت وزن‌ها توسط SGLang چهار ردیف، هرکدام شامل یک چک‌پوینت و یک فلگ کوانتیزه‌سازی. چک‌پوینت FP8 بدون فلگ به‌صورت fp8 اجرا می‌شود. چک‌پوینت modelopt با modelopt_fp4 جفتی سازگار و شناخته‌شده است و اجرا می‌شود. چک‌پوینت GPTQ بدون فلگ در محیط اجرا تبدیل شده و روی کرنل Marlin اجرا می‌شود. چک‌پوینت GPTQ با فلگ gptq در بیلد CUDA تبدیل را نادیده گرفته و در زمان راه‌اندازی با خطای Unknown quantization method متوقف می‌شود. CHECKPOINT QUANT_METHOD --QUANTIZATION نتیجه هنگام راه‌اندازی fp8 وزن‌ها روی دیسک تنظیم‌نشده خط فرمان شما fp8 خوانده‌شده از چک‌پوینت modelopt وزن‌ها روی دیسک modelopt_fp4 خط فرمان شما modelopt_fp4 جفت سازگار شناخته‌شده gptq وزن‌ها روی دیسک تنظیم‌نشده خط فرمان شما gptq_marlin تبدیل‌شده در محیط اجرا gptq وزن‌ها روی دیسک gptq خط فرمان شما خطای راه‌اندازی Unknown quantization method
هر ردیف را از چپ به راست بخوانید. فلش صورتی به خطای راه‌اندازی منتهی می‌شود. آخرین ردیف، مسیر CUDA در نسخه 0.5.22 است. برگرفته از _verify_quantization و بازنویسی GPTQ Marlin در نسخه 0.5.22.

این پرچم حتی می‌تواند مانع ارتقای خودکار کرنل شود. اگر یک چک‌پوینت GPTQ را بدون هیچ پرچمی لود کنید، سیستم آن را شناسایی کرده، در محیط اجرا (runtime) تبدیل می‌کند و در نهایت با کرنل Marlin سرویس می‌دهد. کد ارتقا این تبدیل را تنها زمانی می‌پذیرد که هیچ روشی تعیین نکرده باشید یا صراحتاً gptq_marlin را داده باشید.

در تاریخ 2026-09-10، پول‌ریکوئست PR #32114 کرنل معمولی GPTQ CUDA را حذف کرد و در بیلد CUDA دیگر ورودی‌ای به نام gptq در رجیستری روش‌ها وجود ندارد. پارسر پرچم‌ها همچنان ‎--quantization gptq‎ را می‌پذیرد، اما بررسی پیکربندی مدل دیگر ارتقا به Marlin را انجام نمی‌دهد و خطای Unknown quantization method: gptq برمی‌گرداند. این مسیر را مستقیماً از روی کد منبع خواندیم و روی GPU اجرایش نکردیم.

کش کلید-مقدار: افزایش ظرفیت همراه با ضریب مقیاس

پرچم ‎--kv-cache-dtype‎ مقادیر auto، bf16، fp8_e4m3، fp8_e5m2، mxfp8 (فقط برای FA4)، nvfp4 و fp4_mx_block16 را می‌پذیرد. فرمت FP8 بایت‌های لازم به ازای هر توکن را نصف و فرمت FP4 آن را یک‌چهارم می‌کند؛ در نتیجه یک استخر حافظه‌ی ثابت می‌تواند دو تا چهار برابر توکن بیشتری نگه دارد. بخش 3.1 نحوه‌ی محاسبه‌ی بایت به ازای هر توکن را برای مدل‌تان نشان می‌دهد.

فرمت FP8 برای هر تنسور (tensor) به یک ضریب مقیاس نیاز دارد. راهنمای پرچم ‎--quantization-param-path‎ می‌گوید اگر نوع داده‌ی کش کلید-مقدار را FP8 گذاشتید، فایل مقیاس‌ها را به آن بدهید. بدون این فایل، تمام ضرایب مقیاس برابر 1.0 در نظر گرفته می‌شوند که می‌تواند دقت خروجی را کاهش دهد {{code}}. هر بار که نوع داده‌ی کش کلید-مقدار را تغییر می‌دهید، حتماً یک تست ارزیابی دقت بگیرید.

تیم vLLM ضریب مقیاسِ 1.0 را بدترین حالت برای دقت مدل در نظر می‌گیرد. آن‌ها در سال 2026 کش‌های کلید-مقدار FP8 کالیبره‌نشده را تست کردند و در آزمایش‌هایشان دقت بیشتر مدل‌ها بسیار نزدیک به BF16 ماند. البته آن‌ها مشخصاً از Kimi-K2.5 روی بک‌اند FlashMLA به عنوان مدلی نام بردند که حتماً به مقیاس‌های کالیبره‌شده نیاز دارد. ما خودمان این نتایج را بازتولید و اندازه‌گیری نکردیم.

کلودفلر نتایج بررسی خود را منتشر کرد. روی Kimi K2.6، مقایسه‌ی BF16 با کش کلید-مقدار FP8 این نمرات را نشان داد: روی بنچمارک GSM8K نمرات 94.24 در برابر 94.09؛ روی MMLU نمرات 89.11 در برابر 89.04؛ و روی MMLU-Pro نمرات 80.29 در برابر 79.29 {{field Cloudflare 2026-08}}. این‌ها ارقام آن‌ها روی مدل خودشان است و مدل شما ممکن است رفتار متفاوتی داشته باشد.

ما نیز در تاریخ 2026-10-23 بررسی مستقلی روی کارت L4 خود انجام دادیم: 500 سوال اول بنچمارک GSM8K، به صورت 8-shot و رمزگشایی حریصانه (greedy)، با دو مدل Qwen/Qwen3-8B و Qwen/Qwen3-8B-FP8. هیچ‌یک از این دو چک‌پوینت مقیاس‌های KV را نداشتند؛ بنابراین اجرای FP8 KV با مقیاس پیش‌فرض 1.0 انجام شد.

دقت GSM8K، با 500 سؤال، 8-shot، مدل Qwen3-8B روی SGLang 0.5.22 capture/gpu/out-l4/gsm8k-fp8-accuracy.txt
engine   config                     correct   accuracy   Wilson 95% interval
SGLang   BF16                       458/500   91.6%      88.8 to 93.7
SGLang   FP8 weights                456/500   91.2%      88.4 to 93.4
SGLang   FP8 KV cache               458/500   91.6%      88.8 to 93.7
SGLang   FP8 weights + FP8 KV       460/500   92.0%      89.3 to 94.1
…

ردیف‌های مربوط به SGLang. ردیف‌های vLLM از همین فایل حذف شده‌اند.

هر چهار بازه با یکدیگر همپوشانی دارند؛ بنابراین این اجرا تفاوت معناداری نشان نداد. البته با 500 سوال نمی‌توان احتمال افت چند دهم درصدی را کاملاً رد کرد. این فقط یک مدل و یک بنچمارک است و جای ارزیابی روی مدل خاص خودتان را نمی‌گیرد.

بررسی لود شدن درست مقیاس‌ها

اگر پرچم ‎--quantization-param-path‎ را ندهید، هشدار Using FP8 KV cache but no scaling factors provided چاپ می‌شود {{code}}. با این حال، یک چک‌پوینت می‌تواند مقیاس‌ها را درون همان فایل‌های وزن خود به همراه داشته باشد. در نتیجه، دیدن این هشدار به‌تنهایی مشخص نمی‌کند سرور از کدام مقیاس‌ها استفاده کرده است.

ابتدا فایل‌های چک‌پوینت را بررسی کنید. درون ایندکس وزن‌ها دنبال نام تنسورهایی بگردید که به k_scale یا v_scale ختم می‌شوند:

grep -oE '"[^"]*(k|v)_scale"' model.safetensors.index.json | sort -u

ما این جستجو را در تاریخ 2026-10-22 روی ایندکس مدل Qwen/Qwen3-30B-A3B-Instruct-2507-FP8 اجرا کردیم. ایندکس فقط مقیاس‌های مربوط به وزن‌ها را برگرداند و هیچ مقیاسی برای KV پیدا نشد؛ در نتیجه سرور FP8 ما در آزمایش زیر با مقیاس KV برابر 1.0 کار کرد.

سپس لاگ‌های لود شدن را بخوانید. پیش از PR #35455، موتور SGLang مقیاس‌های KV را در چک‌پوینت‌های compressed-tensors نادیده می‌گرفت و لاگ سرور پارامترهای k_scale را پیدا‌نشده گزارش می‌کرد {{issue #35455}}. این ایراد در سورس نسخه‌ی v0.5.22 برطرف شده است {{code}}. با این حال، اگر هشداری مبنی بر نبودِ k_scale یا v_scale دیدید، همچنان به این معناست که لودر آن مقیاس‌ها را رد کرده است. در این پول‌ریکوئست، روی چک‌پوینتی با مقیاس‌های نزدیک به 1.0، نمره‌ی GSM8K در حالت مقیاس‌های نادیده‌گرفته‌شده برابر 0.960 و با مقیاس‌های درست لودشده برابر 0.965 ثبت شد.

در گام آخر، پرامپت‌های (prompt) واقعی خودتان را در هر دو حالت با و بدون FP8 اجرا و خروجی‌ها را با هم مقایسه کنید؛ این کار را حتماً پیش از رفتن به محیط عملیاتی (production) انجام دهید.

کوانتیزه‌سازی تصمیمی برای افزایش ظرفیت است

مقایسه کش کلید-مقدار BF16 در برابر FP8 روی Kimi K2.6کش کلید-مقدار FP8 در هر بار پردازشی که هر دو کش قادر به اجرای آن هستند، چند درصد کندتر است، اما پس از اتمام حافظه در کش BF16 همچنان به مقیاس‌پذیری ادامه می‌دهد.
مقایسه کش کلید-مقدار BF16 در برابر FP8 روی Kimi K2.6 میله‌های جفت‌شده توکن‌های خروجی بر ثانیه در همزمانی 1، 8، 16، 32 و 64، گزارش‌شده توسط Cloudflare. مقدار BF16 در برابر FP8: 137 در برابر 125، 731 در برابر 689، 1106 در برابر 1028، 1558 در برابر 1489. در همزمانی 64، کش BF16 با اتمام حافظه مواجه شد و کش FP8 نرخ 2192 توکن بر ثانیه را ثبت کرد. توکن خروجی/ثانیه برحسب همزمانی 137 125 c=1 731 689 c=8 1106 1028 c=16 1558 1489 c=32 OOM 2192 c=64 کش کلید-مقدار BF16 کش کلید-مقدار FP8 Cloudflare، 2026-08-03
توکن‌های خروجی بر ثانیه بر اساس همزمانی، بر اساس گزارش Cloudflare در تاریخ 2026-08-03. میله‌های خط‌چین BF16 و میله‌های توپر FP8 هستند. رنگ صورتی نشان‌دهنده خطای اتمام حافظه (OOM) است. هیچ نسخه‌ای از SGLang اعلام نشده بود.

کلودفلر وزن‌های INT4 را نیز روی GLM 5.2 بررسی کرد {{field Cloudflare 2026-08}}. مرحله‌ی رمزگشایی (decode) سریع‌تر شد؛ یعنی از 60 به 92 توکن بر ثانیه در همزمانی 1 و از 1,672 به 1,933 توکن بر ثانیه در همزمانی 64 رسید. در مقابل، مرحله‌ی پیش‌پرکنی (prefill) کندتر شد و از حدود 10,160 توکن بر ثانیه با FP8 به حدود 8,660 توکن با INT4 افت کرد.

محدودیت اصلی مرحله‌ی رمزگشایی ترافیک حافظه است؛ بنابراین وزن‌های سبک‌تر به آن کمک می‌کنند. اما گلوگاه پیش‌پرکنی، توان محاسباتی است و تبدیل معکوس (dequantization) وزن‌های INT4 بار محاسباتی اضافه دارد. کلودفلر این دو فاز را روی سرورهای جداگانه تفکیک کرد؛ سرورهای رمزگشایی با INT4 و سرورهای پیش‌پرکنی با FP8 بالا آمدند. بخش 6.3 جزئیات این تفکیک را توضیح می‌دهد.

یافته‌های ما روی پردازنده‌ی GB10

ما مدل Qwen/Qwen3-30B-A3B-Instruct-2507 را دو بار روی یک پردازنده‌ی NVIDIA GB10 سرو کردیم. سرور اول چک‌پوینت BF16 را بالا آورد. سرور دوم چک‌پوینت FP8 یعنی Qwen/Qwen3-30B-A3B-Instruct-2507-FP8 را با پرچم ‎--kv-cache-dtype fp8_e4m3‎ لود کرد. در هر دو حالت از ‎--mem-fraction-static 0.7‎ استفاده شد و هیچ پرچم ‎--quantization‎ پاس ندادیم.

سرور FP8 چک‌پوینت خود را شناسایی کرده و استخر حافظه را اندازه می‌زند capture/gpu/out-gb10/server-fp8.log
… Detected fp8 checkpoint.
… Using FP8 KV cache but no scaling factors provided. Defaulting to scaling factors of 1.0.
… Load weight end. elapsed=152.29 s, type=Qwen3MoeForCausalLM, quant=fp8, fmt=e4m3, avail mem=83.63 GB, mem usage=29.75 GB.
… KV Cache is allocated. dtype: torch.float8_e4m3fn, #tokens: 1083008, K size: 24.79 GB, V size: 24.79 GB

چهار سطر از لاگ راه‌اندازی. برچسب‌های زمانی حذف شده‌اند.

اندازه‌گیری‌های ما نشان داد که این دو تغییر چه دستاوردی داشتند. حجم وزن‌ها از 57.75 گیگابایت به 29.75 گیگابایت رسید و زمان لود از 323.61 ثانیه به 152.29 ثانیه کاهش یافت. ظرفیت استخر توکن‌ها نیز از 227,243 توکن به 1,083,008 توکن جهش کرد؛ یعنی 4.77 برابر رشد.

این رقم حاصل ضرب دو اثر است: اول اینکه وزن‌های کوچک‌تر 28.00 گیگابایت حافظه آزاد کردند و حجم استخر بر اساس واحدهای لاگ با 28.78 گیگابایت افزایش، از 20.80 گیگابایت به 49.58 گیگابایت رسید. دوم اینکه هر توکن حالا به نصف بایت قبلی نیاز داشت: یعنی 49,152 بایت در برابر 98,304 بایت برای مدلی با 48 لایه و 4 هد (head) کلید-مقدار با اندازه‌ی 128.

خط دوم خروجی لاگ، همان هشدار بخش قبلی است. چون فایل مقیاس ندادیم، تمام ضرایب روی 1.0 تنظیم شدند. هر دو سرور برای اولین درخواست آزمایشی ما با دمای 0 دقیقاً همان 12 توکن یکسان را تولید کردند؛ البته این فقط یک پرامپت بود، نه یک بررسی کامل دقت.

سرعت در تمام بارهای کاری تغییر کرد. جدول زیر از سرورهای آزمون بار متغیر گرفته شده که اندازه‌ی استخر آن‌ها به ترتیب 234,600 و 1,084,458 توکن بود. در هر سطح همزمانی، تست با سه سید (seed) مختلف اجرا شد:

همزمانی نرخ توکن خروجی BF16 (بر ثانیه) نرخ توکن خروجی FP8 (بر ثانیه) میانه TPOT در BF16 میانه TPOT در FP8
1 29.14 51.50 32.52 میلی‌ثانیه 18.41 میلی‌ثانیه
8 74.11 137.00 102.21 میلی‌ثانیه 54.96 میلی‌ثانیه
32 150.66 283.19 201.91 میلی‌ثانیه 104.12 میلی‌ثانیه
64 235.38 440.86 254.06 میلی‌ثانیه 131.78 میلی‌ثانیه
فرمت FP8 کل منحنی تاخیر و نرخ پردازش را جابه‌جا می‌کندروی GB10، وزن‌های FP8 و کش کلید-مقدار FP8 در تمام همزمانی‌های 1 تا 64، توکن بر ثانیه بیشتر و زمان کمتری به ازای هر توکن ثبت کردند.
فرمت FP8 کل منحنی تاخیر و نرخ پردازش را تغییر می‌دهد، نه فقط یک نقطه را هر نقطه نشان‌دهنده یک همزمانی از 1 تا 64 روی پردازنده GB10 با مدل Qwen3-30B-A3B است که بر حسب نرخ خروجی در برابر میانه زمان به ازای توکن خروجی رسم شده است. در هر سطح همزمانی، نقطه FP8 در سمت راست‌تر و پایین‌تر قرار می‌گیرد: توکن‌های بیشتر در ثانیه با صرف زمان کمتر برای هر توکن. 0 50 100 150 200 250 300 0 100 200 300 400 500 توکن خروجی بر ثانیه میانه TPOT، میلی‌ثانیه c1 c64 c1 c64 وزن BF16، کش KV از نوع BF16 وزن FP8، کش KV از نوع FP8
هر نقطه نشان‌دهنده یک همزمانی از c1 تا c64 است. محور افقی توکن‌های خروجی بر ثانیه و محور عمودی میانه TPOT است. رنگ بنفش BF16 و رنگ سبز FP8 است. برگرفته از capture/gpu/summary/gb10.json.

این نتیجه با گزارش کلودفلر در بالا تفاوت دارد. آنجا کش FP8 به ازای هر توکن کمی کندتر بود و به خاطر ظرفیت بیشتر برنده شد. اما اینجا وزن‌ها هم FP8 بودند. مرحله‌ی رمزگشایی روی این پردازنده، وزن‌ها را از حافظه‌ای با پهنای باند متوسط می‌خواند؛ بنابراین نصف شدن بایت‌ها، سرعت را تقریباً دو برابر کرد.

تکرار آزمایش روی کارت 24 گیگابایتی L4

کارت GB10 حدود 121.7 گیبی‌بایت حافظه دارد و استخر BF16 آن هیچ‌وقت کم نیاورد. برای دیدن روی دیگر سکه، همین آزمون را روی یک کارت NVIDIA L4 با دو مدل Qwen/Qwen3-8B و Qwen/Qwen3-8B-FP8 تکرار کردیم. هر دو سرور از ‎--mem-fraction-static 0.85‎ استفاده کردند. در این تست، سیستم پیش از شروع هر مرحله صبر می‌کرد تا دمای کارت به 72 درجه‌ی سانتی‌گراد برسد.

سرور BF16 روی پردازنده L4 capture/gpu/out-l4/server-load-default.log
… Load weight end. elapsed=3.92 s, type=Qwen3ForCausalLM, avail mem=6.59 GB, mem usage=15.28 GB.
… KV Cache is allocated. dtype: torch.bfloat16, #tokens: 24094, K size: 1.65 GB, V size: 1.65 GB

دو سطر از لاگ راه‌اندازی. برچسب‌های زمانی حذف شده‌اند.

سرور FP8 روی پردازنده L4 capture/gpu/out-l4/server-load-fp8.log
… Load weight end. elapsed=2.54 s, type=Qwen3ForCausalLM, quant=fp8, fmt=e4m3, avail mem=13.06 GB, mem usage=8.81 GB.
… KV Cache is allocated. dtype: torch.float8_e4m3fn, #tokens: 142369, K size: 4.89 GB, V size: 4.89 GB

دو سطر از لاگ راه‌اندازی. برچسب‌های زمانی حذف شده‌اند.

اندازه‌گیری‌های ما نشان داد که اندازه‌ی استخر برای BF16 برابر 24,094 توکن و برای FP8 برابر 142,369 توکن بود؛ یعنی 5.91 برابر بیشتر. در این تست، هر درخواست شامل 512 توکن ورودی و 128 توکن خروجی بود. استخر BF16 گنجایش حدود 37 درخواست از این دست را داشت.

همزمانی نرخ توکن خروجی BF16 (بر ثانیه) نرخ توکن خروجی FP8 (بر ثانیه) میانه TTFT در BF16 میانه TTFT در FP8
1 13.42 24.53 189.16 میلی‌ثانیه 140.72 میلی‌ثانیه
16 201.09 313.92 211.78 میلی‌ثانیه 147.52 میلی‌ثانیه
32 270.11 507.20 2,969.61 میلی‌ثانیه 199.09 میلی‌ثانیه
64 250.85 735.91 18,348.57 میلی‌ثانیه 296.42 میلی‌ثانیه
روی کارت 24 گیگابایتی استخر حافظه BF16 پر می‌شودروی یک کارت L4، نرخ پردازش BF16 در همزمانی 32 روی 270 توکن بر ثانیه متوقف شد، در حالی که FP8 به صعود تا 736 در همزمانی 64 ادامه داد.
روی کارت 24 گیگابایتی استخر BF16 پر شده و رشد نرخ پردازش متوقف می‌شود نرخ خروجی در برابر همزمانی از 1 تا 64 روی یک کارت NVIDIA L4 با مدل Qwen3-8B، با سه سید به ازای هر نقطه و بازه تغییرات از کمترین تا بیشترین اجرا. خط BF16 در همزمانی 32 به 270 توکن بر ثانیه می‌رسد و در 64 تا 251 افت می‌کند. خط FP8 در همزمانی 64 به صعود خود تا 736 توکن ادامه می‌دهد. 0 200 400 600 800 1 2 4 8 16 32 64 حداکثر همزمانی توکن خروجی بر ثانیه 251 736 BF16، استخر 24٬094 توکنی وزن و KV از نوع FP8، استخر 142٬369 توکنی
نرخ خروجی در برابر حداکثر همزمانی، سه سید (seed) برای هر نقطه. رنگ بنفش BF16 و سبز وزن‌های FP8 با کش کلید-مقدار FP8 است. برگرفته از capture/gpu/summary/l4.json.

لاگ اسکژولر (scheduler) در همزمانی 64 علت اصلی این اختلاف را نشان می‌دهد. سرور BF16 هم‌زمان حداکثر 38 درخواست را اجرا می‌کرد، میزان مصرف توکن آن روی 0.99 بود و 26 درخواست در صف معطل مانده بودند. در مقابل، سرور FP8 تمام 64 درخواست را با مصرف توکن 0.29 و بدون هیچ صفی اجرا کرد. افت نرخ پردازش BF16 از همزمانی 32 به 64 به این دلیل رخ داد که درخواست‌های بیشتری منتظر ماندند و هر درخواست در صف، زمان انتظارش به TTFT اضافه شد.

در همزمانی 1 اندازه‌ی استخر اهمیتی ندارد، اما FP8 باز هم سریع‌تر بود: 39.66 میلی‌ثانیه به ازای هر توکن در برابر 60.16 میلی‌ثانیه. اینجا هم همان رفتار GB10 تکرار شد. مرحله‌ی رمزگشایی در L4 برای هر توکن باید تمام وزن‌ها را بخواند و حجم وزن‌های FP8 نصف است.

روی این کارت گرافیک، تفاوت نرخ پردازش موثر (goodput) کاملاً مشخص است. هدف ما رسیدن به TTFT زیر 1 ثانیه و TPOT زیر 100 میلی‌ثانیه بود. در همزمانی‌های 32 و 64، سرور BF16 توانست 0 درخواست بر ثانیه در محدوده‌ی مجاز تحویل دهد؛ درحالی‌که FP8 در همزمانی 64 به نرخ 2.87 درخواست بر ثانیه در محدوده‌ی مجاز رسید.

وقتی استخر برای پیشوندها بیش از حد کوچک است

در آزمون قبلی L4 به BF16 یک استخر کامل داده بودیم. سپس به هر دو ساختار همان بودجه‌ی کوچک‌تر ‎--mem-fraction-static 0.74‎ را دادیم و آزمون پیشوند مشترک بخش 3.3 را اجرا کردیم. هر اجرا شامل 64 پرامپت بود که در 4 گروه 16تایی توسط 8 کاربر ارسال می‌شدند و طول پرامپت سیستم مشترک بین 0 تا 4,096 توکن تغییر می‌کرد. نگهداری چهار گروه با 4,096 توکن نیازمند فضایی در حدود 16,000 توکن پیشوند در کش است.

دو استخر با بودجه حافظه یکسان capture/gpu/out-l4/server-small-pool-bf16-fp8.log
[2026-10-18 19:35:26] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 6559, K size: 0.45 GB, V size: 0.45 GB
[2026-10-18 22:02:58] KV Cache is allocated. dtype: torch.float8_e4m3fn, #tokens: 107299, K size: 3.68 GB, V size: 3.68 GB

استخر BF16 و استخر FP8 با نسبت حافظه یکسان 0.74.

توکن‌های پرامپت مشترک توکن خروجی بر ثانیه (BF16 / FP8) میانه TTFT (BF16 / FP8)
0 113.5 / 180.1 354 / 255 میلی‌ثانیه
1,024 95.0 / 164.1 470 / 349 میلی‌ثانیه
2,048 25.9 / 155.1 12,576 / 380 میلی‌ثانیه
4,096 10.9 / 134.8 40,126 / 372 میلی‌ثانیه

اندازه‌گیری‌های ما سقوط ناگهانی کارایی را در BF16 ثبت کرد، درحالی‌که در FP8 افت شدیدی رخ نداد. استخر BF16 فقط 6,559 توکن فضا داشت؛ بنابراین با رسیدن طول پرامپت مشترک به 2,048 توکن، چهار پیشوند دیگر در آن جا نگرفتند. زمان رسیدن به اولین توکن در آن از 470 میلی‌ثانیه به 12.6 ثانیه رسید. در سوی دیگر، استخر FP8 فضایی معادل 107,299 توکن داشت و تمام پیشوندها را حفظ کرد؛ زمان اولین توکن آن در تمام طول‌ها زیر 400 میلی‌ثانیه ماند. در پرامپت مشترک با طول 2,048 توکن، FP8 حدود 6.0 برابر خروجی BF16 بازدهی داشت.

یک نکته‌ی فنی درباره‌ی سطر آخر وجود دارد: پردازنده‌ی گرافیکی در اجرای BF16 با 4,096 توکن مشترک، حتی بعد از سه بار تلاش به کف فرکانس 1,000 مگاهرتز نرسید و میانه‌ی کلاک روی 390 مگاهرتز ماند. نتیجه‌ی دقیق‌تر را از روی سطر 2,048 بخوانید. در سطر 2,048 میانه‌ی کلاک BF16 برابر 1,275 مگاهرتز و بالاتر از کف تعیین‌شده بود، اگرچه در نیمی از نمونه‌ها پرچم محدودیت حرارتی فعال شد. اجرای FP8 میانه‌ی کلاکی بین 1,200 تا 1,260 مگاهرتز را ثبت کرد.

سیستم Inside an LLM Serving GPU آزمون استخر کوچک را روی یک کارت L4 شبیه‌سازی می‌کند. با باز کردن این لینک، مدل BF16 با نسبت حافظه‌ی 0.74 و 2,048 توکن مشترک اجرا می‌شود. چهار پیشوند هم‌زمان در فضای 6,559 توکنی جا نمی‌شوند؛ در نتیجه درخت کش آن‌ها را خارج می‌کند (evict) و درخواست‌ها ناچارند آن‌ها را دوباره محاسبه کنند. وزن‌ها را به FP8 تغییر دهید تا ببینید چطور تمام پیشوندها در فضای 107,299 توکنی حفظ می‌شوند.

جمع‌بندی ما

از چک‌پوینت‌های کوانتیزه‌شده‌ی آفلاین استفاده کنید و پرچم ‎--quantization‎ را پاس ندهید؛ مستندات SGLang نیز همین توصیه را دارند {{docs}}. کوانتیزه‌سازی آنلاین تنها زمان لود را بالا می‌برد و چک‌پوینتی به شما تحویل می‌دهد که هیچ‌کس دقت آن را ارزیابی نکرده است.

نوع داده‌ی کش کلید-مقدار را با هدف مدیریت حافظه انتخاب کنید، نه سرعت. اگر سرور شما به دلیل پر شدن استخر حافظه درخواست‌ها را به صف می‌فرستد، FP8 کم‌هزینه‌ترین افزایش ظرفیتی است که اندازه‌گیری کرده‌ایم. در آزمایش‌های ما وزن‌ها و کش هم‌زمان تغییر کردند. برای بررسی اثر کش FP8 به‌تنهایی، شواهد موجود همان گزارش میدانی بخش 3.1 است که در آن حالت حتماً به فایل مقیاس نیاز خواهید داشت. اگر استخر به اندازه‌ی کافی جا دارد، بگذارید همان نوع داده‌ی مدل باقی بماند.

روی کارت GB10 ما با مدل Qwen3-30B-A3B، وزن‌های FP8 همراه با کش کلید-مقدار FP8 در تمامی سطوح همزمانی بین 1.73 تا 1.88 برابر نرخ پردازش بالاتری ثبت کردند. از آنجا که مرحله‌ی رمزگشایی روی این کارت معطل حافظه می‌ماند، وزن‌های سبک‌تر سریع‌تر اجرا می‌شوند. قبل از بالا آوردن در محیط عملیاتی، حتماً دقت مدل را روی وظایف (task) خود ارزیابی کنید.

اگر فازهای پیش‌پرکنی و رمزگشایی را روی سرورهای جداگانه اجرا می‌کنید، کوانتیزه‌سازی را برای هر فاز جداگانه در نظر بگیرید. وزن‌های کوچک‌تر به فاز رمزگشایی کمک می‌کنند، اما ممکن است سرعت فاز پیش‌پرکنی را کاهش دهند.

گزارش‌های میدانی

پر شدن کش BF16 در 64 درخواست. کلودفلر {{field Cloudflare 2026-08}} گزارش داد که اجرای Kimi K2.6 با کش کلید-مقدار BF16 در همزمانی 64 دچار کمبود حافظه شد. کش FP8 توانست به جای حدود 686,000 توکن، نزدیک به 1.37 میلیون توکن را نگه دارد و همان بار کاری را پاسخ دهد.

ناتوانی کانتینر در اجرای NVFP4. یک گزارش میدانی از joshua8.ai {{field joshua8 2026-01}} روی کارت RTX PRO 6000 معماری Blackwell نشان داد که فرمت NVFP4 درون کانتینر SGLang اجرا نشد؛ به همین دلیل نویسنده SGLang را روی فرمت GPTQ-INT4 با vLLM روی فرمت NVFP4 مقایسه کرد. همیشه موتورهای مختلف را با فرمت وزن کاملاً یکسان مقایسه کنید؛ در غیر این صورت نتیجه تفاوت فرمت‌ها را نشان می‌دهد نه موتورها را.

نیاز FP4 به یک نسل پردازنده‌ی یکسان. جمع‌بندی یکی از کاربران در Pivot News {{field Pivot News 2026-05}} نشان داد وقتی کارت‌های RTX 4090 به پایپ‌لاین (pipeline) کارت‌های Blackwell اضافه شدند، SGLang کرش کرد. مسیر پردازشی FP4 آن به قابلیت محاسباتی نسخه 10.0 نیاز داشت و هیچ مسیر نرم‌افزاری برای کارت‌های قدیمی‌تر وجود نداشت. این گزارش از طریق یک خلاصه‌ی ثانویه از پستی در Reddit به دست ما رسید.

منابع: capture/gpu/out-gb10/server-default.log، server-fp8.log، server-fp8.command.txt، generate.txt، fp8-generate.txt، capture/gpu/summary/gb10.json، capture/gpu/summary/l4.json، capture/gpu/out-l4/server-load-default.log، server-load-fp8.log؛ سورس‌کد نسخه‌ی v0.5.22 در مسیرهای python/sglang/srt/arg_groups/choices.py (QUANTIZATION_CHOICES)، arg_groups/fields/model.py (kv_cache_dtype, quantization_param_path)، configs/model_config.py (_verify_quantization)، layers/quantization/init.py (get_quantization_config)، layers/quantization/gptq/gptq.py (override_quantization_method)، layers/quantization/fp8.py و مستندات docs/docs/advanced_features/quantization.mdx؛ سورس‌کد نسخه‌ی v0.5.22 در مسیرهای model_executor/model_runner_components/load_model_utils.py (load_kv_cache_scales) و layers/quantization/compressed_tensors/compressed_tensors.py (kv_cache_scheme)؛ پول‌ریکوئست PR #32114؛ پول‌ریکوئست PR #35455 (مقیاس‌های KV برای compressed-tensors، ثبت merge در 2026-08-20)؛ ایندکس model.safetensors.index.json از مدل Qwen/Qwen3-30B-A3B-Instruct-2507-FP8 (بررسی‌شده در 2026-10-22)؛ مقاله‌ی تیم vLLM با عنوان The State of FP8 KV-Cache and Attention Quantization in vLLM (تاریخ 2026-04-22)؛ گزارش‌های میدانی Cloudflare (تاریخ 2026-08-03)، joshua8.ai (تاریخ 2026-01-10) و Pivot News (تاریخ 2026-05-19)؛ capture/gpu/out-l4/server-small-pool-bf16-fp8.log، capture/gpu/summary/l4.json (prefix.small-pool, prefix.fp8-small-pool)، capture/gpu/out-l4/server-load-c64-scheduler.log و capture/gpu/out-l4/gsm8k-fp8-accuracy.txt.

ترجمه‌ی فارسی --quantization and --kv-cache-dtype از راهنمای SGLang 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما