وضعیت
تیمی مدل Qwen/Qwen3-8B را با فرمت BF16 روی یک پردازندهی گرافیکی L4 برای یک دستیار داخلی سرو میکند. در 64 کاربر همزمان، میانهی زمان تا اولین توکن (TTFT) حدود 18 ثانیه است و کارت گرافیک، بهرهوری کامل (full utilization) را گزارش میدهد. مهندس نوبت پاسخگویی (آنکال)، یک خط از لاگ رمزگشایی (decode) اسکژولر (scheduler) را میبیند: 38 درخواست در حال اجرا، نرخ مصرف توکن 0.99 و 26 درخواست در صف انتظار. برنامهی اولیهی تیم این است که یک کارت L4 دوم اضافه کند و یک توزیعکنندهی بار (load balancer) جلوی این دو کارت بگذارد.
یکی از همکاران پیشنهاد میدهد از چکپوینت (checkpoint) همین مدل با فرمت FP8 استفاده کنند و همزمان روی همان کارت، کش کلید-مقدار (KV cache) نیز با فرمت FP8 باشد. تیم نگران افت دقت است و از اینکه دو متغیر را همزمان تغییر دهد واهمه دارد. شما لاگهای راهاندازی هر دو سرور از همان آزمایش مقایسهای یکپارچه، یک خط لاگ رمزگشایی از هر کدام در 64 کاربر، خروجی آزمون دقت و جدول مستندات را در اختیار دارید.
- نسخه
- SGLang 0.5.22
- مدل
- Qwen/Qwen3-8B in BF16, against Qwen/Qwen3-8B-FP8 with an FP8 KV cache
- سختافزار
- one L4 with 24 GB of memory
شواهد
- یک خط لاگ رمزگشایی از هر سرور در 64 کاربر
- سرور BF16 هنگام راهاندازی: وزنها و استخر حافظه
- سرور FP8 هنگام راهاندازی: وزنها و استخر حافظه
- شروع به کار FP8: شناسایی چکپوینت و هشدار فاکتورهای مقیاسگذاری
- نرخ پردازش و اولین توکن از 1 تا 64 کاربر در هر دو سرور
- گزارش لاگ اسکژولر دربارهی 64 کاربر و نتیجهی نرخ پردازش موثر
- دقت روی 500 سوال از GSM8K برای چهار پیکربندی SGLang
accuracy-check.txt
title: GSM8K accuracy on 500 questions for the four SGLang configs
source: manuals/sglang-101/capture/gpu/out-l4/gsm8k-fp8-accuracy.txt
lines: 6-13
lang: text
note: Read the sentence about scales first, then the width of each interval.
---
Neither checkpoint carries KV scales, so the FP8 KV runs used a scale of 1.0.
vLLM FP8 KV runs used --attention-backend TRITON_ATTN, because the FlashInfer FP8 prefill kernel does not build on this host.
engine config correct accuracy Wilson 95% interval
SGLang BF16 458/500 91.6% 88.8 to 93.7
SGLang FP8 weights 456/500 91.2% 88.4 to 93.4
SGLang FP8 KV cache 458/500 91.6% 88.8 to 93.7
SGLang FP8 weights + FP8 KV 460/500 92.0% 89.3 to 94.1
bf16-pool.txt
title: the BF16 server at startup: weights and pool
source: manuals/sglang-101/capture/gpu/out-l4/server-load-default.log
lang: text
note: The weights take 15.28 GB and the pool holds 24094 tokens.
---
[2026-10-16 19:26:38] Load weight end. elapsed=3.92 s, type=Qwen3ForCausalLM, avail mem=6.59 GB, mem usage=15.28 GB.
[2026-10-16 19:26:40] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 24094, K size: 1.65 GB, V size: 1.65 GB
fp8-pool.txt
title: the FP8 server at startup: weights and pool
source: manuals/sglang-101/capture/gpu/out-l4/server-load-fp8.log
lang: text
note: The weights take 8.81 GB and the pool holds 142369 tokens in one byte per value.
---
[2026-10-16 20:33:02] Load weight end. elapsed=2.54 s, type=Qwen3ForCausalLM, quant=fp8, fmt=e4m3, avail mem=13.06 GB, mem usage=8.81 GB.
[2026-10-16 20:33:05] KV Cache is allocated. dtype: torch.float8_e4m3fn, #tokens: 142369, K size: 4.89 GB, V size: 4.89 GB
goodput-and-the-cause.txt
title: what the scheduler log says about 64 users, and the goodput result
source: manuals/sglang-101/sections/4-3-quantization.md
lines: 179-183
lang: text
note: The target was a first token under 1 s and a time per token under 100 ms.
---
The scheduler log of the sweep shows the cause at concurrency 64. The BF16 server ran at most 38 requests, with token usage at 0.99 and 26 requests in the queue. The FP8 server ran all 64 requests at token usage 0.29 with an empty queue. The BF16 throughput fell from 32 to 64 because more requests waited, and each waiting request added its wait to TTFT.
At concurrency 1 the pool size does not matter, and FP8 was still faster: 39.66 ms per token against 60.16 ms. That is the GB10 effect again. Decode on an L4 reads every weight for every token, and FP8 weights are half the bytes.
On this card the goodput result is clear. Our target was TTFT under 1 s and TPOT under 100 ms. BF16 served 0 requests per second within target at concurrency 32 and 64. FP8 served 2.87 requests per second within target at 64.
the-scale-warning.txt
title: the FP8 start: the checkpoint detection and the warning about scales
source: manuals/sglang-101/capture/gpu/out-l4/server-fp8.log
lines: 16-21
lang: text
note: Read the line about scaling factors before the weight and pool lines.
---
[2026-10-17 15:22:01] Detected fp8 checkpoint.
[2026-10-17 15:22:01] Found local HF snapshot for Qwen/Qwen3-8B-FP8 at /data/sglang/hf/hub/models--Qwen--Qwen3-8B-FP8/snapshots/220b46e3b2180893580a4454f21f22d3ebb187d3; skipping download.
Multi-thread loading shards: 0% Completed | 0/2 [00:00<?, ?it/s]
Multi-thread loading shards: 50% Completed | 1/2 [00:00<00:00, 1.08it/s]
Multi-thread loading shards: 100% Completed | 2/2 [00:01<00:00, 1.07it/s]
Multi-thread loading shards: 100% Completed | 2/2 [00:01<00:00, 1.07it/s]
[2026-10-17 15:22:04] Using FP8 KV cache but no scaling factors provided. Defaulting to scaling factors of 1.0.
[2026-10-17 15:22:04] Load weight end. elapsed=2.23 s, type=Qwen3ForCausalLM, quant=fp8, fmt=e4m3, avail mem=12.87 GB, mem usage=8.81 GB.
[2026-10-17 15:22:05] KV Cache is allocated. dtype: torch.float8_e4m3fn, #tokens: 140058, K size: 4.81 GB, V size: 4.81 GB
the-sweep-table.txt
title: throughput and first token from 1 to 64 users, both servers
source: manuals/sglang-101/sections/4-3-quantization.md
lines: 162-169
lang: text
note: Read the two rightmost columns at 32 and 64 users.
---
**We measured** a pool of 24,094 tokens for BF16 and 142,369 tokens for FP8, 5.91 times as many. Each request in the sweep had 512 input tokens and 128 output tokens. The BF16 pool held about 37 such requests.
| Concurrency | BF16 output tok/s | FP8 output tok/s | BF16 median TTFT | FP8 median TTFT |
|---|---|---|---|---|
| 1 | 13.42 | 24.53 | 189.16 ms | 140.72 ms |
| 16 | 201.09 | 313.92 | 211.78 ms | 147.52 ms |
| 32 | 270.11 | 507.20 | 2,969.61 ms | 199.09 ms |
| 64 | 250.85 | 735.91 | 18,348.57 ms | 296.42 ms |
two-decode-lines-at-64-users.txt
title: one decode line from each server at 64 users
source: manuals/sglang-101/capture/gpu/out-l4/server-load-c64-scheduler.log
lang: text
note: Compare the running requests, the token usage and the queue between the two lines.
---
# runs/l4/load/default/server.log (BF16), the decode line with the most running requests at the highest token usage
[2026-10-16 20:31:03] Decode batch, #running-req: 38, #token: 23810, token usage: 0.99, cuda graph: True, gen throughput (token/s): 448.67, #queue-req: 26
# runs/l4/load/fp8/server.log (FP8 weights and KV), the decode line at 64 running requests with the highest token usage
[2026-10-16 21:34:09] Decode batch, #running-req: 64, #token: 40635, token usage: 0.29, cuda graph: False, gen throughput (token/s): 1143.15, #queue-req: 0
سؤالها
- دو خط لاگ رمزگشایی را بخوانید. چرا سرور BF16 بهجای 64 درخواست، 38 درخواست را اجرا میکند و ستون مصرف (usage) چه چیزی را نشان میدهد؟
- بر اساس فهرست راهاندازی دو سرور، کدام دو عدد تغییر کردند و کدامیک باعث رشد استخر حافظه شد؟
- در لاگ FP8 هشداری دربارهی فاکتورهای مقیاسگذاری چاپ شده است. معنای آن چیست و پیش از اعتماد به آن، چه چیزی را باید بررسی کنید؟
- جدول نشان میدهد که FP8 در یک کاربر هم سریعتر است. چرا استخر حافظه نمیتواند این سطر را توضیح دهد؟
- دو متغیر همزمان تغییر کردند. بر اساس این آزمایش چه ادعایی میتوانید مطرح کنید و پیش از انتشار، چه چیزهایی را باید بسنجید؟
- مستندات چه هدفی را برای نرخ پردازش موثر (goodput) تعیین کرده بود و هر سرور در 64 کاربر چه نتیجهای تحویل دادند؟
اول شواهد را بخوانید و به سؤالها جواب بدهید، بعد راهحل را باز کنید.
راهحل گامبهگام
- بررسی استخر حافظه در خط لاگ رمزگشایی. در خط مربوط به BF16، تعداد 23810 توکن با نرخ مصرف 0.99 ثبت شده؛ بنابراین استخر حافظه کاملاً پر است. هر درخواست در این آزمایش شامل 512 توکن ورودی و 128 توکن خروجی است و مستندات نشان میدهد استخر حافظهی BF16 گنجایش حدود 37 درخواست از این جنس را دارد. سرور 38 درخواست را اجرا کرده و 26 درخواست دیگر را در صف نگه داشته است؛ بنابراین به زمان اولین توکنِ هر درخواست در صف، مدتزمان معطلی آن نیز اضافه شده است. در خط لاگ FP8، تمام 64 درخواست با 40635 توکن و نرخ مصرف 0.29 در حال اجرا هستند و صف خالی است. پردازندهی گرافیکی در هر دو سرور کاملاً درگیر بود، بنابراین میزان بهرهوری پردازنده هرگز تفاوت اصلی را نشان نمیداد؛ استخر حافظه بود که تفاوت را رقم زد.
- بررسی تغییرات زمان راهاندازی. دو عدد جابهجا شدند. وزنها در BF16 فضایی معادل 15.28 گیگابایت گرفتند و در FP8 به 8.81 گیگابایت رسیدند، و حافظهی آزادشده به استخر حافظه اختصاص یافت. نوع دادهی کش نیز از bfloat16 به float8_e4m3fn تغییر کرد که بایت به ازای هر توکن را نصف میکند. با این دو تغییر، استخر حافظه از 24094 توکن به 142369 توکن رسید؛ یعنی بر اساس مستندات، 5.91 برابر بیشتر شد. تغییر نوع داده بهتنهایی ظرفیت استخر را دو برابر میکرد و کوچکتر شدن وزنها بقیهی فضا را آزاد ساخت. هر دو سرور از کسر حافظهی یکسان (0.85) استفاده کردند، بنابراین مقایسه از نظر تخصیص حافظه منصفانه است.
- بررسی هشدار. در شروع به کار FP8، چکپوینت شناسایی میشود، سپس لاگ هشدار میدهد که هیچ فاکتور مقیاسگذاری تعیین نشده و مقدار پیشفرض همهی مقیاسها 1.0 است. این چکپوینت فقط مقیاسهای وزن دارد و فاقد مقیاسهای KV است؛ بنابراین هر کلید و مقدار با مقیاس 1.0 ذخیره میشود. فایل ارزیابی دقت نیز در خط اول همین نکته را میگوید. پیش از اینکه به این وضعیت اعتماد کنید، ایندکس وزنها را برای تنسورهایی (tensors) که نامشان به
k_scaleیاv_scaleختم میشود بگردید، و لاگ بارگذاری را بخوانید تا ببینید آیا بارگذار مقیاسی را نادیده گرفته است یا خیر. سناریوی موتور دیگر نشان میدهد وقتی بارگذار مقیاسهای موجود را کنار بگذارد چه اتفاقی میافتد. - بررسی جدول در یک کاربر. در یک کاربر، FP8 نرخ 24.53 توکن خروجی بر ثانیه را در مقایسه با 13.42 ثبت کرد و زمان اولین توکن آن بهجای 189.16 میلیثانیه، 140.72 میلیثانیه بود. در بار کاری یک کاربر، استخر حافظه نقشی ندارد؛ پس این ردیف فقط اثر وزنها را نشان میدهد. در کارت L4، فرآیند رمزگشایی برای هر توکن باید تمام وزنها را بخواند و وزنهای FP8 نصف بایتها را دارند؛ مستندات زمان تولید هر توکن را 39.66 میلیثانیه در مقابل 60.16 میلیثانیه ثبت کرده است. در 32 کاربر، اولین توکن BF16 به 2969.61 میلیثانیه در مقابل 199.09 میلیثانیه رسید و در 64 کاربر، این عدد 18348.57 میلیثانیه در برابر 296.42 میلیثانیه شد. نرخ پردازش (throughput) سرور BF16 بین 32 تا 64 کاربر از 270.11 به 250.85 توکن بر ثانیه کاهش یافت، چون درخواستهای بیشتری در صف معطل ماندند.
- بررسی نرخ پردازش موثر. هدف مستندات، رسیدن به زمان اولین توکن زیر 1 ثانیه و زمان به ازای هر توکن زیر 100 میلیثانیه بود. سرور BF16 در 32 و 64 کاربر، خروجی 0 درخواست بر ثانیهی منطبق بر هدف تحویل داد. در مقابل، FP8 در 64 کاربر توانست 2.87 درخواست بر ثانیه را با موفقیت در این بازه پاسخ دهد. این همان عددی است که کاربر احساس میکند و همان معیاری است که باید در طرح پیشنهادی بنویسید.
- بررسی آزمون دقت. روی 500 سوال اول GSM8K بهصورت 8-shot و روش حریصانه (greedy)، چهار پیکربندی SGLang امتیازهای 458، 456، 458 و 460 پاسخ درست را به دست آوردند و بازهی اطمینان همهی آنها با یکدیگر همپوشانی (overlap) دارد. این اجرا تفاوتی نشان نداد. البته با این حجم نمونه نمیتوان افت چند امتیازی را رد کرد؛ بهعلاوه، این بررسی فقط یک مدل و یک بنچمارک را پوشش میدهد.
نتیجه
علت ایجاد صف، استخر حافظه بود. استخر BF16 با 24094 توکن فقط حدود 37 درخواست از این جنس را نگه میداشت؛ در نتیجه 26 کاربر از 64 کاربر معطل ماندند و این انتظار مستقیماً به زمان اولین توکن آنها اضافه شد. استفادهی همزمان از وزنهای FP8 و کش KV با فرمت FP8، ظرفیت استخر را روی همان کارت 5.91 برابر بزرگتر کرد. در 64 کاربر، صف کاملاً خالی بود، میانهی زمان تا اولین توکن به 296.42 میلیثانیه رسید و سرور توانست 2.87 درخواست بر ثانیه منطبق بر هدف نرخ پردازش موثر ارائه کند؛ در حالی که BF16 خروجی مناسبی نداشت.
تیم، پیکربندی FP8 را با ثبت سه شرط در کنار نتایج پیادهسازی میکند. آزمایش، وزنها و کش را همزمان تغییر داد؛ بنابراین بهبود بهدستآمده را فقط میتوان حاصل این ترکیب دانست، نه کارکرد جداگانهی هر کدام. مقیاس KV در این چکپوینت 1.0 بود و نتایج بررسی مقیاسها در ایندکس و لاگ بارگذاری باید در مستندات استقرار ثبت شود. آزمون دقت روی 500 سوال افت کیفیت را در حد چند امتیاز روی یک بنچمارک محدود نشان داد؛ بنابراین تیم پیش از تغییر نهایی، آن را روی پرامپتهای (prompts) خود نیز تکرار میکند. تهیهی کارت L4 دوم نیز تا زمان پر شدن استخر FP8 به تعویق میافتد.
مسیرهای اشتباه رایج
- «یک کارت L4 دوم بخرید و بار را بین هر دو توزیع کنید.» صف بهخاطر استخر 24094 توکنی بود که تنها حدود 37 درخواست را در خود جا میداد. کارت دوم با هزینهی دو برابری این ظرفیت را دو برابر میکند، در حالی که استخر FP8 روی همان یک کارت 5.91 برابر بزرگتر شد.
- «فقط یک متغیر را تغییر دهید: وزنهای BF16 را حفظ کنید و تنها کش KV را به FP8 ببرید.» این یک آزمایش منصفانه است، اما در این ارزیابی انجام نشد. شواهد مستندات برای تغییر کش FP8 بهتنهایی، صرفاً یک گزارش تجربی است و چنین کشی به فایل مقیاس نیاز دارد.
- «دقت فرقی نکرد، پس FP8 برای هر مدلی ایمن است.» ارزیابی فقط یک مدل، یک بنچمارک و 500 سوال را بررسی کرد. این نتیجه فقط افت را در حد چند امتیاز محدود میداند و ممکن است مدل دیگری افت بسیار بیشتری نشان دهد.
- «چون FP8 به ازای هر توکن سریعتر است، پس برای سرعت سوئیچ کنید.» نگاه مستندات این است که نوع دادهی کش KV باید بر اساس حافظه انتخاب شود، نه سرعت. اینجا صف فقط نشانه بود و استخر حافظه علت اصلی؛ بهبود سرعت در حالت تککاربر یک اثر جانبی است.
درس کلی
وقتی درخواستها صف میبندند در حالی که پردازندهی گرافیکی کاملاً درگیر است، پیش از تحلیل کرنلها (kernels)، وضعیت استخر حافظه را بررسی کنید. پر شدن استخر حافظه یک مسئلهی ظرفیت است و ارزانترین ظرفیت روی یک کارت، کاهش بایت به ازای هر توکن است: وزنهای سبکتر حافظه را برای کش باز میکنند و نوع دادهی کوچکترِ کش، ظرفیت را دو برابر میکند. هزینهی این تغییر را با آزمون دقت روی وظیفهی (task) اختصاصی خود بپردازید و مقیاس مورد استفادهی کش را حتماً یادداشت کنید.
کجای دوره آموزش داده میشود
مستندات SGLang اجرای همزمان این دو را روی کارت L4 در صفحهی کوانتیزهسازی و تعیین ابعاد استخر را در صفحهی بایتهای KV پوشش میدهد؛ مستندات vLLM وزنهای FP8 را با یک استخر ثابت در صفحهی وزنهای FP8 میسنجد؛ و درس معیارهای استنتاج شاخص نرخ پردازش موثر را که مبنای تصمیمگیری نهایی است تعریف میکند.