سرور شما به دلیل پر شدن کش کلید-مقدار (KV cache)، درخواستها را در صف میگذارد. کسی پیشنهاد میکند از --kv-cache-dtype fp8 استفاده کنید. این کار چه مزایایی دارد، چه هزینههایی برمیدارد و چطور پیش از رفتن به محیط عملیاتی (production) هر دو را بررسی کنیم؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
کش کلید-مقدار FP8 هر کلید و مقدار را بهجای 2 بایت در 1 بایت ذخیره میکند؛ بنابراین در همان مقدار حافظه، دو برابر توکن (token) جای میگیرد: در مدل Qwen/Qwen3-8B حافظهی هر توکن از 144 KiB به 72 KiB کاهش مییابد و یک GiB بهجای حدود 7,300 توکن، حدود 14,600 توکن را در خود نگه میدارد. این کار میتواند به بهای کاهش دقت تمام شود؛ زیرا FP8 به یک مقیاس (scale) به ازای هر تنسور (tensor) نیاز دارد و چکپوینت (checkpoint) بدون مقیاس با مقیاس 1.0 اجرا میشود. همچنین میتواند بکاند اتنشن (attention) را تغییر دهد؛ اتفاقی که روی پردازندهی L4 ما باعث شکست اولین راهاندازی شد. هر دو مورد را با یک اجرای سنجش دقت روی وظیفهی (task) اختصاصی خودتان و بررسی لاگ راهاندازی چک کنید: در آزمایش ما روی 500 سوال GSM8K، اجرای کش کلید-مقدار FP8 به دقت 90.8 درصد در برابر 91.8 درصد در حالت BF16 رسید که بازههای آنها با یکدیگر همپوشانی (overlap) داشتند.
پاسخ کامل
مزایای این کار
تنها کش تغییر میکند و وزنها در همان قالب BF16 باقی میمانند. فرمول کش کلید-مقدار را با 1 بایت به ازای هر مقدار به کار ببرید. ظرفیت نگهداری توکنها دو برابر میشود؛ بنابراین در طول یکسان، کاربران دو برابر میشوند یا هر کاربر میتواند زمینهای (context) با دو برابر طول قبلی داشته باشد.
تغییر سرعت ناچیز است. در پردازندهی L4 ما با استخر حافظهی ثابت 24,096 توکنی، زمان به ازای هر توکن خروجی (TPOT) در حالت میانه برای یک کاربر به 101.8 میلیثانیه در برابر 104.1 میلیثانیه در BF16 رسید؛ یعنی در فرکانس ساعت کاری یکسان 210 مگاهرتز، فقط 2.3 درصد سریعتر بود و دامنهی حاصل از سیدهای مختلف (seeds) همپوشانی نداشتند. در سناریوی 32 کاربر، دامنهی حاصل از سیدها همپوشانی پیدا کرد و اجرای FP8 کلاک بالاتری داشت؛ بنابراین راهنما ادعای بهبودی در آن نقطه ندارد. در آن اجرا دو عامل همزمان تغییر کرده بودند: نوع دادهی کش و بکاند اتنشن.
یک گزارش تجربی اثر ظرفیت را در مقیاس بزرگ نشان میدهد. سرویسی با کش BF16 در 32 درخواست همزمان، نرخ پردازشی (throughput) برابر با 1,558 توکن بر ثانیه ارائه میداد و در 64 درخواست حافظه کم آورد (OOM). با کش FP8، همان سرویس در 64 درخواست به نرخ پردازش 2,192 توکن بر ثانیه رسید؛ یعنی حدود 41 درصد بالاتر از بهترین رکورد BF16، هرچند در تمام بارهای همزمانی که هر دو قالب توانایی اجرای آن را داشتند، FP8 به ازای هر توکن چند درصدی کندتر بود. این حالت صرفاً به این دلیل برنده شد که دو برابر درخواست بیشتر در آن جای گرفت: حجم زمینهی نگهداریشده در حافظه از حدود 686,000 توکن به حدود 1.37 میلیون توکن رسید.
هزینههای این کار
قالب FP8 برای هر تنسور به یک مقیاس نیاز دارد. بدون فایل مقیاس، مقدار همهی مقیاسها 1.0 خواهد بود. موتور vLLM پیام Using KV cache scaling factor 1.0 و SGLang پیام Using FP8 KV cache but no scaling factors provided را لاگ میکند. تیم vLLM مقیاس 1.0 را بدترین حالت ممکن برای دقت در نظر میگیرد؛ در آزمایشهای آنها بیشتر مدلها نزدیک به BF16 ماندند، اما یک خانواده از مدلها روی بکاند latent-attention افت دقت پیدا کرد.
بررسی خود ما در تاریخ 2026-10-23، روی 500 سوال اول بنچمارک GSM8K به صورت 8-shot و با نمونهگیر (sampler) حریصانه روی کارت L4 اجرا شد. از آنجا که Qwen3-8B مقیاسهای کش کلید-مقدار ندارد، اجراهای FP8 با مقیاس 1.0 انجام شدند:
| موتور | پیکربندی | درست | دقت | بازهی 95 درصد ویلسون |
|---|---|---|---|---|
| vLLM | BF16 | 459/500 | 91.8% | 89.1 تا 93.9 |
| vLLM | کش کلید-مقدار FP8 | 454/500 | 90.8% | 87.9 تا 93.0 |
| SGLang | BF16 | 458/500 | 91.6% | 88.8 تا 93.7 |
| SGLang | کش کلید-مقدار FP8 | 458/500 | 91.6% | 88.8 تا 93.7 |
تمام بازهها با بازهی BF16 همپوشانی دارند؛ بنابراین این ارزیابی اختلافی را نشان نداد. با 500 سوال نمیتوان احتمال افت چند واحدی را رد کرد. این فقط یک مدل و یک بنچمارک است؛ مدلی با چیدمان اتنشن دیگر ممکن است افت بیشتری داشته باشد.
تلهی بکاند روی کارت L4
اولین راهاندازی FP8 روی کارت L4 ما شکست خورد. ماژول FlashAttention در vLLM 0.31.0 کش FP8 را فقط روی پردازندههای گرافیکی دیتاسنتری Hopper و Blackwell میخواند، در حالی که L4 یک کارت Ada با معماری SM 8.9 است. بنابراین vLLM به سراغ FlashInfer رفت که کرنلهایش (kernels) را هنگام نخستین راهاندازی میسازد، و این ساخت روی نود ما با خطا مواجه شد. راه چاره استفاده از آرگومان --attention-backend TRITON_ATTN بود که FP8 را میخواند و به ساخت کرنل نیازی ندارد؛ همراه با VLLM_USE_FLASHINFER_SAMPLER=0 به همان دلیل. بعد از هر بار تغییر نوع دادهی کش، خط مربوط به بکاند اتنشن را در لاگ بخوانید.
بررسی بارگذاری مقیاسها
- نمایهی وزنهای چکپوینت را برای نام تنسورهایی که به
k_scaleیاv_scaleختم میشوند جستجو کنید. برای چکپوینتی که نمایه دارد، نبود خروجی یعنی مقیاسی در کار نیست. چکپوینتی با یک فایل وزن نمایه ندارد؛ برای آن، نام تنسورها را با بستهی پایتونیsafetensorsفهرست کنید. - لاگ راهاندازی را برای هشدار مقیاس بررسی کنید. اگر چکپوینت مقیاس دارد و این هشدار همچنان چاپ میشود، لودر آنها را نادیده گرفته است. در نسخهی 0.31.0 یک خانواده از مدلها هرگز مقیاسهای کش خود را بارگذاری نمیکند و این مشکل هنوز باز است.
- پرامپتهای (prompts) خودتان را با و بدون FP8 اجرا و پیش از رفتن به محیط عملیاتی، پاسخها را با هم مقایسه کنید.
چکپوینت FP8 مدل Qwen3-30B-A3B مقیاسهای وزن را فهرست میکند اما مقیاس کش کلید-مقدار ندارد؛ بنابراین وجود مقیاسهای وزن به معنای وجود مقیاسهای کش نیست.
ترتیب مراحل بررسی
- آیا محدودیت شما از طرف استخر حافظه است؟ مصرف کش و صف را بخوانید. اگر استخر جای خالی دارد، نوع دادهی مدل را تغییر ندهید.
- چکپوینت را برای مقیاسهای کش کلید-مقدار جستجو کنید.
- سرور را راه بیندازید و خط بکاند و هشدار مقیاس را بخوانید.
- ارزیابی دقت را روی وظیفهی اختصاصی خودتان اجرا کنید.
- سرعت را در فرکانس کاری یکسان بسنجید و انتظار تغییر چندانی به ازای هر توکن نداشته باشید.
سؤالهای تکمیلی مصاحبهگر
- سطح 2: استخر جای خالی دارد و درخواستها در صف نمیمانند. باز هم سوییچ میکنید؟ پاسخ مورد انتظار: خیر؛ نوع دادهی کش یک تصمیم مبتنی بر ظرفیت است و وقتی استخر جای خالی دارد، هیچ منفعتی ندارد و همچنان ریسکهای دقت و بکاند را تحمیل میکند.
- سطح 3: با اینکه چکپوینت تنسورهای k_scale را دارد، هشدار مقیاس چاپ میشود. معنیاش چیست؟ پاسخ مورد انتظار: لودر مقیاسها را نادیده گرفته است؛ در نسخهی 0.31.0 یک خانواده از مدلها هرگز مقیاسهای کش خود را بارگذاری نمیکند و ایشو همچنان باز است، بنابراین تا وقتی چکپوینت یا نسخه را تغییر ندهید سرور با مقیاس 1.0 اجرا میشود.
- سطح 3: چرا اولین اجرای FP8 روی L4 شکست خورد اما روی پردازندهی دیتاسنتری نه؟ پاسخ مورد انتظار: بکاند پیشفرض اتنشن، کش FP8 را فقط روی پردازندههای دیتاسنتری Hopper و Blackwell میخواند؛ بنابراین vLLM به سراغ بکاندی رفت که کرنلهایش را در اولین اجرا کامپایل میکند و این فرآیند ساخت شکست خورد؛ بکاند Triton پردازش FP8 را میخواند و نیازی به ساخت کرنل ندارد.
- سطح 4: در ارزیابی GSM8K دقت 91.8 در برابر 90.8 درصد به دست آمد و دو بازه همپوشانی دارند. چه نتیجهای میگیرید؟ پاسخ مورد انتظار: این اجرا تفاوتی نشان نداد و نمیتواند افت چند واحدی را رد کند؛ این فقط یک مدل و یک بنچمارک است، پس همین بررسی را روی مدل و وظیفهی خودتان اجرا کنید و انتظار داشته باشید مدلی با چیدمان اتنشن دیگر، افت بیشتری را نشان دهد.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «کش FP8 حافظه را نصف میکند، پس نرخ پردازش را دو برابر میکند.» این کار ظرفیت نگهداری توکنها را دو برابر میکند؛ در گزارش تجربی، سرعت به ازای هر توکن در هر باری که هر دو کش میتوانستند اجرا شوند چند درصد کندتر بود، و برتری آن تنها به این دلیل بود که کش BF16 در 64 درخواست حافظه کم آورد.
- «چکپوینت FP8 است، پس مقیاسهای کش کلید-مقدار هم موجودند.» مقیاسهای وزن و مقیاسهای کش کلید-مقدار تنسورهایی متفاوتاند؛ چکپوینت FP8 مدل Qwen3-30B-A3B مقیاسهای وزن را فهرست میکند ولی k_scale یا v_scale ندارد، بنابراین کش آن با مقیاس 1.0 اجرا شد.
- «دقت ویژگی خود مدل است، پس یکبار آزمایش کافی است.» افت دقت به مدل، چیدمان اتنشن و وظیفه بستگی دارد؛ یک خانواده از مدلها که به مقیاسهای کالیبرهشده نیاز دارد با مقیاس 1.0 افت دقت پیدا کرد، در حالی که بیشتر مدلها در همان آزمایشها نزدیک به BF16 ماندند.
- «بکاند اتنشن ربطی به نوع دادهی کش ندارد.» روی L4 تغییر نوع داده باعث شد vLLM به بکاند دیگری سوییچ کند و راهاندازی شکست بخورد؛ بعد از هر تغییر نوع دادهی کش، خط بکاند را بخوانید.
کجای دوره آموزش داده میشود
جا دادن کاربران بیشتر با کش کلید-مقدار FP8 و بخش کوانتیزهسازی در SGLang استخر حافظه، سرعت و دقت GSM8K را در هر دو موتور اندازه میگیرند.