مدل Qwen/Qwen3-8B شما در حالت BF16 روی یک پردازندهی گرافیکی L4 جا میشود، اما استخر KV (یا همان KV pool) بسیار کوچکی در اختیارتان میگذارد. ناشر مدل چکپوینت FP8 آن را هم عرضه کرده است. چه زمانی چکپوینت FP8 ارزشش را دارد، چه تأثیری روی سرعت میگذارد و بررسی ما روی GSM8K دربارهی افت دقت احتمالی چه میگوید؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
وزنهای FP8 بیشتر پارامترها را بهجای 2 بایت در 1 بایت ذخیره میکنند؛ بنابراین حافظهای آزاد میشود که موتور استنتاج آن را به استخر KV میدهد. از طرفی روی کارتهای گرافیکی مجهز به محاسبات FP8، عملیات ماتریسی هم سریعتر اجرا میشود. روی کارت گرافیک L4 ما (با فرکانس قفلشده و استخر حافظهی ثابت)، چکپوینت FP8 در بار 32 کاربر، به نرخ 284.7 توکن خروجی در ثانیه در مقایسه با 208.8 توکن در BF16 رسید (36 درصد بیشتر) و زمان پردازش هر توکن را هم 30 درصد کاهش داد. روی 500 سؤال GSM8K، امتیاز آن 90.6 درصد در برابر 91.8 درصد در BF16 شد؛ این اختلاف 1.2 نمرهای با بازههای اطمینان همپوشان همراه است، بنابراین اجرای آزمون افتی را نشان نداد، اما احتمال افت چند نمرهای را هم نمیتواند کاملاً رد کند.
پاسخ کامل
سرو کردن مدل
چکپوینت رسمی را درست مثل هر مدل دیگری با شناسهی Qwen/Qwen3-8B-FP8 بالا بیاورید و هیچ فلگی تنظیم نکنید. vLLM روش کوانتیزهسازی (Quantization) را مستقیماً از پیکربندی چکپوینت میخواند. SGLang نیز همین کار را میکند؛ حتی اگر فلگ --quantization با چکپوینت همخوانی نداشته باشد (بهجز چند جفت سازگار شناختهشده)، سیستم هنگام بالا آمدن خطا میدهد. اگر چکپوینت FP8 آمادهای در دسترس نباشد، vLLM میتواند مدل BF16 را حین بارگذاری کوانتیزه کند؛ البته این سناریو در این راهنما آزمایش نشده است.
توان سختافزاری پردازندهی گرافیکیتان را بشناسید
کارت گرافیک L4 از معماری Ada با SM 8.9 بهره میبرد و واحد محاسبات FP8 دارد؛ بنابراین محاسبات ماتریسی با FP8 انجام میشوند و سرعت اجرا همگام با حافظهی آزادشده افزایش مییابد. پردازندههای گرافیکی پیش از Ada، مانند A100، محاسبات سختافزاری FP8 ندارند. در آن پردازندهها، vLLM وزنها را در قالب FP8 نگه میدارد و یک کرنل (Kernel) فقطوزن (weight-only) اجرا میکند؛ یعنی صرفهجویی در حافظه حفظ میشود اما افزایش سرعت چندانی به دست نمیآید. این راهنما چنین پردازندهای را آزمایش نکرده است.
نتایج آزمایش روی L4
این نشست (Session) با فرکانس قفلشده روی 900 مگاهرتز، دو سید (Seed) برای هر تست، و ظرفیت استخر حافظهی ثابت 24,096 توکن در هر دو اجرا انجام شد:
| کاربران | میانهی TPOT (میلیثانیه)، BF16 / FP8 | توکن خروجی بر ثانیه، BF16 / FP8 | میانهی فرکانس SM، BF16 / FP8 |
|---|---|---|---|
| 32 | 119.9 / 83.8 | 208.8 / 284.7 | 881 / 900 مگاهرتز |
| 1 | مقایسه نشد / 35.3 | مقایسه نشد / 25.4 | 210 / 900 مگاهرتز |
در بار کاری 32 کاربر، بازهی مقادیر مربوط به دو سید برای هیچکدام از معیارها همپوشانی نداشت و فرکانس حالت BF16 حدود 2 درصد کمتر بود که در مقایسه با این اختلاف کارایی ناچیز است. در حالت تککاربر، اجرای BF16 بهدلیل گلوگاه حرارتی/توانی کارت گرافیک (Throttle) تا 210 مگاهرتز افت کرد، به همین دلیل این دو عدد مقایسه نشدهاند.
حافظهای که آزاد میشود
در آزمون سرعت، استخر حافظه ثابت نگه داشته شد، بنابراین تأثیر افزایش ظرفیت استخر سنجیده نشد. این افزایش فضا مستقیماً ناشی از کاهش حجم بایتها است. در اجراهای SGLang روی همان L4، اجازه دادیم استخر حافظه رشد کند و وزنها به همراه کش همزمان تغییر کردند: استخر حافظه از 24,094 توکن در BF16 به 142,369 توکن با وزنها و کش FP8 رسید (5.91 برابر بیشتر). به همین دلیل، خروجی در بار 64 کاربر از 250.85 به 735.91 توکن در ثانیه جهش کرد، چرا که استخر حافظهی BF16 پر شده بود اما استخر FP8 هنوز جا داشت. حتی در حالت یک کاربر هم FP8 سریعتر ماند (39.66 در برابر 60.16 میلیثانیه به ازای هر توکن)، چرا که مرحلهی رمزگشایی (Decode) تمام وزنها را برای تکتک توکنها میخواند و وزنهای FP8 نصف بایتها را اشغال میکنند.
روی سیستم GB10 با مدل Qwen3-30B-A3B، ترکیب وزن و کش FP8 رفتار مشابهی داشت: وزنها از 57.75 به 29.75 گیگابایت، زمان بارگذاری از 323.61 به 152.29 ثانیه، و استخر حافظه از 227,243 به 1,083,008 توکن رسید (4.77 برابر افزایش)، زیرا وزنهای کوچکتر حافظه را خالی کردند و هر توکن هم به نصف بایت قبلی نیاز داشت. نرخ پردازش (Throughput) در تمام سناریوهای همزمانی 1.73 تا 1.88 برابر بالاتر بود، چون عملیات رمزگشایی در آن دستگاه، وزنها را از حافظهای با پهنای باند متوسط میخواند.
بررسی دقت
ارزیابی 500 پرسش اول GSM8K با استراتژی 8-shot و حریصانه (Greedy) روی L4 در تاریخ 2026-10-23:
| موتور استنتاج | پیکربندی | پاسخ صحیح | دقت | بازهی 95 درصدی ویلسون |
|---|---|---|---|---|
| vLLM | BF16 | 459/500 | 91.8% | 89.1 تا 93.9 |
| vLLM | وزنهای FP8 | 453/500 | 90.6% | 87.7 تا 92.9 |
| vLLM | وزنهای FP8 + حافظهی KV در قالب FP8 | 453/500 | 90.6% | 87.7 تا 92.9 |
| SGLang | BF16 | 458/500 | 91.6% | 88.8 تا 93.7 |
| SGLang | وزنهای FP8 | 456/500 | 91.2% | 88.4 تا 93.4 |
| SGLang | وزنهای FP8 + حافظهی KV در قالب FP8 | 460/500 | 92.0% | 89.3 تا 94.1 |
همهی بازهها همپوشانی دارند. این اجرا تفاوتی نشان نداد و البته با 500 پرسش نمیتوان احتمال افت چند نمرهای را رد کرد. این آزمایش فقط روی یک مدل و یک بنچمارک انجام شده است؛ بنابراین قبل از رفتن به محیط عملیاتی (Production)، پرامپتهای خودتان را روی هر دو چکپوینت اجرا و مقایسه کنید.
چه زمانی استفاده از FP8 صرفه ندارد؟
- استخر حافظه هنوز جای خالی دارد و کارت گرافیک محاسبات FP8 ندارد: سود اندک در برابر ریسک احتمالی.
- وظیفهای (Task) که به زنجیرههای استدلال طولانی وابسته است: ابتدا ارزیابی خودتان را انجام دهید.
- مدل حتی با FP8 هم در حافظه جا نمیشود: چکپوینتهای 4 بیتی بیشتر وزنها را در حدود نصف بایت ذخیره میکنند که روش معمول برای سرو مدلهای 14B روی کارتهای 24 گیگابایتی است. مدلهای 4 بیتی ممکن است افت دقت بیشتری نسبت به FP8 تجربه کنند و میزان این افت به مدل و روش بستگی دارد.
سؤالهای تکمیلی مصاحبهگر
- سطح 3: در تست سرعت، استخر حافظه ثابت نگه داشته شد. این تصمیم چه چیزی را پنهان کرد و چه چیزی را نشان داد؟ پاسخ مورد انتظار: این کار استخر بزرگتری را که FP8 آزاد میکند پنهان کرد؛ در نتیجه آزمون صرفاً تغییر در سرعت را نشان میدهد. افزایش فضا ناشی از کاهش بایتها است و در تست SGLang که اجازه دادیم استخر رشد کند، ظرفیت به همراه کش FP8 از 24,094 به 142,369 توکن رسید.
- سطح 3: چرا ردیف تککاربر مقایسه نشد؟ پاسخ مورد انتظار: اجرای BF16 بهدلیل تراتل پردازندهی گرافیکی تا 210 مگاهرتز افت کرد که پایینتر از فرکانس قفلشدهی 900 مگاهرتز است. قفل فرکانس فقط برای سقف فرکانس کارایی دارد و نمیتواند جلوی تراتل را بگیرد؛ بنابراین دو سناریو در فرکانسهای متفاوتی اجرا شدند.
- سطح 4: در GB10، ترکیب جفت FP8 در تمام بارها سرعت را تقریباً دو برابر کرد، در حالی که گزارش میدانی نشان داد فعالسازی کش FP8 بهتنهایی باعث کمی کندتر شدن زمان تولید هر توکن شد. این تناقض را حل کنید. پاسخ مورد انتظار: سیستم GB10 عملیات رمزگشایی را با حافظهای انجام میدهد که پهنای باند متوسطی دارد، بنابراین نصف شدن بایتهای وزنها سرعت را تقریباً دو برابر کرد. کش FP8 بهتنهایی هیچ بایتی از وزنها کم نمیکند و بار محاسباتی مقیاسبندی (Scale) را هم اضافه میکند؛ بنابراین برگ برندهی آن روی ظرفیت پذیرش است نه سرعت به ازای هر توکن.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «استفاده از FP8 همیشه سرعت رمزگشایی را بالا میبرد.» خیر، فقط روی پردازندههای گرافیکی مجهز به محاسبات FP8، مثل Ada، Hopper و Blackwell. روی A100، پلتفرم vLLM وزنها را در قالب FP8 نگه میدارد و کرنل فقطوزن اجرا میکند؛ بنابراین فقط صرفهجویی در حافظه را به دست میآورید و افزایش سرعت چندانی نخواهید داشت.
- «برای احتیاط، فلگ
--quantization fp8را وارد کنید.» vLLM روش را از پیکربندی چکپوینت میخواند و در SGLang هم اگر فلگی ناهماهنگ با چکپوینت بدهید، موقع بالا آمدن خطا رخ میدهد؛ پس برای چکپوینتهای رسمی نیازی به ارسال فلگ نیست. - «افت 1.2 نمرهای در GSM8K به این معناست که FP8 دقت را کم میکند.» دو بازهی اطمینان همپوشانی دارند، بنابراین این اجرا اختلافی را نشان نداد؛ البته احتمال افت چند نمرهای را هم رد نمیکند و دقیقاً به همین علت باید پرامپتهای خودتان را روی هر دو چکپوینت بسنجید.
- «اگر FP8 خوب است، 4 بیتی دو برابر بهتر خواهد بود.» مدل 4 بیتی ممکن است افت دقت بیشتری نسبت به FP8 تجربه کند و میزان افت به معماری مدل و روش بستگی دارد. فقط وقتی مدل در FP8 جا نمیشود (مثل اجرای مدل 14B روی کارت 24 گیگابایتی) از آن استفاده کنید و حتماً آن را بسنجید.
کجای دوره آموزش داده میشود
تستهای اجراشده روی L4 و GB10 و جدول بنچمارک GSM8K در بخشهای جا دادن مدلی بزرگتر با وزنهای FP8 و بخش کوانتیزهسازی SGLang آموزش داده شدهاند.