روی یک سیستم GB10، سرور BF16 برای مدل Qwen/Qwen3-30B-A3B-Instruct-2507 مقدار 57.75 GB وزن بارگذاری میکند و استخر کش کلید-مقدار (KV pool) را با ظرفیت 227,243 توکن میسازد. به سراغ چکپوینت (checkpoint) نسخهی FP8 میروید و آرگومان --kv-cache-dtype fp8_e4m3 را با همان نسبت سهم حافظه اعمال میکنید. ظرفیت استخر جدید را تخمین بزنید و توضیح دهید چرا ظرفیت آن صرفاً دو برابر نشده است.
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
دو عامل اثر همافزا دارند و در یکدیگر ضرب میشوند: وزنهای FP8 به 29.75 GB کاهش یافتند و 28.00 GB حافظه آزاد شد؛ سهم حافظهی مشخصشده این فضای خالی را به استخر داد و حجم استخر بر اساس واحدهای لاگ از 20.80 GB به 49.58 GB رسید. از طرفی، هر توکن به نصف بایت قبلی نیاز دارد؛ یعنی بهجای 98,304 بایت، 49,152 بایت برای 48 لایه با 4 هد (head) کلید-مقدار با اندازهی 128. در نتیجه ظرفیت استخر از 227,243 به 1,083,008 توکن جهش کرد (4.77 برابر) و زمان بارگذاری نیز از 323.61 ثانیه به 152.29 ثانیه رسید.
پاسخ کامل
لاگهای راهاندازی دو سرور
سرور BF16 وزنها را در 323.61 ثانیه با مصرف حافظهی 57.75 GB بارگذاری کرد و کشی با ظرفیت 227,243 توکن اختصاص داد که طبق واحدهای لاگ برابر با 20.80 GB بود. سرور FP8 ابتدا خط Detected fp8 checkpoint و سپس Using FP8 KV cache but no scaling factors provided. Defaulting to scaling factors of 1.0 را ثبت کرد؛ وزنها را در 152.29 ثانیه با حجم 29.75 GB بالا آورد و 1,083,008 توکن تخصیص داد: 24.79 GB برای کلیدها و 24.79 GB برای مقدارها. هر دو از --mem-fraction-static 0.7 استفاده کردند و هیچکدام فلگ --quantization نگرفتند، چون SGLang روش کوانتیزهسازی (quantization) را مستقیماً از چکپوینت میخواند.
محاسبات ریاضی
این کسر، سهم مجموع وزنها و استخر را با هم ثابت نگه میدارد. وقتی وزنها سبکتر میشوند، سهم بیشتری از این فضا به استخر میرسد: وزنها 28.00 GB آزاد کردند و استخر 28.78 GB بزرگتر شد. همزمان در کش FP8، هر توکن به نصف بایتهای قبلی نیاز دارد. حاصلضرب این دو عامل باعث شد 227,243 توکن به 1,083,008 توکن تبدیل شود. حافظهی سیستم GB10 برابر با 121.7 GiB است؛ به همین دلیل استخر BF16 در آزمون حلقهبسته هرگز با کمبود فضا روبهرو نشد. اما روی L4 که وزنها بخش اعظم کارت را پر میکردند، همین سناریو ظرفیت استخر را از 24,094 به 142,369 توکن رساند؛ یعنی 5.91 برابر.
جهش سرعت
| همزمانی | توکن خروجی بر ثانیه در BF16 | توکن خروجی بر ثانیه در FP8 | میانهی TPOT در BF16 | میانهی TPOT در FP8 |
|---|---|---|---|---|
| 1 | 29.14 | 51.50 | 32.52 ms | 18.41 ms |
| 8 | 74.11 | 137.00 | 102.21 ms | 54.96 ms |
| 32 | 150.66 | 283.19 | 201.91 ms | 104.12 ms |
| 64 | 235.38 | 440.86 | 254.06 ms | 131.78 ms |
فرمت FP8 در تمام سطوح همزمانی، نرخ پردازش (throughput) را 1.73 تا 1.88 برابر کرد. مرحلهی رمزگشایی (decode) روی این دستگاه، وزنها را از حافظهای با پهنای باند معمولی میخواند؛ بنابراین نصف شدن بایتهای وزن، سرعت را تقریباً دو برابر کرد. این خروجی با گزارشهای میدانی از فعالسازی صرفِ کش FP8 فرق دارد؛ در آن حالت سرعت به ازای هر توکن چند درصدی کمتر میشد و برد اصلی فقط در ظرفیت کش بهدست میآمد.
فاکتورهای مقیاس
خط دوم لاگ همان پیام هشدار است. هیچ فایل مقیاسی داده نشد، بنابراین تمام مقیاسهای کلید-مقدار روی 1.0 قرار گرفتند. نمایهی وزنهای این چکپوینت FP8 فقط شامل مقیاسهای وزن است و مقیاسی برای کلید-مقدار ندارد؛ در نتیجه وجود مقیاس وزن لزوماً بهمعنای وجود مقیاس برای کش نیست. هر دو سرور برای یک پرامپت (prompt) با روش حریصانه 12 توکن کاملاً یکسان تولید کردند، اما این آزمون سنجش دقت نیست. ارزیابی GSM8K روی 500 سوال که با مدل 8B روی کارت L4 اجرا شد، بازههای دارای همپوشانی (overlap) را برای همهی پیکربندیهای FP8 نشان داد؛ این همان مدلی از اعتبارسنجی است که باید روی مدل خودتان پیاده کنید.
سؤالهای تکمیلی مصاحبهگر
- سطح 3: چرا استخر بهجای 2 برابر، 4.77 برابر رشد کرد؟ پاسخ مورد انتظار: نصف شدن بایتهای هر توکن، ظرفیت توکنها را در همان حافظه دو برابر میکند؛ از طرفی وزنهای سبکتر هم 28.78 GB حافظهی بیشتر به استخر دادند. این دو فاکتور در هم ضرب میشوند.
- سطح 3: چرا همین تغییر روی L4 ضریب 5.91 داد اما روی GB10 به 4.77 رسید؟ پاسخ مورد انتظار: در کارت 24 GB بیشتر حجم کارت به وزنها اختصاص داشت؛ در نتیجه نصف شدن آنها، بایتهای استخر را بیش از دو برابر افزایش داد. روی GB10 وزنها سهم کوچکتری داشتند و حافظهی آزادشده کمتر به چشم آمد.
- سطح 4: هر دو سرور در دمای 0 به اولین درخواست پاسخی 12 توکنی و یکسان دادند. آیا این آزمون دقت است؟ پاسخ مورد انتظار: خیر، یک پرامپت چیزی را ثابت نمیکند؛ باید بنچمارکی مثل مجموعهی 500 سوالی GSM8K را اجرا و بازهها را مقایسه کنید. همچنین هشدار مقیاس را جدی بگیرید؛ این چکپوینت فقط مقیاس وزن دارد و بدون مقیاس کلید-مقدار، کش با مقیاس 1.0 اجرا شده است.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «فرمت FP8 بایتها را نصف میکند، پس ظرفیت استخر دو برابر میشود.» وزنها هم از 57.75 به 29.75 GB کاهش یافتند و آن حافظه به استخر اضافه شد؛ بنابراین استخر روی GB10 معادل 4.77 برابر و روی L4 معادل 5.91 برابر شد.
- «چکپوینت FP8 مقیاس دارد، پس کش کلید-مقدار کالیبره است.» نمایهی وزن آن فقط مقیاس وزنها را دارد و مقیاسی برای کلید-مقدار ندارد؛ سرور هم در لاگ اعلام کرد که برای کش از مقیاس 1.0 استفاده کرده است.
- «فلگ quantization fp8-- را اضافه کنید تا سرور متوجه شود.» SGLang چکپوینت را خودش شناسایی میکند؛ اگر فلگی بگذارید که با چکپوینت نخواند، در زمان راهاندازی ارور میدهد. برای چکپوینتهای رسمی منتشرشده هیچ فلگی اضافه نکنید.
- «افزایش سرعت بهخاطر استخر بزرگتر است.» استخر BF16 روی GB10 اصلاً دچار کمبود حافظه نشد؛ افزایش سرعت بهخاطر نصف شدن بایتهای وزن در هر گام رمزگشایی روی حافظهای با پهنای باند متوسط بود که در هر همزمانی، نرخ پردازش را 1.73 تا 1.88 برابر کرد.
کجای دوره آموزش داده میشود
بخش کوانتیزهسازی SGLang هر دو لاگ راهاندازی و بررسی جامع عملکرد را پوشش میدهد.