اجرای مسیر پیشروی شبیهسازیشده (Rollout) در قالب FP8 هزینهی تولید متن را کاهش میدهد، اما اختلاف میان ترینر (Trainer) و موتور را بیشتر میکند؛ بنابراین به یک روش تصحیح نیاز دارد.
مسیر پیشروی شبیهسازیشده اغلب طولانیترین فاز هر گام است. اجرای موتور با FP8، حجم بایتهای هر وزنی را که موتور میخواند به نصف میرساند. ترینر وزنهایش را در قالب BF16 نگه میدارد؛ بنابراین دو طرف عمداً با اعدادی متفاوت محاسبات را انجام میدهند.
پس از پایان این بخش، میتوانید حالت دقت (Precision) پایین مناسب را انتخاب کنید و بدانید چه روش تصحیحی را باید در کنار آن به کار ببرید.
ما مسیر پیشروی شبیهسازیشدهی FP8 را روی سختافزار GB10 خود اجرا نکردهایم. مطالب این صفحه بر اساس مستندات و آرگومانهای دقت پایین Miles نوشته شده است.
انتخاب حالت کاری
مستندات Miles چهار روش را برای ترکیب دقتها پیشنهاد میکند:
| حالت | مسیر پیشروی شبیهسازیشده | آموزش | زمان استفاده |
|---|---|---|---|
| 1 | FP8 | BF16 | زمانی که مسیر پیشروی شبیهسازیشدهی ارزانتری میخواهید و آموزش باید کمترین تغییر را ببیند |
| 2 | FP8 بلوکی (Block-wise) | FP8 بلوکی (Block-wise) | زمانی که هم مسیر پیشروی شبیهسازیشده و هم آموزش به سرعت بالاتری نیاز دارند |
| 3 | MXFP8 | MXFP8 | زمانی که آموزش را روی پردازندههای گرافیکی دیتاسنتری Blackwell انجام میدهید |
| 4 | NVFP4 | NVFP4 | زمانی که اکسپرتهای مسیریابیشدهی یک مدل MoE را روی پردازندههای گرافیکی دیتاسنتری Blackwell آموزش میدهید |
کار را با حالت 1 شروع کنید. این حالت فقط چکپوینتی (Checkpoint) را که موتور بارگذاری میکند تغییر میدهد.
حالت 1 سادهترین نقطه برای شروع است، اما در همهی شرایط ایمن نیست. ما این محدودیتها را آزمایش نکردهایم و این موارد از گزارشهای منتشرشده آمدهاند:
- پژوهشی در سال 2026 نشان داد که مسیر پیشروی شبیهسازیشدهی FP8 در کنار آموزش با BF16، در طولهای زیر حدود 4K توکن رفتاری مشابه BF16 دارد. در 8K توکن دچار دریفت (Drift) شد و در 16K توکن کاراییاش کاملاً فروپاشید. همچنین در وظایفی (Tasks) که برای مدل پایه سخت بودند، این شکست زودتر رخ داد.
- پستی از تیم Miles و همکارانش نشان داد که این عدم تطابق با بزرگتر شدن مدلهای MoE، از 30B تا 1T پارامتر، بیشتر میشود. پاسخ آنها استفاده از FP8 در هر دو سمت است؛ درست مانند حالت 2.
- یک کتابخانهی دیگر یادگیری تقویتی (RL) دربارهی مدلهای کوچک هشدار میدهد. در مدلهای کوچک، هزینهی کوانتیزهسازی وزنها در هر بهروزرسانی وزن میتواند از زمان صرفهجوییشده توسط FP8 بیشتر باشد.
در بخش منابع، پیوند این پژوهش، پست وبلاگی و مستندات کتابخانه آمده است.
راهاندازی حالت 1
یک چکپوینت FP8 را به موتور بدهید و وزنهای BF16 را در اختیار ترینر بگذارید:
- پرچم
--hf-checkpointبه چکپوینت FP8 اشاره میکند و موتور آن را بارگذاری خواهد کرد. - ترینر وزنهای BF16 را بارگذاری میکند. در ترینر Megatron، پرچم
--ref-loadبه این وزنها اشاره دارد.
حالت 1 به ترینر Megatron نیاز دارد. ترینر FSDP وزنهای خود را هم از همان --hf-checkpoint بارگذاری میکند؛ بنابراین با FSDP هر دو سمت چکپوینت FP8 را بارگذاری خواهند کرد. اجراهای ما روی GB10 از FSDP استفاده میکنند و این یکی از دلایلی است که حالت 1 را تست نکردهایم.
FP8 بلوکی (Block-wise FP8): قالبی است که برای هر بلوک 128 در 128 از وزنها، یک ضریب مقیاس (Scale) ذخیره میکند. مستندات، آن را برای پردازندههای گرافیکی Hopper، مدلهای Blackwell B200 و جدیدتر، و کارتهای AMD MI350X و MI355X فهرست کرده است.
نخستین بهروزرسانی وزنها را با پرچمهای --check-weight-update-equal --check-weight-update-allow-quant-error بررسی کنید. پرچم دوم به بررسیکننده اجازه میدهد گرد کردنِ ناشی از FP8 را مجاز بداند.
ترکیب با یک روش تصحیح
گرد کردن در قالب FP8، شکاف میان ترینر و موتور را بیشتر میکند. این شکاف اکنون دلیلی دارد که هیچ تنظیماتی در سطح کرنل (Kernel) آن را برطرف نمیکند. مستندات، حالت 1 را در مدلهای MoE همراه با بازپخش مسیریابی (Routing replay) پیشنهاد میکند و روش تصحیح نمونهبرداری اهمیتی (Importance sampling) با سقف مشخص را هم بهعنوان گزینهای مکمل میآورد:
- نمونهبرداری اهمیتی دارای سقف: گزینههای
--use-tis --tis-clip 2.0به هر توکن بر اساس نسبتِ احتمال ترینر به احتمال موتور وزن میدهند و برای این نسبت سقفی تعیین میکنند. - بازپخش مسیریابی: در مدلهای MoE، پرچم
--use-rollout-routing-replayرا اضافه کنید تا خطای گرد کردن در FP8، تصمیمهای انتخاب اکسپرت را تغییر ندهد. بخش 3.4 این سازوکار را توضیح میدهد.
در بخش 8.2 این روشهای تصحیح با هم مقایسه شدهاند.
چه مواردی را بسنجیم
شکاف میان دو بخش را در گام 0 و در طول نخستین گامها، هم با مسیر پیشروی شبیهسازیشدهی FP8 و هم بدون آن بسنجید. زمان اجرای مسیر پیشروی شبیهسازیشده را هم اندازه بگیرید؛ چون هنوز عددی نداریم که نشان دهد FP8 چقدر روی مدلهای کوچک صرفهجویی ایجاد میکند.
مستندات برای حالتهای 3 و 4 مدلهای B200، B300، GB200 و GB300 را نام میبرد. کارت GB10 ما در آن فهرست نیست و در فهرست FP8 بلوکی هم قرار ندارد؛ بنابراین نمیتوانیم این حالتها را مطابق مستندات آزمایش کنیم.
منابع: اکتور FSDP در Miles بر اساس برنچ main کامیت 08752a12 (وزنهای ترینر از آرگومان hf_checkpoint بارگذاری میشوند)، مستندات دقت پایین Miles، آرگومانهای بررسی بهروزرسانی وزن و آرگومانهای نمونهبرداری اهمیتی در main کامیت 08752a12؛ مقالهی Jet-RL، شناسه arXiv 2601.14243؛ پست Unified FP8 در وبلاگ LMSYS بهتاریخ 2025-11-25؛ مستندات مسیرهای پیشروی کوانتیزهشدهی SkyRL.