فریمورک Miles راههای مختلفی برای مدیریت شکاف (gap) بین بخش آموزش (trainer) و موتور استنتاج (engine) دارد و هرکدام از آنها علت متفاوتی را برطرف میکند.
بخش 8.1 به پنج منشأ اختلاف اشاره کرد: توکنها، مسیریابی (routing)، نمونهگیری، محاسبات عددی و کهنگی داده (staleness). ابزار Miles برای هرکدام روشی دارد. برخی روشها علت اصلی را کاملاً حذف میکنند و برخی دیگر صرفاً اثر آن را بر گرادیان (gradient) کاهش میدهند.
پس از پایان این بخش، میتوانید توضیح دهید که هر روش تصحیح چه علتی را برطرف میکند و ما کدامیک از آنها را عملاً سنجیدهایم.
دو نوع روش تصحیح
روشی که علت را حذف میکند کاری میکند که هر دو طرف دقیقاً یک چیز را محاسبه کنند. پس از اجرای آن، آن بخش از شکاف بهکلی از بین میرود.
روشی که وزندهی مجدد میکند شکاف را به حال خود میگذارد و سهم هر توکن را در تابع زیان (loss) تغییر میدهد. این کار مانع از آن میشود که توکنی با اختلافنظر میان دو طرف، بهروزرسانی مدل را بیش از حد به انحراف بکشاند.
همیشه ابتدا به سراغ حذف علتها بروید؛ چون هر بار وزندهی مجدد، واریانس گرادیان را بالا میبرد.
روشها
| روش | نوع | علت هدف | نحوهی فعالسازی |
|---|---|---|---|
| بازپخش نمونهگیری (Sampling replay) | حذف میکند | نمونهبرداری top-p و top-k | مقدار مثبت برای --rollout-top-k، با یا بدون --rollout-top-p کمتر از 1 |
| بازپخش مسیریابی (Routing replay) | حذف میکند | انتخابهای متخصصان در MoE | --use-rollout-routing-replay |
| نشستهای توکنبهتوکن (Token-in, token-out sessions) | حذف میکند | رفتوبرگشت متنی میان نوبتهای گفتوگو (turns) | --use-session-server |
| حالت واقعاً همسیاست (True on-policy mode) | حذف میکند | همهی تفاوتهای کرنل (kernel) | توافقنامهی شرحدادهشده در بخش 8.3 |
| نمونهبرداری اهمیتی کوتاهشده (Truncated importance sampling) | وزندهی مجدد میکند | هر شکاف باقیمانده | --use-tis --tis-clip 2.0 |
| تابع سفارشی نمونهبرداری اهمیتی یا رد نمونه | وزندهی مجدد میکند | هر شکاف باقیمانده | --custom-tis-function-path، همراه با یک نسخهی ماسکشده در مثالهای Miles |
| احتمالهای لگاریتمی موتور در نسبت احتمال | مرجع را تغییر میدهد | مخرج کسرِ نسبت احتمال | --use-rollout-logprobs |
| مرکزیتبخشی به امتیاز (Score centering) | تابع زیان را تغییر میدهد | دریفت (drift) در امتیاز نمونههای برونسیاست (off-policy) | --loss-type score_centering |
| تعیین سقف سن نمونهها | نمونهها را دور میریزد | کهنگی داده | --max-weight-staleness |
نمونهبرداری اهمیتی کوتاهشده: هر توکن وزنی برابر با نسبت احتمال بخش آموزش به احتمال موتور استنتاج دریافت میکند و سقفی روی این وزن اعمال میشود. این سقف مانع از سلطهی یک توکن بر کل بهروزرسانی مدل خواهد شد.
مرکزیتبخشی به امتیاز: یک تابع زیان مجزا است که با استفاده از احتمالهای top-k نمونهگیرِ (sampler) موتور، امتیاز نمونههای برونسیاست را تصحیح میکند. این ویژگی یک لایهی خروجی FP32 را در موتور فعال میکند که هزینهی محاسباتی و حافظهی سرویسدهی را بالا میبرد.
آنچه سنجیدهایم
روی سیستم GB10 ما با مدل Qwen3-0.6B، دو مورد از این روشها روی اجراهایمان اثر گذاشتند:
- بازپخش نمونهگیری شکاف را 11.5 درصد کاهش داد و از 0.0153 به 0.0135 رساند. گزارش این اجرا در بخش 4.4 آمده است.
- استنتاج قطعی (Deterministic inference) در این فهرست نیست، چون هیچ علتی از علل شکاف را حذف نمیکند. این کار فقط باعث شد خروجی موتور عیناً تکرار شود و شکاف حتی تکان هم نخورد. گزارش این اجراها در بخش 4.5 موجود است.
سایر روشها را اجرا نکردهایم. بیشتر آنها فقط زمانی اهمیت پیدا میکنند که با یک مدل MoE، مسیرهای پیشروی شبیهسازیشدهی چندنوبتی (multi-turn rollouts)، دقت عددی پایین (low precision)، آموزش ناهمگام (async training) یا پردازندهی گرافیکی Hopper سر و کار داشته باشید.
دیدگاه ما
پیش از انتخاب روش، ابتدا اندازهی شکاف را بخوانید و بسنجید. روی یک مدل متراکم (dense) با نمونهگیری ساده، شکاف ثابت حدود 0.015 ناشی از تفاوت کرنلهای آن ساختار است؛ روش وزندهی مجدد فقط روی آن سرپوش میگذارد. شکافی که بعد از یک تغییر شروع به رشد میکند، به علتی اشاره دارد که خودتان اضافه کردهاید: یک نمونهگیر جدید، مدل MoE، مسیر پیشروی با FP8 یا نمونههای قدیمیتر. راهکار را دقیقاً متناسب با همان علت انتخاب کنید.
منابع: آرگومانهای نمونهبرداری اهمیتی، بازپخش مسیریابی، بازپخش نمونهگیری، مرکزیتبخشی به امتیاز و حالت ناهمگام Miles در کامیت main 08752a12؛ مثال عدم تطابق آموزش-استنتاج (train-infer mismatch) در Miles؛ فایل capture/gpu/summary/miles-gb10-lab.json (اجراهای runs.e6a-base ،runs.e11-topp-topk ،runs.e6b-det-triton و runs.e6c-det-flashinfer).