بخش 3.4 · دستورالعمل‌ها

آموزش مدل ترکیبی از متخصصان با بازپخش مسیریابی

Train a mixture-of-experts model with routing replay

فهرست مطالب
  1. چرا این شکاف در مدل‌های MoE بدتر است؟
  2. فعال‌سازی بازپخش مسیریابی
  3. گزارش تیم Miles
  4. یک محدودیت شناخته‌شده

بازپخش مسیریابی (Routing replay) باعث می‌شود آموزش‌دهنده دقیقاً از همان متخصصانی استفاده کند که موتور انتخاب کرده بود؛ در نتیجه هر دو طرف بر سر این‌که هر توکن با چه وزن‌هایی پردازش شده است توافق دارند.

در مدل‌های ترکیبی از متخصصان (mixture-of-experts یا MoE)، یک مسیریاب (router) برای هر توکن چند متخصص را برمی‌گزیند. موتور و آموزش‌دهنده هر کدام این مسیریاب را مستقل اجرا می‌کنند. کوچک‌ترین اختلاف عددی می‌تواند باعث شود آن‌ها برای یک توکن یکسان، متخصصان متفاوتی را انتخاب کنند و در نتیجه آن توکن را با وزن‌های متفاوتی محاسبه نمایند.

با پایان این بخش، می‌توانید تصمیم بگیرید چه زمانی بازپخش مسیریابی را فعال کنید و هنگام فعال‌سازی آن باید حواستان به چه نکاتی باشد.

ما مدل ترکیبی از متخصصان را با Miles روی GB10 خود اجرا نکرده‌ایم. مطالب این صفحه از سورس‌کد و یادداشت‌های انتشار Miles گردآوری شده است.

چرا این شکاف در مدل‌های MoE بدتر است؟

در یک مدل متراکم (dense)، شکاف بین دو طرف ناشی از تفاوت‌های جزئی در گرد کردن اعداد است. اما در مدل MoE، همین گرد کردن جزئی می‌تواند انتخاب یک متخصص را عوض کند. تغییر این انتخاب، تفاوت بزرگی به وجود می‌آورد؛ توکن از میان وزن‌های دیگری عبور می‌کند و احتمال آن می‌تواند تغییر زیادی بکند.

بنابراین، اجرای MoE می‌تواند شکاف بزرگ‌تری را نسبت به مدل متراکم نشان دهد، حتی اگر بخش‌های متراکم مدل هم‌خوانی خوبی با هم داشته باشند.

فعال‌سازی بازپخش مسیریابی

این فلگ فقط مخصوص مدل‌های MoE است. همان‌طور که در بخش 1.1 آمده، آن را با MILES_EXTRA_ARGS اضافه کنید. همان‌طور که در بخش 2.1 دیدید، مدل‌های MoE خانواده‌ی Qwen برای آموزش کامل روی یک ماشین 128 GB بیش از حد بزرگ هستند. اسکریپت راه‌انداز ما یک GPU را روشن می‌کند؛ بنابراین از راه‌اندازی متناسب با ظرفیت GPUهای خود استفاده کنید و همین فلگ را به آن بدهید:

-e MILES_EXTRA_ARGS="--use-rollout-routing-replay"

بازپخش مسیریابی: موتور متخصصانی را که در حین مسیر پیش‌روی شبیه‌سازی‌شده (rollout) برای هر توکن انتخاب کرده ثبت می‌کند و آموزش‌دهنده در گذر رو به جلو (forward pass) خود دقیقاً همان متخصصان را به کار می‌گیرد. این فلگ فقط روی مدل‌های MoE کار می‌کند.

برخی مدل‌ها به تنظیمات متناظر در موتور اجرایی نیاز دارند. در یادداشت‌های Miles برای مدل GLM-5.3-Flash ذکر شده که در کنار replay، باید فلگ --sglang-moe-runner-backend triton نیز ارسال شود.

گزارش تیم Miles

تیم Miles فرایندهای هم‌مکان (colocated) مدل‌های MoE را با بازپخش مسیریابی روی 8 نود با 4 پردازنده‌ی گرافیکی GB300 اجرا کرده است. یادداشت‌های انتشار نسخه‌ی v0.1.1 آن‌ها شکاف به ازای هر توکن را برای هر مدل نشان می‌دهد. در بخش منابع، فهرست این یادداشت‌ها و مقاله‌ی بازپخش مسیریابی آمده است.

مدل گام‌ها شکاف با بازپخش پاداش
Qwen3.8-Flash-Next 5 0.0083 تا 0.0131 0.47 تا 0.75
GLM-5.3-Flash 3 0.0085 تا 0.0098 0.50 تا 0.72

صفحه‌ی مستندات GLM-5.3-Flash در Miles، اجرای طولانی‌تری را روی 16 نود با 4 پردازنده‌ی گرافیکی GB300 گزارش کرده است. شکاف در این مدل در طول 11 گام اول، بین 0.0068 تا 0.0106 بود.

این‌ها اجراهای کوتاه‌مدتی روی سخت‌افزاری هستند که در اختیار ما نیست. این اعداد را بازه‌ای در نظر بگیرید که یک ستاپ کاری به آن می‌رسد، نه قولی قطعی برای مدل شما.

یک محدودیت شناخته‌شده

اگر موتور درخواستی را متوقف کند (pause) و بعداً تحت وزن‌های جدید دوباره آن را پیش‌پرکنی (prefill) کند، مسیرهای حاصل از پیش‌پرکنی دوم می‌توانند مسیرهای ثبت‌شده را بازنویسی کنند. یک ایشوی باز در Miles این مشکل را دنبال می‌کند. اگر از حالت توقفی استفاده می‌کنید که درخواست‌ها را پس می‌کشد، بعد از هر بار به‌روزرسانی وزن‌ها مقدار شکاف را بررسی کنید.

منابع: پارامترهای بازپخش مسیریابی Miles و یادداشت‌های انتشار نسخه‌ی v0.1.1 در main 08752a12؛ مستندات مدل GLM-5.3-Flash در Miles؛ مقاله‌ی Rollout Routing Replay، شناسه arXiv 2510.11370؛ ایشوی شماره‌ی 3277 در Miles.