یادگیری تقویتی (RL) هم به تولید سریع متن و هم به احتمالات دقیق از همان وزنها نیاز دارد؛ و موتوری که تحت کنترل ترِینر (trainer) باشد، هر دوی اینها را فراهم میکند.
بخش عمدهی زمانِ یادگیری تقویتی روی مدلهای زبانی صرف تولید متن میشود. کتابخانههای آموزشی هم توانایی تولید متن را دارند، اما کند هستند: هر بار فقط یک توالی، آن هم بدون کش اشتراکی. در مقابل، یک موتور استنتاج (inference engine) متن را با سرعت بالا تولید میکند، اما معماری آن برای پاسخگویی به کاربران طراحی شده است، نه برای هماهنگی دقیق با ترینر.
وقتی این بخش را تمام کنید، میتوانید توضیح دهید که چرا Miles موتور استنتاج اختصاصی خودش را اجرا میکند، و پنج موردی را که این دو بخش ممکن است در آنها دچار اختلاف شوند، نام ببرید.
فریمورک Miles یک موتور SGLang را تحت کنترل ترینر قرار میدهد. در این صفحه دلایل این کار و مواردی را که این کنترل باید پوشش دهد بررسی میکنیم. راهنمای «درون Miles» یک گام را از ابتدا تا انتها دنبال میکند، بنابراین در این صفحه فقط به دلایل آن میپردازیم.
آنچه یادگیری تقویتی از موتور میخواهد
یک گام الگوریتم GRPO برای هر پرامپت (prompt) چندین پاسخ تولید میکند. در اجراهای ما، به ازای هر یک از 32 پرامپت، 8 پاسخ تولید شد؛ یعنی 256 پاسخ در هر گام. سه عامل به این فرایند سرعت میبخشند:
- دستهبندی (Batching): موتور صدها توالی را در یک رفت (pass) اجرا میکند.
- کش اشتراکی پرامپت: هر 8 پاسخِ مربوط به یک پرامپت در همان پرامپت مشترک هستند؛ بنابراین موتور میتواند آن را یکبار محاسبه کرده و دوباره استفاده کند.
- پایان زودهنگام پاسخهای کوتاه: پاسخی که تمام میشود از دسته (batch) بیرون میرود و حافظهی آن در اختیار توالی بعدی قرار میگیرد.
کتابخانههای آموزشی برای چنین کارهایی ساخته نشدهاند. بنابراین فریمورک یادگیری تقویتی اگر به سرعت اهمیت میدهد، به یک موتور واقعی نیاز دارد.
کارهایی که موتور باید برای یادگیری تقویتی انجام دهد
یک موتور سرویسدهی معمولی هرگز وزنهای خود را در حین اجرا تغییر نمیدهد. اما موتور یادگیری تقویتی باید:
- وزنهای جدید را پس از هر گام آموزشی، ظرف چند ثانیه تحویل بگیرد.
- در زمانی که ترینر روی همان GPU اجرا میشود حافظهاش را آزاد کند، و بعد از آن دوباره پس بگیرد.
- درخواستهایی را که هنگام تغییر وزنها هنوز در حال اجرا هستند، متوقف یا تعلیق کند.
- لگاریتم احتمال (log probability) تکتک توکنهای نمونهبرداریشده را برگرداند.
هر یک از این کارها نیازمند هوکی درون موتور است. به همین دلیل Miles نسخهی پچشدهای از SGLang را اجرا میکند و SGLang موجود در ایمیج، نسخهی دستنخورده و رسمی نیست.
پنج منشأ اختلاف میان دو بخش
الگوریتم GRPO فرض را بر این میگذارد که ترینر و موتور استنتاج بر سر احتمال هر توکن نمونهبرداریشده توافق دارند. آنها ممکن است به پنج شکل با هم اختلاف پیدا کنند:
| منشأ | چه اتفاقی میافتد | راهحل Miles |
|---|---|---|
| توکنها | تبدیل متن به توکن در دو طرف به شکل متفاوتی انجام میشود، بهویژه میان نوبتهای گردش ایجنت (agent turns) | سرور نشست (session server) که به جای متن، توکنها را ردوبدل میکند |
| مسیریابی | مسیریاب در مدلهای MoE، در هر طرف متخصصان متفاوتی را انتخاب میکند | بازپخش مسیریابی (routing replay) |
| نمونهبرداری | هنگام استفاده از top-p یا top-k، موتور از مجموعهی محدودی از توکنها نمونه میگیرد، اما ترینر روی کل واژگان امتیازدهی میکند | بازپخش نمونهبرداری (sampling replay) |
| محاسبات عددی | کرنلهای (kernel) مختلف جمع را با ترتیب متفاوتی انجام میدهند، یا یکی از دو طرف از دقت (precision) پایینتری استفاده میکند | تصحیحات نمونهبرداری اهمیت (importance-sampling)، حالت همسیاستِ واقعی (true on-policy) |
| کهنگی داده | نمونه از وزنهایی قدیمیتر از وزنهای فعلیِ ترینر به دست آمده است | اعمال محدودیت روی عمر نمونه و تصحیحات |
در اغلب اجراهای ما روی یک GB10، فقط عامل محاسبات عددی دیده میشد. در یکی از اجراها نمونهبرداری با top-p و top-k انجام شد، بنابراین اختلاف نمونهبرداری هم وجود داشت. در اجراهای مدل Qwen3-0.6B، این اختلاف در محدودهی 0.013 تا 0.016 به ازای هر توکن باقی ماند. بخش 8.2 هر روش تصحیح را با منشأ مربوط به خودش مطابقت میدهد.
دیدگاه ما این است: بخش دشوار یک فریمورک یادگیری تقویتی، تابع زیان (loss) نیست؛ بلکه کنترل و سنجش دقیق این پنج منشأ اختلاف در حین اجرای موتور با حداکثر سرعت است.
منابع: مستندات معماری Miles، کنترلر استنتاج و سرور نشست در main 08752a12؛ فایل capture/gpu/summary/miles-gb10-lab.json؛ فایل capture/gpu/miles_grpo.py.