توابع تولید، پاداش، فیلتر و تابع زیان (loss) از طریق یک مسیر ایمپورت به Miles متصل میشوند؛ بنابراین با یک دستورالعمل (recipe) جدید میتوان بدون نیاز به fork، کد را تغییر داد.
هر دستورالعمل یادگیری تقویتی (RL) چیزی را تغییر میدهد: نحوهی تولید پاسخها، نحوهی امتیازدهی به آنها یا اینکه سیستم آموزش کدام گروهها را نگه میدارد. اگر هر تغییر نیازمند یک fork بود، هر تیمی باید نسخهی اختصاصی خودش را از Miles نگه میداشت. Miles با ارائهی مجموعهای از فلگها که هر کدام یک مسیر ایمپورت پایتون میگیرند، جلوی این مشکل را میگیرد.
وقتی این بخش را تمام کنید، میتوانید توضیح دهید که یک تابع سفارشی کجای یک گام متصل میشود و همچنین کوچکترین قلاب (hook) مناسب را برای تغییر مدنظرتان انتخاب کنید.
نحوهی تبدیل مسیر به تابع
هر یک از این فلگها مسیری شبیه به my_package.my_module.my_function دریافت میکنند. Miles آن ماژول را ایمپورت میکند و تابع را از درونش برمیدارد. Miles ابتدا یک رجیستری کوچک را هم بررسی میکند، اما فقط تستهای خودِ پکیج آن رجیستری را پر میکنند.
بنابراین تابع شما در فایل خودتان و خارج از سورسکد Miles قرار میگیرد. کافی است فایل را داخل کانتینر مانت کنید، یا آن را در قالب یک پکیج نصب کرده و مسیرش را ارسال کنید.
قلابها به ترتیب استفاده در یک گام
| قلاب | فلگ | کارکرد تابع شما |
|---|---|---|
| Rollout | --rollout-function-path |
کل مسیر پیشروی شبیهسازیشده (rollout) یک گام را جایگزین میکند |
| تولید (Generate) | --custom-generate-function-path |
پاسخ یک نمونه را درون rollout پیشفرض تولید میکند |
| پاداش (Reward) | --custom-rm-path |
به یک نمونه امتیاز میدهد |
| فیلتر گروهی (Group filter) | --dynamic-sampling-filter-path |
پاسخهای یک پرامپت را بهصورت یک گروه نگه میدارد یا حذف میکند |
| فیلتر بافر (Buffer filter) | --buffer-filter-path |
گروههایی را که از بافر خارج میشوند انتخاب میکند |
| فیلتر نمونه (Sample filter) | --rollout-sample-filter-path |
مشخص میکند کدام نمونهها در تابع زیان نقش داشته باشند |
| بافر داده (Data buffer) | --custom-async-data-buffer-path |
بافر گروههای تکمیلشده را در حالت کاملاً ناهمگام (async) جایگزین میکند |
| زیان (Loss) | --custom-loss-function-path، همراه با --loss-type custom_loss |
تابع زیان را محاسبه میکند |
استفاده از کوچکترین قلاب ممکن
هرچه در جدول پایینتر بروید، بخش کمتری از Miles جایگزین میشود. پایینترین گزینهای را انتخاب کنید که تغییرات شما را پوشش میدهد:
- یک قانون امتیازدهی جدید فقط به قلاب پاداش نیاز دارد.
- یک ایجنت چندنوبتی (multi-turn) یا مجهز به ابزار به قلاب تولید نیاز دارد. بخش 3.3 موارد توکار را نشان میدهد.
- یک فیلتر به سبک DAPO فقط به فیلتر گروهی نیاز دارد. Miles یک فیلتر توکار دارد که گروههایی را که همهی پاسخهایشان پاداش یکسانی گرفتهاند حذف میکند.
- کل rollout را فقط زمانی جایگزین کنید که شکل خود گام تغییر میکند.
قلاب کوچکتر باعث میشود سایر بخشهای Miles همچنان برایتان کار کنند: دستهبندی (batching)، معیارها (metrics) و بررسیهای شکاف داده (gap checks). قابلیت Partial rollout فقط زمانی به کار خود ادامه میدهد که تابع تولید از آن پشتیبانی کند. توابع توکار تولید برای ایجنت و حالت چندنوبتی از این ویژگی پشتیبانی نمیکنند؛ همانطور که در بخش 4.2 نشان داده شده است.
فقط زمانی fork کنید که هیچ قلابی مناسب نباشد
بعضی تیمها Miles یا slime را fork میکنند تا قلابی بسازند که هنوز وجود ندارد. این الگو در ردیاب ایشوهای (issue tracker) مایلز دیده میشود: اول یک fork از سمت مشارکتکننده همراه با تست رگرسیون، و سپس ثبت ایشو. اگر fork میکنید، تغییرات را کوچک نگه دارید و آن را به مخزن اصلی بفرستید تا fork شما دچار دریفت از شاخهی اصلی نشود.
منابع: رجیستری توابع، آرگومانهای rollout، پاداش، فیلتر، بافر داده و تابع زیان در Miles در برنچ main کامیِت 08752a12؛ ایشوهای 4238 و 3714 در Miles به همراه forkهای مشارکتکنندگان آنها.