بخش 8.5 · Miles چگونه کار می‌کند

سازوکار اتصال توابع Rollout

How rollout functions plug in

فهرست مطالب
  1. نحوه‌ی تبدیل مسیر به تابع
  2. قلاب‌ها به ترتیب استفاده در یک گام
  3. استفاده از کوچک‌ترین قلاب ممکن
  4. فقط زمانی fork کنید که هیچ قلابی مناسب نباشد

توابع تولید، پاداش، فیلتر و تابع زیان (loss) از طریق یک مسیر ایمپورت به Miles متصل می‌شوند؛ بنابراین با یک دستورالعمل (recipe) جدید می‌توان بدون نیاز به fork، کد را تغییر داد.

هر دستورالعمل یادگیری تقویتی (RL) چیزی را تغییر می‌دهد: نحوه‌ی تولید پاسخ‌ها، نحوه‌ی امتیازدهی به آن‌ها یا اینکه سیستم آموزش کدام گروه‌ها را نگه می‌دارد. اگر هر تغییر نیازمند یک fork بود، هر تیمی باید نسخه‌ی اختصاصی خودش را از Miles نگه می‌داشت. Miles با ارائه‌ی مجموعه‌ای از فلگ‌ها که هر کدام یک مسیر ایمپورت پایتون می‌گیرند، جلوی این مشکل را می‌گیرد.

وقتی این بخش را تمام کنید، می‌توانید توضیح دهید که یک تابع سفارشی کجای یک گام متصل می‌شود و همچنین کوچک‌ترین قلاب (hook) مناسب را برای تغییر مدنظرتان انتخاب کنید.

نحوه‌ی تبدیل مسیر به تابع

هر یک از این فلگ‌ها مسیری شبیه به my_package.my_module.my_function دریافت می‌کنند. Miles آن ماژول را ایمپورت می‌کند و تابع را از درونش برمی‌دارد. Miles ابتدا یک رجیستری کوچک را هم بررسی می‌کند، اما فقط تست‌های خودِ پکیج آن رجیستری را پر می‌کنند.

بنابراین تابع شما در فایل خودتان و خارج از سورس‌کد Miles قرار می‌گیرد. کافی است فایل را داخل کانتینر مانت کنید، یا آن را در قالب یک پکیج نصب کرده و مسیرش را ارسال کنید.

قلاب‌ها به ترتیب استفاده در یک گام

قلاب فلگ کارکرد تابع شما
Rollout --rollout-function-path کل مسیر پیش‌روی شبیه‌سازی‌شده (rollout) یک گام را جایگزین می‌کند
تولید (Generate) --custom-generate-function-path پاسخ یک نمونه را درون rollout پیش‌فرض تولید می‌کند
پاداش (Reward) --custom-rm-path به یک نمونه امتیاز می‌دهد
فیلتر گروهی (Group filter) --dynamic-sampling-filter-path پاسخ‌های یک پرامپت را به‌صورت یک گروه نگه می‌دارد یا حذف می‌کند
فیلتر بافر (Buffer filter) --buffer-filter-path گروه‌هایی را که از بافر خارج می‌شوند انتخاب می‌کند
فیلتر نمونه (Sample filter) --rollout-sample-filter-path مشخص می‌کند کدام نمونه‌ها در تابع زیان نقش داشته باشند
بافر داده (Data buffer) --custom-async-data-buffer-path بافر گروه‌های تکمیل‌شده را در حالت کاملاً ناهمگام (async) جایگزین می‌کند
زیان (Loss) --custom-loss-function-path، همراه با --loss-type custom_loss تابع زیان را محاسبه می‌کند

استفاده از کوچک‌ترین قلاب ممکن

هرچه در جدول پایین‌تر بروید، بخش کمتری از Miles جایگزین می‌شود. پایین‌ترین گزینه‌ای را انتخاب کنید که تغییرات شما را پوشش می‌دهد:

  • یک قانون امتیازدهی جدید فقط به قلاب پاداش نیاز دارد.
  • یک ایجنت چندنوبتی (multi-turn) یا مجهز به ابزار به قلاب تولید نیاز دارد. بخش 3.3 موارد توکار را نشان می‌دهد.
  • یک فیلتر به سبک DAPO فقط به فیلتر گروهی نیاز دارد. Miles یک فیلتر توکار دارد که گروه‌هایی را که همه‌ی پاسخ‌هایشان پاداش یکسانی گرفته‌اند حذف می‌کند.
  • کل rollout را فقط زمانی جایگزین کنید که شکل خود گام تغییر می‌کند.

قلاب کوچک‌تر باعث می‌شود سایر بخش‌های Miles همچنان برایتان کار کنند: دسته‌بندی (batching)، معیارها (metrics) و بررسی‌های شکاف داده (gap checks). قابلیت Partial rollout فقط زمانی به کار خود ادامه می‌دهد که تابع تولید از آن پشتیبانی کند. توابع توکار تولید برای ایجنت و حالت چندنوبتی از این ویژگی پشتیبانی نمی‌کنند؛ همان‌طور که در بخش 4.2 نشان داده شده است.

فقط زمانی fork کنید که هیچ قلابی مناسب نباشد

بعضی تیم‌ها Miles یا slime را fork می‌کنند تا قلابی بسازند که هنوز وجود ندارد. این الگو در ردیاب ایشوهای (issue tracker) مایلز دیده می‌شود: اول یک fork از سمت مشارکت‌کننده همراه با تست رگرسیون، و سپس ثبت ایشو. اگر fork می‌کنید، تغییرات را کوچک نگه دارید و آن را به مخزن اصلی بفرستید تا fork شما دچار دریفت از شاخه‌ی اصلی نشود.

منابع: رجیستری توابع، آرگومان‌های rollout، پاداش، فیلتر، بافر داده و تابع زیان در Miles در برنچ main کامیِت 08752a12؛ ایشوهای 4238 و 3714 در Miles به همراه forkهای مشارکت‌کنندگان آن‌ها.

ترجمه‌ی فارسی How rollout functions plug in از راهنمای Miles 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما