مسیر پیشروی شبیهسازیشدهی (rollout) یک ایجنت شامل چندین نوبت گفتوگو (turn) و فراخوانی ابزار (tool call) است؛ Miles این مراحل را با یک تابع تولید (generate function) اجرا میکند که نامش را مشخص میکنید.
یک مسیر پیشروی برای مسائل ریاضی، فقط شامل یک پرامپت (prompt) و یک پاسخ است. اما مسیر پیشروی یک ایجنت (agent) مثل یک گفتوگو پیش میرود: مدل مینویسد، ابزاری را فراخوانی میکند، نتیجه را میخواند و دوباره مینویسد. هر نوبت گفتوگو توکنهایی (token) اضافه میکند که بخش آموزشدهنده (trainer) باید دقیقاً همانطور که موتور تولید کرده، به آنها امتیاز دهد.
پس از پایان این بخش، نقطهی شروع مناسبی برای دستورالعمل (recipe) یک ایجنت انتخاب میکنید و تنظیماتی را که باعث هماهنگی نوبتهای گفتوگو میشوند میشناسید.
ما هنوز دستورالعملهای ایجنت را روی GB10 خود اجرا نکردهایم. مطالب این صفحه بر اساس سورسکد و نمونههای خودِ Miles گردآوری شده است.
شروع از یک نمونهی آماده
پروژهی Miles دستورالعملهایی برای ایجنت دارد که دو مورد از آنها در پوشهی آزمایشی (experimental) قرار دارند. نزدیکترین گزینه به وظیفهی (task) مد نظرتان را انتخاب کنید و ابزارها و دادههایش را تغییر دهید:
| نمونه | عملکرد ایجنت |
|---|---|
retool_v2 |
کد Python مینویسد، آن را در یک ساندباکس (sandbox) اجرا میکند و هنگام استدلال، از خروجی آن بهره میبرد |
search-r1، آزمایشی |
در طول چندین نوبت گفتوگو، یک ابزار جستوجو را فراخوانی میکند |
swe-agent-harbor-docker |
وظایف کدنویسی و ترمینال را درون ساندباکسهای محلی Docker انجام میدهد |
tau-bench، آزمایشی |
با فراخوانی ابزارها، به یک مشتری شبیهسازیشده پاسخ میدهد |
نمونهی retool_v2 حالتی هم دارد که با --fully-async --num-gpus-per-node 1 روی یک GPU اجرا میشود. این حالت برای محیطهای آزمایشگاهی با یک GPU، نزدیکترین نقطهی شروع است.
انتخاب تابع تولید
مسیر پیشروی هر نمونه از طریق یک تابع تولید به دست میآید. Miles سه تابع پیشفرض دارد: تکنوبتی، چندنوبتی و فراخوانی ابزار توسط ایجنت. با آرگومان --custom-generate-function-path، که یک مسیر ایمپورت در Python میگیرد، نام تابع اختصاصی خود را مشخص کنید.
تابع تولید یک نمونه، تنظیمات نمونهبرداری آن و آدرس مسیریاب (router) را دریافت میکند. سپس اطلاعات نمونه را پر میکند: توکنها، لگاریتم احتمالهای ثبتشده توسط موتور، و ماسک زیان (loss mask). ماسک زیان توکنهایی را مشخص میکند که خودِ مدل نوشته است و فقط همین توکنها در تابع زیان (loss) محاسبه میشوند. خروجی ابزار جزو متن زمینه (context) بهشمار میرود، نه خروجی مدل.
حفظ دقیق توکنهای هر نوبت گفتوگو
در حلقهی ایجنت (agent loop)، توکنها معمولاً بین نوبتهای گفتوگو ابتدا به متن و دوباره به توکن تبدیل میشوند. این رفتوبرگشت میتواند توکنها را تغییر دهد؛ در نتیجه بخش آموزشدهنده توالیای را امتیازدهی میکند که موتور هرگز تولید نکرده است.
Miles برای جلوگیری از این مشکل از یک سرور نشست (session server) استفاده میکند که در هر نوبت گفتوگو، توکنها را مستقیماً دریافت میکند و تحویل میدهد. با آرگومان --use-session-server، مسیریاب همهی نوبتهای یک گفتوگو را روی همان موتور نگه میدارد. به این ترتیب، هر نوبت دوباره از کَش (cache) نوبتهای قبلی استفاده میکند.
روش مسیر پیشروی جزئی (partial rollout) مطرحشده در بخش 4.2، با این دستورالعملها کار نمیکند. سرور نشست و توابع تولید چندنوبتی و ایجنتی این قابلیت را نمیپذیرند.
مواردی که باید زیر نظر بگیرید
- سهم توکنهای نوشتهشده توسط مدل در برابر سهم توکنهای ابزارها. اگر ابزارها بخش اعظم توکنها را بنویسند، مدل در هر گام چیز زیادی یاد نمیگیرد.
- اختلاف بین آموزشدهنده و موتور، درست مانند بخش 5.2. فاصلهای بسیار بیشتر از محدودهی معمولِ حالت تکنوبتی، نشاندهندهی عدم تطابق توکنها بین نوبتهای گفتوگو است.
- زمان هر گام. ابزارها زمان واقعی (wall-clock) پردازش را افزایش میدهند؛ زمانی که GPU صرف انتظار کشیدن میکند.
منابع: نمونههای Miles شامل (retool_v2، search-r1، swe-agent-harbor-docker و tau-bench)، هاب توابع تولید، سرور نشست و آرگومانهای مسیریاب در main 08752a12؛ مستندات Miles fully async.