بخش 3.5 · دستورالعمل‌ها

نوشتن تابع پاداش سفارشی

Write a custom reward function

فهرست مطالب
  1. اول پاداش‌های توکار را بررسی کنید
  2. اتصال تابع اختصاصی خودتان
  3. آزمایش تابع قبل از اجرای اصلی
  4. بررسی مزیت‌ها در پاداش‌های کسری

پاداش سفارشی تنها با یک فلگ اضافه می‌شود، و در پاداش‌هایی با مقادیر کسری باید بررسی کنید که مزیت (advantage) چگونه مرکزسنجی (center) می‌شود.

پاداش مشخص می‌کند که مدل چه چیزی یاد بگیرد. Miles مجموعه‌ای از پاداش‌های توکار دارد و اگر هیچ‌کدام به کار وظیفه‌ی (task) شما نیامد، می‌توانید تابع اختصاصی خودتان را معرفی کنید.

با پایان این بخش، می‌توانید تابع پاداش خودتان را وصل کنید و پیش از شروع یک اجرای طولانی، مزیت‌های آن را بسنجید.

ما پاداش سفارشی را روی GB10 خودمان نسنجیده‌ایم. اجراهای ما از پاداش توکار math استفاده کردند که به پاسخ درست امتیاز 1 و در غیر این صورت 0 می‌دهد.

اول پاداش‌های توکار را بررسی کنید

فلگ --rm-type یکی از پاداش‌های توکار را انتخاب می‌کند. مواردی که به احتمال زیاد بیشتر از همه به کارتان می‌آیند:

--rm-type امتیاز
math در صورت تطابق پاسخ با برچسب 1، در غیر این صورت 0
dapo برای پاسخ درست 1 و در غیر این صورت 1-، در قالب یک dict برگردانده می‌شود؛ بنابراین به --reward-key score نیاز دارد
deepscaler امتیاز مبتنی بر قواعد DeepScaleR
f1 میزان همپوشانی (overlap) F1 با برچسب
gpqa امتیاز گزینه‌های چندگزینه‌ای GPQA
remote_rm امتیاز دریافتی از یک سرویس پاداش HTTP در آدرس --rm-url

پیشوند boxed_ را به انواع ریاضی اضافه کنید (مانند boxed_math) تا فقط به پاسخ داخل \boxed{} امتیاز داده شود.

اتصال تابع اختصاصی خودتان

تابع را در قالب فایل ~/miles-lab/my_rewards.py روی سیستم میزبان ذخیره کنید. کانتینر آن را به‌صورت /root/lab/my_rewards.py می‌بیند:

import re


def last_number(text):
    found = re.findall(r"-?\d+(?:\.\d+)?(?:[eE][-+]?\d+)?", text.replace(",", ""))
    return float(found[-1]) if found else None


async def custom_rm(args, sample, **kwargs):
    answer = last_number(sample.response)
    label = last_number(str(sample.label))
    return 1.0 if answer is not None and answer == label else 0.0

این مثال به پاسخ‌های عددی امتیاز می‌دهد؛ به این صورت که آخرین عدد موجود در پاسخ را از نظر مقداری با برچسب مقایسه می‌کند. بنابراین، پاسخ 142 با برچسب 42 تطابق نخواهد داشت. اگر پاسخ‌ها عددی نیستند، بخش استخراج مقدار را تغییر دهید.

سپس دو تنظیم به اجرای بخش 1.1 اضافه کنید. مقدار PYTHONPATH به Miles اجازه می‌دهد فایل را از پوشه‌ی lab ایمپورت کند، و آن فلگ هم تابع را بر اساس مسیر ایمپورتش مشخص می‌کند:

-e PYTHONPATH=/root/lab -e MILES_EXTRA_ARGS="--custom-rm-path my_rewards.custom_rm"

لانچر، متغیر PYTHONPATH را به ورکر‌های Ray که به پاسخ‌ها امتیاز می‌دهند منتقل می‌کند. وقتی ایمپورت درست کار کند، در اولین سطر rollout 0 مقدار rollout/raw_reward که تابع شما محاسبه کرده است نمایش داده می‌شود.

اگر Miles نتواند فایل را پیدا کند، لاگ خطای ModuleNotFoundError: No module named 'my_rewards' را نشان می‌دهد. پس از این خطا، اجرا خودبه‌خود متوقف نمی‌شود. در تست ما، جاب به مدت 2 ساعت بدون هیچ گام مسیر پیش‌روی شبیه‌سازی‌شده‌ای (rollout) بالا ماند. ناظر سیستم (watchdog) هم جلویش را نگرفت، چرا که موتور در این مدت فقط 44 سطر خطای 503 Service Unavailable ثبت کرده بود. به محض مشاهده‌ی این خطا، کانتینر را متوقف کنید، PYTHONPATH را اصلاح کنید و اجرا را دوباره راه بیندازید.

تابع را حتماً با async def بنویسید. راهنمای فلگ یک تابع معمولی را نشان می‌دهد، اما Miles منتظر نتیجه می‌ماند (await می‌کند)؛ در نتیجه تابع معمولی با خطا مواجه خواهد شد. تابع، آرگومان‌های اجرا و یک نمونه را دریافت می‌کند که پاسخ در sample.response و برچسب در sample.label قرار دارد. اگر خروجی تابع از نوع dict است، فیلد حاوی پاداش را با --reward-key مشخص کنید. با تعیین --group-rm، نرم‌افزار Miles کل گروه را در قالب یک لیست از نمونه‌ها ارسال می‌کند و تابع باید برای هر نمونه یک پاداش برگرداند.

آزمایش تابع قبل از اجرای اصلی

پیش از اجرای اصلی، تابع را درون کانتینر فراخوانی کنید. این دستور به یک پاسخ امتیاز می‌دهد:

docker run --rm -v "$HOME/miles-lab:/root/lab" -e PYTHONPATH=/root/lab radixark/miles:latest python -c "import asyncio, types, my_rewards; s = types.SimpleNamespace(response='So the answer is 42.', label='42'); print(asyncio.run(my_rewards.custom_rm(None, s)))"

این دستور باید مقدار 1.0 را چاپ کند. سپس تابع را روی 10 پاسخی که دستی امتیاز داده‌اید اجرا کنید. حتماً یک پاسخ درست، یک پاسخ غلط، یک پاسخ خالی و یک پاسخ قطع‌شده در سقف طول مجاز را در این آزمون بگنجانید. پاداشی که روی یک پاسخ خالی کِرَش کند، می‌تواند مسیر پیش‌روی شبیه‌سازی‌شده‌ی کل آن گام را متوقف کند.

بررسی مزیت‌ها در پاداش‌های کسری

الگوریتم GRPO میانگین پاداش هر گروه را از تک‌تک پاسخ‌ها کم می‌کند و سپس حاصل را بر انحراف معیار گروه تقسیم می‌کند. وقتی همه‌ی پاسخ‌های یک گروه پاداش یکسانی بگیرند، باید مقدار مزیت همه‌ی آن‌ها 0 شود و آن گروه عملاً هیچ چیزی یاد ندهد.

گزارشی در بخش پیگیری اشکالات Miles نشان می‌دهد که این فرایند برای برخی اعداد کسری درست کار نمی‌کند. در float32، میانگین 16 پاداش با مقدار 0.3 دقیقاً 0.3 نمی‌شود؛ بنابراین باقی‌مانده‌ی بسیار ناچیزی بر جا می‌ماند. تقسیم بر انحراف معیاری که نزدیک به 0 است، این عدد را بزرگ می‌کند: حدود 0.029 به ازای هر پاسخ. پاداش باینری 0 یا 1 با این مشکل مواجه نمی‌شود، چون میانگین آن دقیق درمی‌آید.

اگر پاداش شما مقادیر کسری تولید می‌کند، گروه‌هایی را که تمام پاسخ‌هایشان پاداش یکسانی گرفته‌اند پیدا کنید و مطمئن شوید مزیت آن‌ها 0 است. اگر نبود، پاداش‌ها را به اعدادی گرد کنید که در float32 دقیق ذخیره می‌شوند؛ مثل مضارب 0.25.

منابع: بخش پاداش‌های Miles، بارگذار تابع، و آرگومان‌های پاداش در main 08752a12؛ مدیریت PYTHONPATH در لانچر Miles برای بک‌اند Ray در main 08752a12؛ فایل capture/gpu/miles_grpo.py؛ ایشوی شماره‌ی 4019 در Miles؛ فایل capture/gpu/out-gb10/custom-rm-noenv-hang.txt (بررسی زنده، 2026-10-23).

ترجمه‌ی فارسی Write a custom reward function از راهنمای Miles 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما