سؤال مصاحبه

نوشتن و اثبات درستی پاداش سفارشی برای الگوریتم GRPO

Write and prove a custom reward for GRPO

  • سطح ۳: ارشد
  • پروژه‌ی خانگی
  • ۳۰ دقیقه

تکلیف عملی. فریم‌ورک یادگیری تقویتی (RL) مورد استفاده‌ی شما، به هر پاسخ نمونه‌برداری‌شده با یک تابع پاداش (reward function) امتیاز می‌دهد؛ تابعی که آن را با تغییر مسیر ایمپورت جایگزین می‌کنید. برای وظیفه‌ای با پاسخ نهایی عددی، یک تابع پاداش بنویسید، یک برنامه‌ی آزمون (test plan) برای آن آماده کنید، و توضیح دهید چطور پیش از اجرای طولانی اثبات می‌کنید که پاداش شما مزیت‌های (advantages) الگوریتم GRPO را خراب نمی‌کند. تابع و برنامه‌ی آزمون را طوری بنویسید که خواندنشان بیشتر از 5 دقیقه طول نکشد.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

یک تابع ناهمگام (async) بنویسید که آرگومان‌های اجرا و یک نمونه را تحویل می‌گیرد، آخرین عدد را از پاسخ و از برچسب استخراج می‌کند، و در صورت تطابق مقدار 1.0 و در غیر این صورت 0.0 برمی‌گرداند؛ مقایسه را عددی انجام دهید تا 142 هیچ‌وقت با 42 تطابق پیدا نکند. تابع را روی ده پاسخ که دستی امتیاز داده‌اید بیازمایید؛ شامل یک پاسخ درست، یک نادرست، یک پاسخ خالی، و پاسخی که در سقف طول متن قطع شده است، چون بروز خطا روی پاسخ خالی، مسیر پیش‌روی شبیه‌سازی‌شده‌ی کل گام را متوقف می‌کند. سپس مزیت‌ها را بررسی کنید: گروهی که در آن همه‌ی پاسخ‌ها پاداش یکسانی می‌گیرند باید برای تک‌تک اعضا مزیت 0 تولید کند، و پاداش اعشاری ممکن است به خاطر گرد کردن در float32 این شرط را نقض کند.

پاسخ کامل

تابع پاداش

import re


def last_number(text):
    found = re.findall(r"-?\d+(?:\.\d+)?(?:[eE][-+]?\d+)?", text.replace(",", ""))
    return float(found[-1]) if found else None


async def custom_rm(args, sample, **kwargs):
    answer = last_number(sample.response)
    label = last_number(str(sample.label))
    return 1.0 if answer is not None and answer == label else 0.0

سه قانون بر اساس مستندات فنی: تابع را به صورت async def بنویسید، چون فریم‌ورک منتظر نتیجه می‌ماند (await می‌کند) و یک تابع معمولی همان فراخوانی اول به خطا می‌خورد. این تابع آرگومان‌های اجرا و یک نمونه را دریافت می‌کند؛ پاسخ در sample.response و برچسب در sample.label قرار دارد. اگر خروجی تابع دیکشنری است، نام فیلد حاوی پاداش را با فلگ کلید پاداش مشخص کنید؛ با فعال کردن فلگ گروه، تابع کل گروه را در قالب یک لیست تحویل می‌گیرد و برای هر نمونه یک پاداش برمی‌گرداند.

اتصال تابع به سیستم

ماژول را در پوشه‌ی مانت‌شده‌ی آزمایشگاه ذخیره کنید، آن پوشه را در PYTHONPATH بگذارید و مسیر ایمپورت را با --custom-rm-path my_rewards.custom_rm ارسال کنید. اگر ایمپورت موفق باشد، در اولین خط rollout 0 پاداشی را می‌بینید که تابع شما تولید کرده است. اگر ناموفق باشد، در لاگ خطای ModuleNotFoundError ثبت می‌شود و اجرا خودبه‌خود متوقف نمی‌شود. آزمونِ ارائه‌شده در راهنما دو ساعت بدون اجرای حتی یک گام بالا ماند و ناظر سلامت سیستم (watchdog) هم فعال نشد، چون موتور کلاً فقط 44 خط خطا ثبت کرده بود. کانتینر را متوقف کنید، مسیر را اصلاح کنید و دوباره استارت بزنید.

برنامه‌ی آزمون

  1. یک بار فراخوانی داخل کانتینر روی نمونه‌ای دست‌نویس، پیش از هرگونه پردازش روی GPU: پاسخ «So the answer is 42.» با برچسب «42» باید خروجی 1.0 بدهد.
  2. ده پاسخ که دستی امتیاز داده‌اید: درست، نادرست، درست با فرمت متفاوت، عددی با کاما، پاسخ خالی، پاسخی بدون هیچ عدد، پاسخی که در سقف طول متن قطع شده، برچسب منفی، برچسب اعشاری، و پاسخی با دو عدد که دومی (آخرین عدد) درست است.
  3. یک اجرای دوگامی با پاداش فعال؛ مقدار rollout/raw_reward را در گام اول بخوانید و چند نمونه‌ی ثبت‌شده در لاگ را با امتیازهای دستی‌تان مقایسه کنید.

اثبات درستی مزیت‌ها

الگوریتم GRPO میانگین گروه را از تک‌تک پاداش‌ها کم می‌کند و حاصل را بر انحراف معیار گروه تقسیم می‌کند. پاداش دودویی (binary) میانگین دقیقی می‌سازد، بنابراین در گروهی با پاداش‌های یکسان، مزیت تک‌تک اعضا دقیقاً 0 می‌شود. اما پاداش اعشاری ممکن است به مشکل بخورد: در فرمت float32، میانگین 16 پاداش با مقدار 0.3 دقیقاً 0.3 نمی‌شود، و تقسیم بر انحراف معیاری که نزدیک به 0 است، باقیمانده را برای هر پاسخ تا حدود 0.029 باد می‌کند. اگر سراغ امتیازدهی جزئی (partial credit) می‌روید، از مقادیری استفاده کنید که float32 دقیقاً آن‌ها را نگه می‌دارد، مثل مضارب 0.25؛ و حتماً پیش از اجرای طولانی بررسی کنید که یک گروه با پاداش‌های برابر، مزیت صفر تولید کند.

استفاده از کوچک‌ترین نقطه‌ی اتصال

یک قاعده‌ی امتیازدهی صرفاً به نقطه‌ی اتصال پاداش (reward hook) نیاز دارد. فیلتر گروه و تابع تولید (generate) بدون تغییر باقی می‌مانند؛ در نتیجه دسته‌بندی (batching)، سنجه‌ها و بررسی فاصله‌ها همچنان بدون مشکل برایتان کار می‌کنند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا اعداد را به‌صورت عددی مقایسه می‌کنیم و نه رشته‌ای؟ پاسخ مورد انتظار: برای اینکه صفر انتهایی یا کاما باعث رد شدن پاسخ درست نشود، و عدد 142 به دلیل تطابق زیررشته‌ای با 42 یکی گرفته نشود.
  • سطح 3: وظیفه دارای پاسخ متنی آزاد است. چه چیزی تغییر می‌کند؟ پاسخ مورد انتظار: بخش استخراج؛ اگر گزینه‌ای متناسب بود، از امتیازدهنده‌های توکار همپوشانی (overlap) یا چندگزینه‌ای استفاده کنید چون از قبل آزموده شده‌اند، و همان برنامه‌ی آزمون ده‌پاسخی را حفظ کنید.
  • سطح 4: کدام پاداش توکار برای پاسخ نادرست منفی یک برمی‌گرداند، و این در ادامه‌ی مسیر چه تغییری ایجاد می‌کند؟ پاسخ مورد انتظار: پاداش سبک DAPO یک دیکشنری حاوی امتیاز برمی‌گرداند، بنابراین به فلگ کلید پاداش نیاز دارد؛ علامت منفی فقط میانگین را تغییر می‌دهد و خاصیت مزیت صفر در پاداش‌های دومقداری را برهم نمی‌زند.
  • سطح 4: چگونه تغییرات تابع پاداش را بدون نیاز به مسیرهای پیش‌روی شبیه‌سازی‌شده‌ی جدید بیازماییم؟ پاسخ مورد انتظار: نمونه‌های مسیر پیش‌روی شبیه‌سازی‌شده از یک اجرا را ذخیره کنید و آن‌ها را صرفاً با بخش آموزش‌دهنده (trainer) بازپخش (replay) کنید، تا همه‌ی پاداش‌های کاندید روی همان نمونه‌های یکسان امتیازدهی شوند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «یک تابع معمولی بنویسید؛ راهنمای فلگ‌ها نمونه‌اش را نشان داده است.» فریم‌ورک منتظر نتیجه می‌ماند (await می‌کند)، بنابراین تابع معمولی در همان فراخوانی اول خطا می‌دهد؛ آن را به صورت یک تابع ناهمگام (async) بنویسید.
  • «برای امتیازدهی جزئی هر اعشاری بین 0 و 1 برگردانید؛ GRPO خودش موضوع را مدیریت می‌کند.» اعدادی که اعشارشان در float32 دقیق نمی‌نشیند، برای گروه‌هایی با پاداش برابر مزیت غیرصفر می‌سازند؛ به مقادیر دقیق گرد کنید و چنین گروهی را حتماً بیازمایید.
  • «از حالت پاسخ خالی صرف‌نظر کنید؛ مدل همیشه چیزی می‌نویسد.» پاسخ ناقص یا خالی در هر گام به تابع پاداش می‌رسد، و بروز خطا در آن نقطه کل مسیر پیش‌روی شبیه‌سازی‌شده را متوقف می‌کند.

کجای دوره آموزش داده می‌شود

بخش 3.5 از Miles 101 تابع، قوانین ایمپورت و بررسی مزیت در float32 را ارائه می‌دهد، و بخش 8.5 توضیح می‌دهد که چرا نقطه‌ی اتصال پاداش، کوچک‌ترین گزینه‌ی ممکن برای این تغییر است.