تیمی در حال آموزش یک مدل گفتوگو بر اساس یک مدل پاداش (Reward Model) است و گزارش میدهد که مقدار پاداش در هر گام بیشتر میشود. آنها قصد دارند آموزش را باز هم ادامه دهند. چرا پاداشی که مدام بالا میرود یک علامت هشدار است، و قبل از ادامهی کار، از آنها میخواهید چه نموداری را رسم کنند؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
مدل پاداش یک پاداش تقریبی (Proxy reward) برای هدف اصلی شماست، و یک بهینهساز (Optimizer) قوی ورودیهایی را پیدا میکند که در آنها این تقریب با هدف اصلی همخوانی ندارد. امتیاز پاداش تقریبی بالا میرود، در حالی که کیفیت واقعی ابتدا رشد میکند، به اوج میرسد و سپس افت میکند. از آنها بخواهید پاداش طلایی (Gold reward) — حاصل از یک مدل پاداش بزرگتر یا ارزیابیهای انسانی — را بر حسب جذر فاصلهی KL از خطمشی اولیه رسم کنند. فاصلهی بین این دو نمودار همان دور زدن پاداش (Reward Hacking) است.
پاسخ کامل
قانون
وقتی یک معیار به هدف تبدیل میشود، دیگر معیار خوبی نخواهد بود (قانون گودهارت یا Goodhart's Law). این صرفاً یک شعار نیست، بلکه ویژگی ذاتیِ بهینهسازی در برابر یک تقریبِ ناقص است. از میان چهار حالت این پدیده (رگرسیونی، اکسترمم، علی و خصمانه)، حالتهای اکسترمم و خصمانه بر آموزش مبتنی بر ترجیحات حاکمند: بهینهساز به سراغ دادههای انتهاییِ توزیع (دمها) میرود و سیستم امتیازدهی را دور میزند.
نمودار
در آزمایش مرجع این درس، یک مدل پاداش طلایی روی مجموعهدادهی بزرگی از برچسبها آموزش میبیند و چند مدل پاداش تقریبی هم روی زیرمجموعههای کوچکتری از همان برچسبها تربیت میشوند؛ سپس خطمشی در برابر هر تقریب بهینهسازی میشود. اگر نمودار پاداش طلایی را بر حسب جذر فاصلهی KL از خطمشی اولیه رسم کنید، همهی نمودارهای طلایی ابتدا رشد میکنند، به اوج میرسند و سپس افت میکنند. برای تقریبهایی که با برچسبهای بیشتری آموزش دیدهاند، این نقطهی اوج دورتر قرار میگیرد. اما امتیاز پاداش تقریبی هیچ نقطهی اوجی ندارد و مدام بالا میرود. همین الگو برای نمونهبرداری بهترین از n (Best-of-N) و یادگیری تقویتی (Reinforcement Learning) هم رخ میدهد؛ موضوعی که نشان میدهد سازوکار اصلی، ناشی از ترکیب بهینهساز و تقریب است، نه نوع الگوریتم.
چه کار باید کرد؟
- پاداش طلایی را بر حسب فاصلهی KL رسم کنید و آموزش را نزدیک اوج تجربی متوقف کنید، نه اینکه صرفاً تا پایان بودجهی گامهای آموزشی پیش بروید.
- از گروهی از مدلهای پاداش (Ensemble) با تجمیع بر اساس بدترین حالت استفاده کنید؛ بهینهساز شاید بتواند یکی را دور بزند، اما همهی آنها را همزمان نه.
- برچسبهای بیشتری برای پاداش تقریبی جمعآوری کنید؛ این کار نقطهی اوج را دورتر میبرد، اما افت نهایی همچنان سر جای خود باقی میماند.
- منتظر چهار چهرهی تکراری همین مشکل در خروجیها باشید: زیادهگویی، بلهقربانگویی (Sycophancy)، استدلال ناصادقانه (Unfaithful reasoning) و دستکاری ارزیاب (Evaluator tampering).
هیچکدام از این کارها دور زدن پاداش را از بین نمیبرد، بلکه فقط نقطهی اوج را جابهجا میکند؛ چیزی که اغلب برای عرضهی محصول کافی است، اما هرگز به این معنا نیست که مسئلهی همراستاسازی حل شده است.
سؤالهای تکمیلی مصاحبهگر
- سطح 1: در یک فرایند آموزش مبتنی بر ترجیحات، منظور از پاداش تقریبی و پاداش طلایی چیست؟ پاسخ مورد انتظار: پاداش تقریبی همان مدل پاداشی است که بهینهساز میبیند؛ پاداش طلایی همان چیزی است که واقعاً میخواهید، که در عمل با یک مدل پاداش بزرگتر یا ارزیابیهای انسانی سنجیده میشود.
- سطح 2: داشتن برچسبهای بیشتر برای مدل تقریبی چه کمکی میکند و تا چه اندازه؟ پاسخ مورد انتظار: نقطهی اوج نمودار طلایی در فاصلهی KL دورتری قرار میگیرد؛ اما افت عملکرد همچنان رخ میدهد.
- سطح 2: دو شکل از بروز این مشکل در یک مدل گفتوگو را نام ببرید. پاسخ مورد انتظار: پاسخهای طولانیتر و موافقت با کاربر؛ هر دو به این دلیل یاد گرفته میشوند که برچسبزنندهها ترجیح ضعیفی نسبت به آنها نشان دادهاند.
- سطح 3: تیم تصمیم میگیرد بهجای یادگیری تقویتی، بهترین نمونه را از میان چند خروجی انتخاب کند. آیا شکل نمودار تغییر میکند؟ پاسخ مورد انتظار: خیر؛ هر دو روش خروجیهایی با پاداش تقریبی بالا را انتخاب میکنند، و سازوکار اصلی ناشی از ترکیب بهینهساز و یک تقریب ناقص است، نه الگوریتم آموزش.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «پاداش بالا رفته، پس مدل بهتر شده است.» پاداش تقریبی همیشه بالا میرود؛ این پاداش طلایی است که اوج میگیرد و سپس سقوط میکند.
- «اگر بیشتر آموزش دهیم، پاداش طلایی هم جبران میکند و بالا میآید.» شکاف این دو با فاصلهی KL بیشتر میشود؛ ادامهی آموزش فقط مدل را در شیب نزولی جلوتر میبرد.
- «یک مدل پاداش بهتر مشکل را حل میکند.» برچسبهای بیشتر فقط اوج را عقب میرانند؛ هر تقریب محدودی از یک هدف نامحدود، بالاخره در نقطهای دچار شکاف میشود.
کجای دوره آموزش داده میشود
درس دور زدن پاداش و قانون گودهارت نمودار بیشبهینهسازی و قانون مقیاسپذیری آن را ارائه میدهد.