سؤال مصاحبه

ترینر DPO که تابع زیان آن هیچ تغییری نمی‌کند

A DPO trainer whose loss never moves

  • سطح ۲: میانی
  • کدخوانی
  • ۱۲ دقیقه

یکی از هم‌تیمی‌های شما بخش اصلی یک ترینر DPO را پیاده‌سازی کرده است. مقدار تابع زیان (loss) در تمام طول اجرای آموزش روی عدد اولیه‌اش ثابت می‌ماند و مقدار ثبت‌شده‌ی مارجین (margin) هم اصلاً تکان نمی‌خورد. کد را بخوانید و اشکال آن را پیدا کنید.

policy = TinyGPT(config)
reference = policy


def sequence_log_prob(model, prompt_ids, completion_ids):
    ids = torch.cat([prompt_ids, completion_ids])
    logits = model(ids[:-1].unsqueeze(0))[0]
    log_probs = logits.log_softmax(-1)
    targets = ids[1:]
    return log_probs[torch.arange(len(targets)), targets].sum()


def dpo_loss(prompt, chosen, rejected, beta=0.1):
    pi_w = sequence_log_prob(policy, prompt, chosen)
    pi_l = sequence_log_prob(policy, prompt, rejected)
    ref_w = sequence_log_prob(reference, prompt, chosen)
    ref_l = sequence_log_prob(reference, prompt, rejected)
    z = beta * ((pi_l - ref_l) - (pi_w - ref_w))
    return -torch.nn.functional.logsigmoid(z)

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

سه اشکال وجود دارد. اول اینکه مدل مرجع (reference) همان شیء مدل خط‌مشی (policy) است؛ بنابراین طبق ساختار کد، هر دو نسبت لگاریتمی صفر هستند و تابع زیان مقداری ثابت و بدون گرادیان است. باید مدل مرجع را در قالب یک کپی جداگانه بسازید، پارامترهایش را فریز کنید و آن را بدون محاسبه‌ی گرادیان اجرا کنید. دوم اینکه علامت مارجین اشتباه است؛ بنابراین به‌محض رفع تداخل فرکانسی (aliasing)، ترینر پاسخ ردشده (rejected) را تقویت می‌کند. سوم اینکه لگاریتم احتمال روی جایگاه‌های پرامپت هم جمع زده می‌شود، در حالی که در پروژه‌ی پایانی این جایگاه‌ها ماسک می‌شوند.

پاسخ کامل

باگ 1: مدل مرجع همان مدل خط‌مشی است

دستور reference = policy یک نام دوم را به همان ماژول ارجاع می‌دهد. در نتیجه هر گذر رو به جلو (forward pass) از درون reference، از وزن‌های فعلی مدل خط‌مشی استفاده می‌کند؛ بنابراین pi_w - ref_w و pi_l - ref_l دقیقاً برابر با صفر می‌شوند و تابع زیان مقداری ثابت می‌ماند. بهینه‌ساز هم گرادیان صفر دریافت می‌کند. یک کپی عمیق (deep copy) به‌تنهایی کافی نیست: باید روی تک‌تک پارامترهای مدل مرجع مقدار requires_grad=False تنظیم شود، گذرهای رو به جلوی آن داخل torch.no_grad() قرار بگیرند و وزن‌های اولیه‌ی مدل خط‌مشی دقیقاً با آن یکسان باشد؛ مثلاً با استفاده از policy.load_state_dict(reference.state_dict()).

باگ 2: علامت مارجین اشتباه است

تابع زیان برابر است با منفیِ لگاریتمِ سیگموئیدِ بتا ضربدر «نسبت لگاریتمی پاسخ منتخب منهای نسبت لگاریتمی پاسخ ردشده». در این کد، تفریق با ترتیب برعکس نوشته شده است. گرادیان نسبت به لگاریتم احتمال پاسخ منتخب باید منفی باشد تا با افزایش آن، مقدار تابع زیان کاهش یابد. با معکوس شدن علامت، ترینر امتیاز پاسخ منتخب را کم و امتیاز پاسخ ردشده را زیاد می‌کند. یک آزمون واحد (unit test) که علامت گرادیان را روی یک جفت نمونه بررسی کند، این خطا را می‌گیرد.

مشاهده (observation) 3: پرامپت در جمع لحاظ شده است

تابع sequence_log_prob مقادیر را روی تمام جایگاه‌ها، از جمله خود پرامپت، جمع می‌زند. وقتی پرامپت بین دو پاسخ مشترک باشد، جمله‌های مربوط به پرامپت در مارجین یکدیگر را خنثی می‌کنند و مقدار نهایی درست درمی‌آید. اما ترینر روی جایگاه‌هایی محاسبه و پس‌انتشار (backpropagate) انجام می‌دهد که هیچ سیگنال ترجیحی در خود ندارند؛ علاوه‌براین اگر یک دنباله‌ی طولانی به سقف حداکثر طول برسد و بریده شود، این خنثی‌سازی به‌هم می‌ریزد. همان‌طور که در پروژه‌ی پایانی انجام شده است، جمع را از اولین جایگاه پاسخ شروع کنید.

نحوه‌ی تست اصلاحات

  • وقتی لگاریتم احتمالِ پاسخ منتخب را به‌صورت دستی بالا می‌برید، مقدار تابع زیان روی یک جفت نمونه کاهش یابد.
  • لگاریتم احتمال‌های مدل مرجع بین دوره‌ها (epochs) کاملاً یکسان بمانند.
  • میانگینِ مارجینِ «پاسخ منتخب منهای ردشده» تحت مدل خط‌مشی، در طول آموزش افزایش پیدا کند.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: پس از اعمال اصلاحات، چطور مطمئن می‌شوید که وزن‌های مدل مرجع هرگز تغییر نمی‌کنند؟ پاسخ مورد انتظار: با یک assert بررسی کنید که هیچ‌کدام از پارامترهای مرجع نیازی به گرادیان نداشته باشند، و لگاریتم احتمال آن را روی یک جفت ثابت قبل و بعد از یک دوره مقایسه کنید.
  • سطح 3: چرا قبل از شروع آموزش، مقدار تابع زیان برای تمام جفت‌ها دقیقاً یکسان است؟ پاسخ مورد انتظار: چون مدل خط‌مشی با مدل مرجع برابر است، هر دو نسبت لگاریتمی صفر می‌شوند و مقدار تابع سیگموئید روی یک‌دوم (0.5) قرار می‌گیرد؛ رشد مارجین از همین نقطه شروع می‌شود.
  • سطح 3: مارجین رشد می‌کند، اما پاسخ‌های تولیدشده بی‌کیفیت‌تر می‌شوند. متغیر بعدی که باید لاگ کنید چیست؟ پاسخ مورد انتظار: مقدار مطلق لگاریتم احتمالِ پاسخ منتخب؛ DPO تا زمانی که احتمال پاسخ ردشده با سرعت بیشتری افت کند، می‌تواند مقدار احتمال پاسخ منتخب را هم به سمت پایین push کند.
  • سطح 4: اگر دو پاسخ پرامپت‌های متفاوتی داشتند، باز هم جایگاه‌های پرامپت را در محاسبه نگه می‌داشتید؟ پاسخ مورد انتظار: خیر، و در این حالت فرمول تابع زیان هم در هر صورت غلط از آب درمی‌آمد؛ اشتقاق (derivation) ریاضیِ DPO به یک پرامپت واحد به ازای هر جفت نیاز دارد، چون ترم تفکیک‌کننده (partition term) فقط در این صورت از دو طرف خنثی می‌شود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «نرخ یادگیری (learning rate) را کم کنید؛ تابع زیان به این دلیل تغییر نمی‌کند که گام‌ها بیش از حد کوچک‌اند.» تا زمانی که مدل مرجع دچار تداخل فرکانسی (aliasing) با مدل خط‌مشی باشد، گرادیان دقیقاً صفر است؛ هیچ اندازه‌ی گامی این مشکل را حل نمی‌کند.
  • «علامت تفریق اهمیتی ندارد، خود بهینه‌ساز جهت مناسب را پیدا می‌کند.» علامت تفریق تعیین می‌کند ترینر به نفع کدام پاسخ عمل کند؛ با برعکس بودن آن، مدل طوری آموزش می‌بیند که پاسخ‌های ردشده را ترجیح دهد.
  • «برای پایدار کردن تابع زیان، جمع را با میانگین جایگزین کنید.» این کار تابع هدف را به یک نوعِ طول‌نرمال‌شده تبدیل می‌کند؛ چنین کاری یک تصمیم در طراحی است، نه راه‌حل برطرف کردن تابع زیانِ ثابت.

کجای دوره آموزش داده می‌شود

در پروژه‌ی پایانی DPO، ثابت ماندن مدل مرجع و علامت گرادیان با تست‌ها مهار شده است، و در درس DPO، نحوه‌ی محاسبه‌ی چهار لگاریتم احتمال برای هر جفت آموزش داده می‌شود.