اجرای یادگیری تقویتی (RL) شما اختلاف پایداری را میان ترینر (trainer) و موتور مسیر پیشروی شبیهسازیشده (rollout) روی احتمال هر توکن نمونهبرداریشده نشان میدهد. یکی از مهندسان میخواهد فوراً وزندهی اهمیتی سقفدار (capped importance weighting) را فعال کند. دیگری میگوید این صرفاً یک دستسازه حاصل از کرنل است و باید نادیده گرفته شود. مشخص کنید چگونه تصمیم میگیرید و ابتدا چه راهکاری را امتحان میکنید.
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
روش را متناسب با منشأ شکاف انتخاب کنید. این شکاف 5 منشأ دارد: بازرمزگذاری توکنها میان نوبتهای گفتوگو، مسیریابی متخصصان در مدلهای ترکیبی (mixture model)، نمونهگیری که دامنهی واژگان را محدود میکند، تفاوتهای محاسباتی ناشی از کرنلها یا دقتها (precision)، و نمونههای منقضیشده. سه مورد اول اصلاحاتی دارند که علت اصلی را برطرف میکنند؛ ابتدا سراغ آنها بروید، زیرا وزندهی مجدد مثل نمونهبرداری اهمیتی کوتاهشده (truncated importance sampling)، شکاف را دستنخورده باقی میگذارد و به واریانس گرادیان اضافه میکند. شکافی یکنواخت روی یک مدل متراکم (dense) با نمونهگیری ساده، کف خطای کرنل در آن پیکربندی است؛ آن را اندازه بگیرید، در محدودهی مجاز خود نگه دارید و فقط مقدار باقیمانده پس از رفع علتها را دوباره وزندهی کنید.
پاسخ کامل
دو نوع روش
روشی که علت را برطرف کند، باعث میشود هر دو سمت دقیقاً یک چیز را محاسبه کنند و آن بخش از شکاف از بین برود. روشی که وزندهی مجدد انجام میدهد، شکاف را باقی میگذارد و صرفاً وزن اثر هر توکن را در تابع زیان (loss) تغییر میدهد. همیشه اول علتها را برطرف کنید.
| روش | نوع | علت |
|---|---|---|
| بازپخش نمونهگیری (Sampling replay) | برطرفکننده | محدود کردن دامنهی واژگان با top-p و top-k فقط در سمت موتور |
| بازپخش مسیریابی (Routing replay) | برطرفکننده | انتخاب متخصصهای مختلف در هر سمت توسط مسیریاب مدل ترکیبی از متخصصان |
| نشستهای توکنبهتوکن (Token-in, token-out sessions) | برطرفکننده | رفتوبرگشت متنی میان نوبتهای گردش ایجنت توکنها را تغییر میدهد |
| حالت همسیاستِ واقعی (True on-policy mode) | برطرفکننده | تمام تفاوتهای کرنل، برای مدلها و پردازندههای گرافیکی (GPU) تحت پوشش |
| نمونهبرداری اهمیتی کوتاهشده | وزندهی مجدد | هر شکاف باقیمانده |
| محدودیت سن نمونه (A sample age limit) | حذفکننده | نمونههای مربوط به وزنهای قدیمیتر را کنار میگذارد |
آنچه در راهنما اندازه گرفته شد
بازپخش نمونهگیری روی یک دانهی تصادفی (seed) مشخص، میانهی شکاف را از 0.0153 به 0.0135 کاهش داد (کاهش 11.5 درصدی). در هیچ گامی از اجرای بازپخش، شکاف به کمترین حد اجرای ساده نرسید و پاداش در همان محدودهی قبلی ماند. بخش مربوط به نمونهگیر نوفه نیست: برش با top-p مقدار لگاریتم احتمالِ توکن نگهداشتهشده در سمت موتور را بهاندازهی منفی لگاریتم جرم احتمالاتی حفظشده افزایش میدهد؛ مقداری که با top-p برابر با 0.9 در بررسی مستقلی خارج از فریمورک آموزشی، جابهجایی میانهای در حدود 0.053 نشان داد. استنتاج قطعی (Deterministic inference) چیزی را حذف نکرد، چون اصلاً یک روش اصلاحی نیست.
کف خطای کرنل
روی یک مدل متراکم با دقت BF16 در هر دو سمت، طبق آزمایش راهنما، شکاف در هر اجرای سالم روی حدود 0.015 به ازای هر توکن باقی ماند. این مقدار صرفاً کف خطای یک پیکربندی مشخص است، نه یک قانون کلی. بررسی با FP16 در هر دو سمت، میانهی شکاف را حدود 7.8 برابر کاهش داد و در مقایسهی موتور سرویسدهی با گذر رو به جلوی مرجع، مقدار آن را از 0.0073 به 0.00094 رساند؛ همچنین شکاف بدترین توکن نیز از 0.355 به 0.033 افت کرد. FP16 فقط در یک سمت هیچ کمکی نکرد. تغییر دقت اهرمی است که علت را برطرف میکند، اما به قیمت از دست رفتن بازهی عددی (numeric range) تمام میشود.
زمان مناسب برای وزندهی مجدد
نمونهبرداری اهمیتی کوتاهشده، به هر توکن بر اساس نسبت احتمال ترینر به احتمال موتور وزن میدهد و برای این نسبت سقفی تعیین میکند؛ نمونهی آوردهشده در راهنما با گزینههای --use-tis --tis-clip 2.0 است. این روش را برای شکافی به کار ببرید که نمیتوانید حذفش کنید: یک مسیر پیشروی با دقت پایین، جایی که گرد کردن اعداد در FP8 راهحل کرنلی ندارد، یا یک مدل ترکیبی پس از اعمال بازپخش مسیریابی. این روش را همراه با بررسی گام صفر (step-0) به کار بگیرید تا وزندهی مجدد هرگز خطای پیکربندی را پنهان نکند.
شیوهی اجرای مقایسه
دانهی تصادفی یکسان، گامهای یکسان، اعمال تنها یک تغییر در هر اجرا، و ثبت مقدار شکاف در تکتک گامها. روشی مفید است که در گامهای مشابه شکاف کمتری نشان دهد. شکافی که پس از یک تغییر بزرگتر شود، نشاندهندهی علتی است که خودتان اضافه کردهاید.
سؤالهای تکمیلی مصاحبهگر
- سطح 3: چرا وزندهی مجدد باعث افزایش واریانس میشود؟ پاسخ مورد انتظار: توکنهایی با نسبت بزرگ، وزن زیادی میگیرند؛ در نتیجه چند توکن محدود بر بهروزرسانی مسلط میشوند. تعیین سقف این اثر را محدود میکند اما از بین نمیبرد.
- سطح 3: بازپخش به تنظیم همزمان top-k و top-p نیاز دارد. چرا تنظیم top-k الزامی است؟ پاسخ مورد انتظار: این فریمورک برای بازپخش به مقدار مثبت top-k نیاز دارد؛ بنابراین اجرا با top-p بهتنهایی، عملکرد نمونهگیر را بدون بازپخش مجموعهی نگهداشتهشده تغییر میدهد.
- سطح 4: تنظیم FP16 روی موتور و BF16 روی ترینر شکاف را نبست. چرا؟ پاسخ مورد انتظار: گرد کردن اعداد در هر سمت یک کف خطا ایجاد میکند؛ شکاف فقط زمانی بسته میشود که هر دو سمت اعداد را به شیوهای یکسان گرد کنند، بنابراین دقت باید در هر دو طرف یکسان باشد.
- سطح 4: در چه مواقعی حالت بیتبهبیت دقیق (bit-exact mode) راهحل مناسبی است و چه زمانی در دسترس نیست؟ پاسخ مورد انتظار: زمانی که به شکاف صفر نیاز دارید و مدل و پردازندهی گرافیکی شما در چارچوب قرارداد پشتیبانی آن هستند؛ این روش یک کرنل اتنشن خاص و عملیاتهای پایای دسته (batch-invariant) را برای مدلهای متراکم مشخص روی یک نسل خاص از GPU ثابت نگه میدارد و مابقی حالات را پشتیبانی نمیکند.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «اول نمونهبرداری اهمیتی را فعال کنید؛ هزینهی پایینی دارد.» این کار همهی علتها را به جای خود باقی میگذارد، واریانس اضافه میکند و خطای پیکربندی را که بررسی گام صفر نشان میداد، پنهان میسازد.
- «شکاف صرفاً یک دستسازهی ناشی از کرنل است، پس اصلاً اهمیتی ندارد.» بخش مربوط به نمونهگیر هم قابل اندازهگیری و هم قابل رفع بود؛ علاوه بر این، شکافی که پس از یک تغییر رشد کند، علتی است که خودتان اضافه کردهاید.
- «استنتاج قطعی یک روش اصلاحی است.» این کار صرفاً باعث تکرار رفتار موتور میشود و شکاف را همانجا که بود باقی میگذارد؛ چهار اجرای راهنما نشان داد چه با فعال بودن و چه غیرفعال بودن آن، شکاف کاملاً یکسان است.
کجای دوره آموزش داده میشود
بخش 8.2 راهنمای Miles 101 هر اصلاح را با علت آن تطبیق میدهد، بخش 4.4 بازپخش نمونهگیری را اندازه میگیرد، و بخش 8.3 اهرم دقت را ارزیابی میکند.