سؤال مصاحبه

طراحی مسیر پیش‌روی شبیه‌سازی‌شده (Rollout) غیرهمگام در یادگیری تقویتی و مهار سن نمونه‌ها

Design async RL rollout and control the sample age

  • سطح ۴: استف
  • طراحی
  • ۱۵ دقیقه

شما یک جاب یادگیری تقویتی (RL) را از یک تک‌GPU به کلاستری منتقل می‌کنید که در آن موتورهای مسیر پیش‌روی شبیه‌سازی‌شده (Rollout) و بخش‌های آموزش‌دهنده (Trainer) روی دستگاه‌های مجزا اجرا می‌شوند. تیم می‌خواهد تولید نمونه و آموزش هم‌زمان پیش بروند تا هیچ‌یک از دو طرف معطل دیگری نماند. این ساختار غیرهمگام (Async) را طراحی کنید: چه تنظیماتی اهمیت دارند، چه خطای جدیدی بروز می‌کند و در لاگ‌ها باید چه مواردی را زیر نظر گرفت؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

آموزش غیرهمگام به موتورها اجازه می‌دهد هم‌زمان با به‌روزرسانی وزن‌ها توسط آموزش‌دهنده، دسته‌ی بعدی را تولید کنند؛ اما هزینه‌ی آن، دریافت نمونه‌هایی است که با وزن‌های قدیمی‌تر تولید شده‌اند. دو حالت وجود دارد: یک گام جلوتر (One step ahead) که در آن با بازه‌ی به‌روزرسانی پیش‌فرض، عمر هر نمونه حداکثر به‌اندازه‌ی یک نسخه‌ی قبلی وزن‌هاست؛ و حالت کاملاً غیرهمگام (Fully async) که در آن ورکر مدام نمونه تولید می‌کند و آموزش‌دهنده بافر را خالی می‌کند، بنابراین سن نمونه‌ها به سرعت خالی شدن بافر توسط آموزش‌دهنده بستگی دارد. برای سن نمونه‌ها سقف بگذارید، تکلیف درخواست‌های در حال اجرا را هنگام به‌روزرسانی وزن‌ها مشخص کنید و هم‌زمان با دادن مجوز ورود به نمونه‌های قدیمی‌تر، نرخ یادگیری (Learning rate) را کاهش دهید. نسخه‌ی وزن هر نمونه، سهم نمونه‌های دور ریخته‌شده، کسر برش (Clip Fraction) و شکاف میان دو بخش را پیوسته زیر نظر بگیرید.

پاسخ کامل

چرا حالت غیرهمگام فقط روی چینش تفکیک‌شده بازدهی دارد؟

اگر هر دو بخش روی یک GPU باشند، پردازش‌ها نوبتی می‌شوند و در تمام طول پنجره‌ی آموزش، تولید نمونه متوقف می‌ماند؛ حالت کاملاً غیرهمگامِ هم‌مکان (Colocated) فقط برای آشنایی با تنظیمات کاربرد دارد. روی دستگاه‌های جداگانه، اگر همپوشانی (Overlap) وجود نداشته باشد، آموزش‌دهنده در طول تولید نمونه و موتورها در طول آموزش بیکار می‌مانند. اجرای غیرهمگام بخشی از این زمان انتظار را حذف می‌کند.

تنظیمات کلیدی

تنظیمات وظیفه و اثر
--update-weights-interval چند گام بین هر بار به‌روزرسانی وزن‌ها در موتورهای تولید فاصله بیفتد
--max-weight-staleness قدیمی‌ترین نسخه‌ی وزنی مجاز برای تولید یک نمونه؛ بدون مقدار یعنی نامحدود
--async-unused-samples-handler نحوه‌ی برخورد با نمونه‌های بیش‌ازحد قدیمی: دور ریختن (Drop) یا تلاش مجدد (Retry)
--async-max-concurrent-samples تعداد نمونه‌هایی که موتورها می‌توانند هم‌زمان تولید کنند
--pause-generation-mode سرنوشت درخواست‌های در حال اجرا هنگام به‌روزرسانی وزن: ابطال (Abort)، بازپس‌گیری (Retract) یا درجا (In place)؛ پیش‌فرض retract است

اندازه‌ی دسته‌ی نمونه‌برداری مازاد (Over-sampling batch size) در حالت کاملاً غیرهمگام هیچ اثری ندارد.

خطای جدید: نمونه‌های کهنه

نمونه‌ای که با دو نسخه قبل‌تر از وزن‌های فعلی تولید شده باشد، برای آموزش‌دهنده برون‌سیاست (Off-policy) به‌حساب می‌آید. نسبت احتمال آموزش‌دهنده به احتمال موتور تولید حالا حامل شکافی است که ربطی به کرنل‌ها (Kernels) ندارد. دو نشانه این موضوع را فاش می‌کنند: کسر برش یعنی train/pg_clipfrac در اجرایی با یک بار به‌روزرسانی بهینه‌ساز به‌ازای هر مسیر پیش‌روی شبیه‌سازی‌شده دقیقاً 0 است، چون سیاستی که آموزش می‌بیند همان سیاستی است که نمونه‌برداری کرده؛ اگر در چنین اجرایی کسر برش از 0 بیشتر شود، یعنی نمونه‌ها با وزن‌های فعلی تولید نشده‌اند. به همین دلیل، شکاف لگاریتم احتمال (Log-probability gap) با بالا رفتن سن نمونه‌ها رشد می‌کند.

کاهش نرخ یادگیری متناسب با سن نمونه‌ها

پژوهشی روی GRPO غیرهمگام در مدل‌های کوچک نشان داد وقتی گام‌های میان به‌روزرسانی وزن‌ها و نرخ یادگیری هم‌زمان تغییر می‌کنند، بالاترین نرخ یادگیریِ پایدار دقیقاً به نسبت گام‌های میان به‌روزرسانی افت می‌کند: گام‌ها دو برابر شود، نرخ یادگیری تقریباً نصف می‌شود. راهنما این مورد را آزمایش نکرده و آن را به‌عنوان قاعده‌ی شروع پیشنهاد می‌کند. هر زمان بازه‌ی به‌روزرسانی یا سقف کهنگی داده (Staleness) را بالا بردید، نرخ یادگیری را با همان ضریب پایین بیاورید؛ سپس شکاف و پاداش را ارزیابی کنید.

شاخص‌هایی که باید مانیتور شوند

  • آمار نسخه‌ی وزن‌ها در سنجه‌های مسیر پیش‌روی شبیه‌سازی‌شده: سن نمونه‌ها چقدر است.
  • سهم نمونه‌های دور ریخته‌شده یا تکرارشده. درصد بالا یعنی موتورها بیهوده کار می‌کنند.
  • train/pg_clipfrac و شکاف احتمال، در مقایسه با بازه‌های ثبت‌شده در اجراهای همگام.
  • نسبت perf/update_weights_time به زمان هر گام. در یک چینش تفکیک‌شده، به‌روزرسانی وزن در واقع یک انتقال داده روی شبکه است، نه یک کپی ساده درون حافظه‌ی یک GPU؛ بنابراین روش انتقال داده خود یک تصمیم مستقل است.

اصلاح نهایی داده‌های باقی‌مانده

سقف سن نمونه‌ها، بدترین داده‌ها را دور می‌ریزد. برای بقیه‌ی موارد، تصحیح نمونه‌برداری اهمیت کوتاه‌شده (Truncated importance-sampling) با اعمال سقف روی نسبت دو احتمال، وزن هر توکن را اصلاح می‌کند. با این حال، همیشه پیش از بازوزن‌دهی توکن‌ها، کهنگی داده را برطرف کنید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا در یک اجرای همگام با یک به‌روزرسانی به‌ازای هر مسیر پیش‌روی شبیه‌سازی‌شده، کسر برش دقیقاً 0 است؟ پاسخ مورد انتظار: سیاست موجود در آموزش‌دهنده هنوز همان سیاستی است که نمونه‌ها را تولید کرده؛ بنابراین تمام نسبت‌ها برابر 1 هستند و هیچ مقداری وارد بازه‌ی برش نمی‌شود.
  • سطح 4: کدام حالت توقف (Pause mode) را انتخاب می‌کنید و انتخاب اشتباه چه هزینه‌ای دارد؟ پاسخ مورد انتظار: گزینه‌ی retract پردازش انجام‌شده‌ی درخواست‌های جاری را نگه می‌دارد و ادامه‌ی آن‌ها را با وزن‌های جدید تولید می‌کند؛ این کار باعث ترکیب نسخه‌های مختلف وزن در یک پاسخ می‌شود. گزینه‌ی abort کل پردازش انجام‌شده را دور می‌ریزد. گزینه‌ی in place وزن‌ها را حین اجرای همان درخواست عوض می‌کند. حالت کاملاً غیرهمگام برخی از این گزینه‌ها را نمی‌پذیرد، بنابراین بخش راهنمای فلگ‌های (Flags) نسخه‌ی خود را بخوانید.
  • سطح 4: پاسخ ناقصی با نسخه‌ی 5 شروع شده و با نسخه‌ی 7 به پایان رسیده است. این موضوع در کجا خود را نشان می‌دهد؟ پاسخ مورد انتظار: در شکاف؛ چون بخشی از توکن‌های آن از وزن‌هایی قدیمی‌تر از آن‌چه در اختیار آموزش‌دهنده است آمده‌اند. پس از فعال کردن مسیر پیش‌روی شبیه‌سازی‌شده‌ی ناقص یا بالا بردن سقف کهنگی داده، این شکاف را زیر نظر بگیرید.
  • سطح 4: یک ناوگان اختصاصی ارزیابی (Evaluation fleet) چطور در این طراحی جا می‌گیرد؟ پاسخ مورد انتظار: این ناوگان اسنپ‌شات‌های (Snapshots) چک‌پوینت را بارگذاری می‌کند و هرگز در به‌روزرسانی وزن‌های آموزش نقشی ندارد؛ از این رو تأخیر آن برحسب تعداد گام‌ها گزارش می‌شود. در نسخه‌ای که راهنما بررسی کرده، این قابلیت با تحمل خطای مسیر پیش‌روی شبیه‌سازی‌شده ترکیب نمی‌شود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «حالت کاملاً غیرهمگام را روی همان تک‌GPU هم اجرا کنید؛ کد هر دو یکی است.» با یک GPU پردازش‌ها همچنان نوبتی هستند و تولید در زمان آموزش متوقف می‌شود؛ در نتیجه شما بهای کهنگی داده را می‌پردازید بدون این‌که هیچ همپوشانی نصیبتان شود.
  • «سقف کهنگی داده را تنظیم نکنید تا هیچ نمونه‌ای هدر نرود.» عدم تنظیم مقدار یعنی نبود هیچ سقفی؛ نمونه‌های بسیار کهنه جهت به‌روزرسانی را منحرف می‌کنند و شکاف محاسباتی بدون وجود مشکلی در کرنل‌ها رشد می‌کند.
  • «همان نرخ یادگیری اجرای همگام را حفظ کنید.» نرخ یادگیری پایدار با افزایش سن نمونه‌ها افت می‌کند؛ اگر بازه‌ی به‌روزرسانی را افزایش می‌دهید، باید نرخ را تقریباً با همان نسبت پایین بیاورید.

کجای دوره آموزش داده می‌شود

بخش 4.1 راهنمای Miles 101 حالت‌ها و تنظیمات غیرهمگام را فهرست کرده است، بخش 5.1 به تحلیل کسر برش به‌عنوان سیگنال کهنگی داده می‌پردازد، و بخش 6.1 ساختار تفکیک‌شده و انتقال وزن را پوشش می‌دهد.