سؤال مصاحبه

بررسی ادعای افزایش سرعت در یادگیری تقویتی پیش از تبدیل آن به تنظیمات پیش‌فرض

Review a claimed RL speedup before it becomes a default

  • سطح ۳: ارشد
  • طراحی
  • ۱۲ دقیقه

مهندسی دو اجرای آموزش یادگیری تقویتی (RL) را به شما نشان می‌دهد. اجرای جدید با تغییر تنظیمات تخلیه‌ی بار حافظه (offload)، مسیر پیش‌روی شبیه‌سازی‌شده (rollout) را 12 درصد سریع‌تر تمام کرده و پاداش نهایی آن نیز چند صدم بالاتر از اجرای قبلی است. او می‌خواهد این تغییر را به‌عنوان پیش‌فرض جدید ثبت کند. روند بازبینی را طراحی کنید: پیش از آنکه به هر یک از این اعداد اعتماد کنید، چه مواردی را مطالبه خواهید کرد؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

پیش از بررسی تغییرات، پراکندگی خط مبنا (baseline) را بخواهید. در سه seed خط مبنا در مستندات راهنما، پاداش نهایی بین 0.736 تا 0.766 متغیر بود؛ بنابراین، بهبود چند صدمی در یک seed کاملاً درون محدوده‌ی نویز قرار می‌گیرد. سپس بپرسید چه موارد دیگری تفاوت داشته است: در نخستین جفت‌آزمون offload در راهنما، سهم حافظه‌ی موتور محاسباتی نیز تغییر کرده و شماره‌ی گام‌های متفاوتی با هم مقایسه شده بودند؛ در نتیجه، آن 12 درصد در آزمایشی در همان روز که فقط یک تنظیم را تغییر داد، به 1 تا 3 درصد کاهش یافت. وجود دو seed، اعمال تنها یک تغییر در هر اجرا، مقایسه‌ی شماره‌گام‌های یکسان، و استخراج زمان‌ها از گام‌هایی را که هیچ وقفه‌ی حرارتی با آن‌ها تداخل نداشته است الزامی کنید.

پاسخ کامل

ابتدا نویز را بشناسید

سه اجرا با یک دستورالعمل یکسان، بدون هیچ تغییری جز seed:

Seed پاداش، 8 گام اول پاداش، 8 گام آخر
پیش‌فرض 0.636 0.758
2 0.653 0.736
3 0.614 0.766

هر سه اجرا یاد گرفتند، اما پاداش نهایی همچنان 0.03 اختلاف داشت. قاعده‌ی راهنما این است: تغییر 0.01 در یک seed هیچ اطلاعاتی به شما نمی‌دهد، و تغییر 0.05 در دو seed ارزش اجرای سوم را دارد.

یک تغییر در هر اجرا

نخستین مقایسه‌ی offload در راهنما، 12 درصد سرعت بیشتر در مسیر پیش‌روی شبیه‌سازی‌شده را نشان داد. اما این دو اجرا از سهم حافظه‌ی متفاوتی برای موتور استفاده کرده بودند و گام‌های تمیز آن‌ها نیز شماره‌های متفاوتی داشتند. در تنها گامی که در هر دو اجرا تمیز بود، اجرای سریع‌تر پاسخ‌هایی با 599 توکن در برابر 695 توکن نوشته بود؛ و زمان مسیر پیش‌روی شبیه‌سازی‌شده مستقیماً از طول پاسخ تبعیت می‌کند. در جفت‌آزمونی در همان روز که فقط تنظیمات offload را تغییر داد، این رقم 1 تا 3 درصد اندازه‌گیری شد.

گام‌های یکسان را مقایسه کنید

با یادگیری مدل، پاسخ‌ها کوتاه‌تر می‌شوند؛ بنابراین، زمان مسیر پیش‌روی شبیه‌سازی‌شده در طول یک اجرا کاهش می‌یابد. همان تنظیمات، میانه‌ی زمان مسیر پیش‌روی شبیه‌سازی‌شده را در طول 48 گامِ یک اجرا 47.5 ثانیه و در 6 گامِ تمیز اجرای دیگر 59.1 ثانیه ثبت کرد؛ در همان 6 شماره‌گام یکسان، اجرای اول 60.9 ثانیه طول کشید. میانه‌ها تنها به همین دلیل در گام‌های متفاوت با یکدیگر فرق دارند.

زمان را فقط در گام‌های تمیز اندازه بگیرید

GPU در آزمایش راهنما زیر بار کاری به 84 درجه‌ی سانتی‌گراد رسید و یک سازوکار محافظ، کانتینر را تا زمان خنک شدن به 74 درجه متوقف کرد. یک وقفه، زمان واقعی (wall-clock) را به فازی که در آن رخ داده اضافه می‌کند. زمان‌ها را تنها از گام‌هایی گزارش کنید که بازه‌ی آن‌ها هیچ همپوشانی (overlap) با وقفه نداشته است، و لاگ وقفه‌ها را کنار لاگ اجرا نگه دارید.

مواردی که باید برای هر اجرا ثبت شوند

شناسه‌ی ایمیج (digest) و commit فریم‌ورک، دستور کامل اجرا، مقدار seed، یک فایل لاگ اختصاصی برای هر اجرا، دما و وقفه‌های GPU، و کد خروج (exit code). از اجرایی که نتوانید آن را مقایسه کنید چیزی یاد نمی‌گیرید.

چک‌لیست بازبینی

  1. دو seed از تغییر جدید، مقایسه‌شده با دامنه‌ی پراکندگی seedهای خط مبنا، نه در برابر تنها یک اجرای خط مبنا.
  2. اعمال تنها یک تغییر در تنظیمات و یکسان بودن تمام متغیرهای دیگر، از جمله سهم حافظه.
  3. مقایسه‌ی زمان مسیر پیش‌روی شبیه‌سازی‌شده روی شماره‌گام‌های یکسان، و فقط از گام‌های تمیز.
  4. خواندن مقدار پاداش به‌صورت میانگین چند گام، نه فقط بر اساس آخرین گام.
  5. پذیرش ادعا تنها زمانی که تغییر اعمال‌شده خارج از دامنه‌ی پراکندگی قرار گیرد.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا باید نتایج را با دامنه‌ی پراکندگی چند seed خط مبنا مقایسه کنیم و نه با بهترین خط مبنا؟ پاسخ مورد انتظار: بهترین خط مبنا صرفاً یک شانس تصادفی است؛ دامنه‌ی پراکندگی در واقع کف نویز (noise floor) است و تغییر اعمال‌شده باید حتماً از این کف نویز فراتر برود.
  • سطح 3: اجرای جدید هیچ گام تمیزی ندارد، زیرا همه‌ی مسیرهای پیش‌روی شبیه‌سازی‌شده با وقفه همپوشانی داشته‌اند. چه چیزی را همچنان می‌توانید گزارش کنید؟ پاسخ مورد انتظار: زمان وقفه را از هر گام کسر کنید و این موضوع را صریحاً توضیح دهید (همان‌طور که در راهنما برای یک اجرا انجام شد)، و نتیجه را «تأییدنشده» علامت بزنید.
  • سطح 4: چگونه تغییر تابع زیان (loss) یا پاداش را بدون پرداخت هزینه‌ی مسیرهای پیش‌روی شبیه‌سازی‌شده‌ی جدید بسنجیم؟ پاسخ مورد انتظار: نمونه‌های مسیر پیش‌روی شبیه‌سازی‌شده‌ی یک اجرا را ذخیره کنید و آن‌ها را فقط با بخش آموزش‌دهنده بازپخش (replay) کنید؛ در هر بازپخش نمونه‌های یکسانی دیده می‌شوند، بنابراین هر اختلافی ناشی از تغییر اعمال‌شده خواهد بود.
  • سطح 4: دو seed بهبودی خارج از دامنه‌ی پراکندگی نشان می‌دهند، اما اختلاف در گام 0 نیز جابه‌جا شده است. گام بعدی چیست؟ پاسخ مورد انتظار: تغییر اعمال‌شده ساختار راه‌اندازی را تحت تأثیر قرار داده است، نه فقط تنظیمات را؛ پیش از آنکه بهبود را به تغییر نسبت دهید، بررسی کنید که هر دو اجرا مدل و نمونه‌گیر (sampler) یکسانی را بارگذاری کنند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «دوازده درصد بسیار بالاتر از نویز است، آن را نهایی کنید.» دوازده درصدِ گزارش‌شده در راهنما ناشی از تغییر هم‌زمان دو تنظیم مختلف و مقایسه‌ی شماره‌گام‌های متفاوت بود؛ تغییر آن تنظیم به‌تنهایی تنها یک تا سه درصد بهبود ایجاد کرد.
  • «میانگین زمان مسیر پیش‌روی شبیه‌سازی‌شده را در کل اجرا حساب کنید.» میانه از طول پاسخ تبعیت می‌کند و طول پاسخ با یادگیری مدل کم می‌شود؛ بنابراین باید شماره‌گام‌های یکسان را مقایسه کنید.
  • «وقتی بهبود واضح است، یک seed کافی است.» سه seed خط مبنا بدون هیچ تغییری، در پایان 0.03 با هم اختلاف داشتند؛ اختلاف چند صدمی در یک seed کاملاً در دل این نویز قرار می‌گیرد.

کجای دوره آموزش داده می‌شود

بخش 5.3 از Miles 101 پراکندگی seed و قاعده‌ی گام تمیز را توضیح می‌دهد، بخش 7.2 موارد لازم برای ثبت را فهرست می‌کند، و یادداشت‌های آزمایشگاه دلیل نامعتبر بودن نخستین جفت‌آزمون offload را شرح می‌دهند.