سؤال مصاحبه

پردازشگر گرافیکی بیکار است و لاگ RL مدام حجیم‌تر می‌شود

The GPU is idle and the RL log keeps growing

  • سطح ۲: میانی
  • اشکال‌یابی
  • ۱۰ دقیقه

یک فرایند آموزش یادگیری تقویتی (RL) تک‌GPU را به مدت 1 ساعت به حال خود رها کرده‌اید. وقتی برمی‌گردید، GPU کاملاً بیکار است، فرایند (Process) همچنان زنده است و حجم فایل لاگ به بیش از 100 مگابایت رسیده است. هیچ هشداری هم خرابی را گزارش نمی‌کند. چه اتفاقی افتاده، چطور آن را تأیید می‌کنید و چه راهکاری پیاده‌سازی می‌کنید تا دیگر تکرار نشود؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

موتورِ مسیر پیش‌روی شبیه‌سازی‌شده (Rollout engine) از کار افتاده و ترینر (Trainer) اصلاً متوجه نشده است. موتور حین بالا آمدن با خطا متوقف شده، اما کلاینتِ مسیر پیش‌روی شبیه‌سازی‌شده مدام به آن درخواست فرستاده، روی هر درخواست خطای 503 از مسیریاب (Router) گرفته و دوباره تلاش کرده است. در اجرای ناموفق ذکرشده در راهنما، 200533 خط خطای مشابه طی 63 دقیقه ثبت شد و هیچ خطایی هم گزارش نشد. برای تأیید این موضوع، تعداد خطاهای هر دقیقه را بشمارید و لاگ‌های موتور را پیش از اولین خطا بخوانید؛ سپس برای هر کاری که بدون نظارت اجرا می‌شود، یک واچ‌داگ (Watchdog) بگذارید تا وقتی خطاها قطع نمی‌شوند، کانتینر را متوقف کند.

پاسخ کامل

نشانه‌های یک موتور ازکارافتاده

در اجرای ناموفقی که در راهنما بررسی شد، درخواستی برای بک‌اندِ اتنشن (Attention backend) ارسال شده بود که GPU سیستم توان اجرای آن را نداشت. موتور حین راه‌اندازی با یک Assertion متوقف شد و بیرون پرید. فرایند ترینر بالا ماند و به مدت 1 ساعت مدام درخواست تولید به مسیریاب فرستاد؛ مسیریاب هم در پاسخ هر درخواست، خطای 503 Service Unavailable برگرداند. فاصله‌ی بین اولین و آخرین خطا 63 دقیقه بود.

تأیید علت مشکل، دقیقاً به همین ترتیب

  1. تعداد خطاهای 503 Service Unavailable را در کل فایل لاگ بشمارید. در اجراهای سالم راهنما، به‌جز یک استثنا که در ادامه آمده، حتی یک مورد هم از این خطا ثبت نشده بود.
  2. تعداد خطاها در هر دقیقه را بشمارید. موتور ازکارافتاده در هر دقیقه‌ی کامل، دست‌کم 2669 خط خطا ثبت کرده بود. در مقابل، یک موتور سالم اما سرشلوغ، خطاها را در بازه‌های ناگهانی (Burst) حداکثر 1 دقیقه‌ای ثبت می‌کند و بعد متوقف می‌شود: در اجرایی با 16 پاسخ به ازای هر پرامپت (Prompt)، 22357 خطا در بازه‌های ناگهانیِ حداکثر 2209 خطا در 1 دقیقه ثبت شد، کلاینت دوباره تلاش کرد و اجرا تمام گام‌ها را به پایان رساند.
  3. خطوط مربوط به موتور را درست قبل از اولین خطا بخوانید. علت اصلی آنجاست، نه در لاگ‌های ترینر.

چرا صرفاً شمردن تعداد خطاها کافی نیست

تعداد خطا به‌تنهایی نمی‌تواند تفاوت بین یک اوج ترافیک ناگهانی و مرگ کامل را تفکیک کند، اما فاکتور زمان می‌تواند. واچ‌داگِ پیاده‌شده در راهنما هر 30 ثانیه یک‌بار لاگ‌های 60 ثانیه‌ی اخیر کانتینر را می‌خواند و خطاها را می‌شمارد. این ناظر تنها زمانی اجرا را متوقف می‌کند که تعداد خطاها در 10 بررسی متوالی از 100 بگذرد. وقتی این قانون روی زمان‌های خطای واقعی در اجرای سرشلوغ بازپخش (Replay) شد، مشخص شد که شرط 6 بررسی متوالی در 17 حالت از 30 حالت، همان اجرای سالم را بی‌دلیل متوقف می‌کرد؛ چون دو اوج ترافیک پیاپی تنها 45 ثانیه با هم فاصله داشتند. با تنظیم شرط روی 10 بررسی، هیچ اجرای سالمی متوقف نشد و در عین حال، موتورِ ازکارافتاده ظرف حدود 5 دقیقه متوقف می‌شود.

چه مواردی از دید واچ‌داگ پنهان می‌ماند

اجرایی که پس از خطای ایمپورت ماژول پاداش قفل می‌کند (Hang)، تقریباً هیچ خط خطایی ثبت نمی‌کند. آزمون راهنما به مدت 2 ساعت تنها با 44 خط لاگ بالا ماند و واچ‌داگ فعال نشد. برای این نشانه، دنبال خطای ModuleNotFoundError بگردید که هیچ خطی با عبارت rollout 0 بعد از آن ثبت نشده باشد.

تمرین و اجرای عملی

  • برای هر اجرایی که به حال خود رها می‌کنید، واچ‌داگ را در ترمینال دوم باز کنید و اول آن را روی کانتینری که عمداً خطا چاپ می‌کند بسنجید؛ آزمون راهنما موتور ساختگیِ ازکارافتاده را در 183 ثانیه متوقف کرد.
  • برای هر اجرا یک نام کانتینر منحصربه‌فرد و یک فایل لاگ اختصاصی در نظر بگیرید.
  • کد خروجی (Exit code) را بخوانید: کد 1 یعنی واچ‌داگ اجرا را متوقف کرده است؛ کد 2 یعنی ارتباط با محیط اجرای (Runtime) کانتینر قطع شده و اجرا بی‌پناه مانده است.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا ترینر پس از افتادن موتور شکست نمی‌خورد و متوقف نمی‌شود؟ پاسخ مورد انتظار: کلاینتِ مسیر پیش‌روی شبیه‌سازی‌شده خطای 503 را خطایی گذرا تلقی می‌کند و هر درخواست را دوباره می‌فرستد؛ هیچ‌چیزی در حلقه، تعداد تلاش‌ها یا مدت بیکاری را محدود نمی‌کند.
  • سطح 2: دلیل توقف موتور را کجا باید بررسی کرد؟ پاسخ مورد انتظار: در همان لاگ، روی خطوط مربوط به موتور درست بالای اولین خطای 503؛ در مورد مطرح‌شده در راهنما، یک خطای Assertion برای بک‌اند اتنشن بود که GPU سیستم در محدوده‌ی پشتیبانی‌شده‌ی آن قرار نداشت.
  • سطح 3: چرا در راهنما تعداد بررسی‌های واچ‌داگ از 6 به 10 افزایش یافت؟ پاسخ مورد انتظار: بازپخش لاگ روی یک اجرای سالم نشان داد که فاصله‌ی 45 ثانیه‌ای بین اوج‌های ترافیک باعث می‌شد شرط 6 بررسی آن‌ها را با خرابی سیستم اشتباه بگیرد؛ شرط 10 بررسی هرگز روی اجرای سالم فعال نشد و موتورِ ازکارافتاده را هم در حدود 5 دقیقه متوقف کرد.
  • سطح 3: چه مواردی از دید واچ‌داگ دور می‌ماند و چه چیزی باید به آن افزود؟ پاسخ مورد انتظار: اجرایی که با خطاهای اندک قفل می‌کند، مثل خطای ایمپورت پاداش؛ باید بررسی تازه‌ای اضافه کرد تا مطمئن شویم خط مربوط به اولین گام در محدوده‌ی زمانی مشخص ظاهر می‌شود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «به‌محض دیدن اولین خطای 503 اجرا را متوقف کنید.» یک موتور سرشلوغ با صدها درخواستِ باز، حجم انبوهی از این خطاها را ناگهانی ثبت می‌کند و بعد بازیابی می‌شود؛ اجرای پرفشار راهنما تمام گام‌هایش را با موفقیت تمام کرد.
  • «سقف تلاش مجدد کلاینت را بالا ببرید تا اجرا متوقف نشود.» علت اینکه اجرای ازکارافتاده 1 ساعت بیهوده ادامه یافت دقیقاً همین تلاش‌های مجدد بود؛ موتور خودبه‌خود بالا نمی‌آید و GPU هم بی‌کار می‌ماند.
  • «ترینر کرش کرده است؛ لاگ‌های ترینر را بررسی کنید.» ترینر زنده بود و مدام خطا ثبت می‌کرد؛ ریشه‌ی مشکل در لاگ‌های راه‌اندازی موتور و قبل از اولین خطا قرار دارد.

کجای دوره آموزش داده می‌شود

بخش 1.2 از Miles 101 منطق واچ‌داگ را روی زمان‌بندی خطاهای واقعی بازپخش می‌کند، و بخش 7.1 این نشانه را در کنار قفل شدن فرایند پس از خطای ایمپورت پاداش فهرست کرده است.