بخش 7.2 · اشکال‌زدایی

حفظ قابلیت مقایسه‌ی اجراها

Keep runs comparable

فهرست مطالب
  1. این اطلاعات را در هر اجرا ثبت کنید
  2. در هر اجرا فقط یک چیز را تغییر دهید
  3. داده‌های لازم برای بازپخش یک گام را ذخیره کنید

اجرایی که نتوانید با اجرای دیگری مقایسه‌اش کنید هیچ آورده‌ای برایتان ندارد؛ پس قبل از شروع، مشخصات دقیق هر اجرا را ثبت کنید.

دو هفته بعد از شروع پروژه، حتماً می‌خواهید بدانید چرا اجرای سه‌شنبه‌ی پیش سریع‌تر از اجرای امروز یاد گرفت. فقط وقتی می‌توانید به این سؤال پاسخ دهید که در هر دو اجرا، اطلاعات فنی یکسانی را ثبت کرده باشید.

در پایان این بخش، می‌توانید مشخصات هر اجرا را طوری ثبت کنید که بعداً قابل مقایسه باشد. همچنین می‌توانید یک گام را برای اشکال‌زدایی بازپخش (replay) کنید.

این اطلاعات را در هر اجرا ثبت کنید

مشخصه روش ثبت
شناسه‌ی یکتای ایمیج (digest) docker image inspect، مطابق بخش 1.1
شناسه commit در Miles و نسخه‌ی SGLang خواندن از داخل ایمیج
دستور کامل اجرا اسکریپت اجراکننده (launcher) آن را چاپ می‌کند و اسکریپت را نگه می‌داریم
مقدار seed آرگومان‌های --seed و --rollout-seed
لاگ trainer و لاگ engine یک فایل لاگ مجزا برای هر اجرا، بدون ترکیب با اجراهای دیگر
دمای GPU و توقف‌ها لاگ پایش دما (heat-guard)، مطابق بخش 1.2
کد خروجی (exit code) یک خط وضعیت برای هر اجرا

لاگ engine را کنار لاگ trainer نگه دارید. از میان 4 خطایی که دیدیم، یکی از engine و سه تا از trainer شروع شدند؛ بنابراین به لاگ هر دو نیاز دارید.

در هر اجرا فقط یک چیز را تغییر دهید

فقط زمانی دو اجرا را با هم مقایسه کنید که تنها یک تنظیم در آن‌ها فرق داشته باشد. در اولین اجرای تخلیه‌ی بار (offload)، تنظیم offload و سهم حافظه‌ی engine را هم‌زمان تغییر دادیم و زمان مسیر پیش‌روی شبیه‌سازی‌شده (rollout) 12 درصد سریع‌تر شد. اما در دو اجرای دیگر در همان روز که فقط تنظیم offload را تغییر دادیم، این بهبود 1 تا 3 درصد بود. جزئیات هر دو حالت در بخش 2.2 آمده است.

زمان‌ها را روی شماره‌ی گام‌های یکسان مقایسه کنید. زمان rollout تابع طول پاسخ است و با پیشرفت یادگیری مدل، پاسخ‌ها کوتاه‌تر می‌شوند. همان‌طور که بخش 5.3 نشان می‌دهد، میانه‌ی زمان در گام‌های مختلف می‌تواند صرفاً به همین دلیل فرق کند.

داده‌های لازم برای بازپخش یک گام را ذخیره کنید

ابزار Miles می‌تواند داده‌های یک اجرا را ذخیره کند تا بتوانید بخشی از آن را بدون بخش دیگر بازپخش کنید:

  • با --save-debug-event-data رویدادهای هر گام ذخیره می‌شوند. ما این داده‌ها را برای تمام اجراها نگه داشتیم.
  • با --save-debug-rollout-data نمونه‌های rollout ذخیره می‌شوند. برای آموزش مجدد روی همین نمونه‌ها و بدون engine، آن‌ها را با --load-debug-rollout-data و --debug-train-only بارگذاری کنید.
  • با --debug-rollout-only فقط بخش engine به‌تنهایی اجرا می‌شود.

بازپخش سریع‌ترین روش برای بررسی تغییرات تابع زیان (loss) یا پاداش است. در هر بار بازپخش، دقیقاً همان نمونه‌ها پردازش می‌شوند؛ بنابراین هر اختلافی به‌خاطر تغییر شماست، نه متغیرهای نمونه‌گیر (sampler).

منابع: capture/gpu/out-gb10/image-identity.txt؛ capture/gpu/miles_grpo.py؛ capture/gpu/heat-guard.sh؛ آرگومان‌های اشکال‌زدایی Miles در شاخه‌ی main به شناسه commit 08752a12.

ترجمه‌ی فارسی Keep runs comparable از راهنمای Miles 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما