اجرایی که نتوانید با اجرای دیگری مقایسهاش کنید هیچ آوردهای برایتان ندارد؛ پس قبل از شروع، مشخصات دقیق هر اجرا را ثبت کنید.
دو هفته بعد از شروع پروژه، حتماً میخواهید بدانید چرا اجرای سهشنبهی پیش سریعتر از اجرای امروز یاد گرفت. فقط وقتی میتوانید به این سؤال پاسخ دهید که در هر دو اجرا، اطلاعات فنی یکسانی را ثبت کرده باشید.
در پایان این بخش، میتوانید مشخصات هر اجرا را طوری ثبت کنید که بعداً قابل مقایسه باشد. همچنین میتوانید یک گام را برای اشکالزدایی بازپخش (replay) کنید.
این اطلاعات را در هر اجرا ثبت کنید
| مشخصه | روش ثبت |
|---|---|
| شناسهی یکتای ایمیج (digest) | docker image inspect، مطابق بخش 1.1 |
| شناسه commit در Miles و نسخهی SGLang | خواندن از داخل ایمیج |
| دستور کامل اجرا | اسکریپت اجراکننده (launcher) آن را چاپ میکند و اسکریپت را نگه میداریم |
| مقدار seed | آرگومانهای --seed و --rollout-seed |
| لاگ trainer و لاگ engine | یک فایل لاگ مجزا برای هر اجرا، بدون ترکیب با اجراهای دیگر |
| دمای GPU و توقفها | لاگ پایش دما (heat-guard)، مطابق بخش 1.2 |
| کد خروجی (exit code) | یک خط وضعیت برای هر اجرا |
لاگ engine را کنار لاگ trainer نگه دارید. از میان 4 خطایی که دیدیم، یکی از engine و سه تا از trainer شروع شدند؛ بنابراین به لاگ هر دو نیاز دارید.
در هر اجرا فقط یک چیز را تغییر دهید
فقط زمانی دو اجرا را با هم مقایسه کنید که تنها یک تنظیم در آنها فرق داشته باشد. در اولین اجرای تخلیهی بار (offload)، تنظیم offload و سهم حافظهی engine را همزمان تغییر دادیم و زمان مسیر پیشروی شبیهسازیشده (rollout) 12 درصد سریعتر شد. اما در دو اجرای دیگر در همان روز که فقط تنظیم offload را تغییر دادیم، این بهبود 1 تا 3 درصد بود. جزئیات هر دو حالت در بخش 2.2 آمده است.
زمانها را روی شمارهی گامهای یکسان مقایسه کنید. زمان rollout تابع طول پاسخ است و با پیشرفت یادگیری مدل، پاسخها کوتاهتر میشوند. همانطور که بخش 5.3 نشان میدهد، میانهی زمان در گامهای مختلف میتواند صرفاً به همین دلیل فرق کند.
دادههای لازم برای بازپخش یک گام را ذخیره کنید
ابزار Miles میتواند دادههای یک اجرا را ذخیره کند تا بتوانید بخشی از آن را بدون بخش دیگر بازپخش کنید:
- با
--save-debug-event-dataرویدادهای هر گام ذخیره میشوند. ما این دادهها را برای تمام اجراها نگه داشتیم. - با
--save-debug-rollout-dataنمونههای rollout ذخیره میشوند. برای آموزش مجدد روی همین نمونهها و بدون engine، آنها را با--load-debug-rollout-dataو--debug-train-onlyبارگذاری کنید. - با
--debug-rollout-onlyفقط بخش engine بهتنهایی اجرا میشود.
بازپخش سریعترین روش برای بررسی تغییرات تابع زیان (loss) یا پاداش است. در هر بار بازپخش، دقیقاً همان نمونهها پردازش میشوند؛ بنابراین هر اختلافی بهخاطر تغییر شماست، نه متغیرهای نمونهگیر (sampler).
منابع: capture/gpu/out-gb10/image-identity.txt؛ capture/gpu/miles_grpo.py؛ capture/gpu/heat-guard.sh؛ آرگومانهای اشکالزدایی Miles در شاخهی main به شناسه commit 08752a12.