روی یک GPU، بخش آموزش (trainer) و موتور استنتاج (engine) بهنوبت اجرا میشوند و تنظیمات تخلیهی حافظه (offload) تعیین میکنند که هر طرف هنگام تحویل نوبت، چه مقدار از حافظه را پس بدهد.
پس از پایان این بخش، میتوانید تصمیم بگیرید وقتی یکی از این دو بخش در حال اجراست، بخش دیگر چه دادههایی را از حافظه آزاد کند. همچنین میتوانید تغییرات تنظیمات تخلیهی حافظه را بدون اینکه وقفههای ناشی از حرارت (heat pauses) گمراهتان کنند، بسنجید.
نتیجهی ما: نگه داشتن موتور در حافظه، بین 0.6 تا 1.8 ثانیه از زمان یک مسیر پیشروی شبیهسازیشدهی (rollout) حدوداً یکدقیقهای کم کرد. مقایسهی اولیهی ما این اختلاف را 12 درصد نشان میداد، اما علت اصلی آن کوتاهتر بودن پاسخها در آن اجرا بود.
دو سوئیچ اصلی را بشناسید
گزینهی --colocate تخلیهی حافظه را برای هر دو طرف فعال میکند. با دو فلگ زیر میتوانید تخلیه را برای هر سمت خاموش کنید:
--no-offload-rolloutوزنهای موتور و کش کلید-مقدار (KV cache) آن را در زمان اجرای بخش آموزش روی GPU نگه میدارد. در این حالت، موتور بدون سازوکار صرفهجویی در حافظه اجرا میشود.--no-offload-trainوزنهای بخش آموزش و وضعیت بهینهساز (optimizer state) را در زمان اجرای موتور روی GPU حفظ میکند.
گزینهی --offload-rollout-level kv_cache کش کلید-مقدار و حافظهی گراف CUDA را پس میدهد و فقط وزنهای موتور را نگه میدارد.
با متغیر MILES_EXTRA_ARGS میتوانید این سوئیچ را به دستور اجرای بخش 1.1 اضافه کنید:
-e MILES_EXTRA_ARGS="--no-offload-rollout --sglang-mem-fraction-static 0.25"
سمت آموزش تایمرهای اختصاصی خود را دارد. مقدار perf/sleep_time مدتزمانی است که بخش آموزش پس از اتمام آموزش صرف انتقال وضعیت خود به حافظهی اصلی سیستم (host memory) میکند و Miles آن را همراه با گام بعدی ثبت میکند. مقدار perf/wake_up_time زمانی است که برای بازگرداندن وضعیت پیش از محاسبهی لگاریتم احتمالات (log probabilities) صرف میشود. آزادسازی حافظهی موتور قبل از آموزش تایمری ندارد، اما ازسرگیری کار موتور پس از بهروزرسانی وزنها در perf/finalize_and_resume_engines_time ثبت میشود.
مقایسهی تکبهتک تغییرات، در گامهای یکسان
ما دو اجرا را در یک روز مقایسه کردیم: با سید (seed) برابر با 1، در 12 گام، و با سهم حافظهی موتور روی 0.25 در هر دو اجرا. تنها تفاوت، استفاده از --no-offload-rollout بود.
| تنظیمات | گامهای تمیز مسیر پیشروی | میانهی گامهای تمیز | تخلیهی آموزش، تمام گامها | بارگذاری مجدد آموزش، تمام گامها | بهروزرسانی وزن، تمام گامها |
|---|---|---|---|---|---|
| تخلیهی پیشفرض | 4 از 12 | 60.7 ثانیه | 0.73 ثانیه | 0.76 ثانیه | 0.62 ثانیه |
| حفظ موتور در حافظه | 3 از 12 | 56.7 ثانیه | 0.75 ثانیه | 0.82 ثانیه | 0.64 ثانیه |
این جدول گامهای تمیز را میشمارد؛ مطابق همان تعریفی که در مقدمه آوردیم.
این دو مقدار میانه مربوط به گامهای متفاوتی هستند و زمان مسیر پیشروی شبیهسازیشده تابع طول پاسخ است. در گامهای ابتدایی طول پاسخها حدود 800 توکن و در گامهای بعدی حدود 690 توکن است. بنابراین باید گامهایی را مقایسه کنید که در هر دو اجرا تمیز بودهاند:
اندازهگیری ما حاکی از بهبود اندکی در گامهای 0، 1 و 8 بود: 68.0 ثانیه در برابر 69.4 ثانیه، 56.7 ثانیه در برابر 58.5 ثانیه، و 55.2 ثانیه در برابر 55.8 ثانیه. این یعنی 1 تا 3 درصد بهبود. در هیچکدام از این دو اجرا فاز آموزش از وقفههای حرارتی در امان نماند، بنابراین مقایسهی تمیزی برای فاز آموزش نداریم. میانهی زمان کل 12 گام فاز آموزش با احتساب وقفهها بهترتیب 240.3 و 239.1 ثانیه بود.
اولین جفتاجرای ما اختلاف بیشتری را نشان داد: 52.0 ثانیه در برابر 59.1 ثانیه. اما در آن مقایسه، سهم حافظه هم تغییر کرده بود و گامهای تمیز دو اجرا با هم فرق داشتند. در یادداشتهای آزمایشگاه توضیح دادهایم که چرا آن نتیجه قابل استناد نیست.
برای رتبهبندی این دو حالت نمیتوان به یک سید اکتفا کرد. بهبودی در حد یک یا دو ثانیه کاملاً در محدودهی نوسانات گامبهگام کارت GB10 ما بر اثر وقفههای حرارتی قرار میگیرد.
تصمیمگیری
تنظیمات پیشفرض تخلیهی حافظه را نگه دارید. تخلیهی حافظهی موتور را فقط زمانی خاموش کنید که حافظهی آزاد و مازاد داشته باشید. وقتی سهم حافظه روی 0.25 تنظیم شده باشد، موتور در زمان اجرای آموزش حدود یکچهارم از حافظهی GPU را پیش خود نگه میدارد. روی یک کارت GB10، بخش آموزش به همین حافظه نیاز دارد. در بخش 2.1 خواهید دید که یک مدل 4B چقدر فضای کمی باقی میگذارد.
منابع: capture/gpu/summary/miles-gb10-lab.json (شامل runs.e3e-base-frac025، runs.e3f-no-offload-rollout-frac025، runs.e6a-base، runs.e3c-no-offload-rollout، runs.e3b-offload-kv و runs.e3d-no-offload-train)؛ capture/gpu/summarize_miles.py؛ توابع sleep و wake_up در torch_native actor از پکیج Miles در کامیت 08752a12 شاخهی main.