روی GB10، تخصیصهای GPU و میزبان (Host) از یک حافظهی مشترک استفاده میکنند؛ بنابراین اگر Ray تسکی را بهدلیل کمبود حافظه متوقف کند، یعنی حافظهی سیستم واقعاً پر شده است.
اجرای مدل Qwen3-4B ما اولین مسیر پیشروی شبیهسازیشده (Rollout) را تمام کرد، اما 15 دقیقه پس از شروع، دقیقاً در فاز آموزش همان گام متوقف شد. لاگها هیچ خطای اتمام حافظهی CUDA (معادل CUDA out-of-memory) نشان نمیدهند. Ray فرایند آموزشدهنده (Trainer) را متوقف کرده بود، چون حافظهی نود (Node) تقریباً پر شده بود.
با خواندن این بخش، میتوانید پیامهای توقف ناشی از کمبود حافظه در Ray را تشخیص دهید و میزان حافظهی موردنیاز اجرا را پایین بیاورید.
نتیجهی کار ما: Ray آموزشدهندهی مدل 4B ما را دو بار متوقف کرد؛ یکبار در 115.86 و بار دیگر در 119.18 گیگابایت از کل 121.69 گیگابایت حافظهی نود. هر دو بار، فشار واقعی روی حافظه وجود داشت.
خواندن پیام توقف فرایند
قبل از هر تغییری، لاگها را برای عبارت OutOfMemoryError جستوجو کنید. پیام توقف Ray نام نود را میآورد، نه یک GPU خاص را:
(TrainerController pid=2656) ray.exceptions.OutOfMemoryError: 1 worker(s) were killed due to the node running low on memory. Memory on the node (IP: 172.17.0.3, ID: 08904870a17c5413c623abfc21db2e7fcfdc39d5be90e997b2391f37) was 115.86GB / 121.69GB (0.952127)
(TrainerController pid=2656) Top 10 memory users: PID MEM(GB) COMMAND
(TrainerController pid=2656) 2657 36.77 ray::FSDPTrainRayActor.train
(TrainerController pid=2656) 3402 2.73 sglang::scheduler
(TrainerController pid=2656) 2650 1.33 ray::RolloutExecutor
To adjust the kill threshold, set the environment variable `RAY_memory_usage_threshold` when starting Ray. To disable worker killing, set the environment variable `RAY_memory_monitor_refresh_ms` to zero.خط اول سهم حافظهی گره در حال استفاده را نشان میدهد. جدول، بزرگترین فرایندها را فهرست میکند. خط آخر به دو تنظیمی اشاره دارد که این توقف اجباری را کنترل میکنند.
نود 115.86 گیگابایت از 121.69 گیگابایت (معادل 95.2 درصد) را مصرف کرده بود. فرایند آموزشدهنده بهتنهایی 36.77 گیگابایت را در اختیار داشت. بقیهی حافظهی مصرفی در فهرست فرایندها دیده نمیشد.
چرا این اتفاق روی GB10 میافتد؟
در پردازندهی GB10، پردازندهی مرکزی (CPU) و GPU از یک استخر حافظه استفاده میکنند. Ray مصرف کل حافظهی نود را میسنجد؛ بنابراین، تخصیصهای GPU هم در عددی که Ray زیر نظر دارد حساب میشوند. این تخصیصها شامل وزنهای مدل، وضعیت بهینهساز (Optimizer state) و کش کلید-مقدار (KV cache) هستند؛ دلیل نمایشدادهنشدن بخش زیادی از حافظه در فهرست فرایندها از نظر ما همین است، هرچند سهم دقیق هر بخش را جداگانه اندازه نگرفتیم.
این عدد کاملاً واقعی است. وقتی مصرف به 100 درصد برسد، هیچ حافظهای برای هیچ برنامهای در سیستم باقی نمیماند. بنابراین اقدام Ray در متوقفکردن تسک روی 95 درصد، هشداری واقعی از جا نگرفتن مدل در حافظه است، نه یک اخطار اشتباه.
کاهش حافظهی مورد نیاز اجرا
بهجای دستکاری ناظر، خود اجرا را تغییر دهید:
- از مدل کوچکتری استفاده کنید. روی GB10 ما، فقط تغییر به مدل کوچکتر توانست از سد این توقف بگذرد.
- حجم کار در هر گام را کاهش دهید. از پرامپتهای کمتر، پاسخهای کمتر به ازای هر پرامپت یا پاسخهای کوتاهتر استفاده کنید. ما این حالت را روی 4B آزمایش نکردیم.
- حافظهی موتور را کم کنید. فلگ
--sglang-mem-fraction-staticسهم حافظهی GPU را برای موتور مسیر پیشروی شبیهسازیشده مشخص میکند. در تست ما روی مدل 4B، کاهش این مقدار از 0.4 به 0.2 مانع از توقف نشد.
در لاگ به متغیر RAY_memory_usage_threshold هم اشاره شده است. روی حافظهی یکپارچه (Unified Memory)، این آستانه (Threshold) را بالا نبرید. آستانهی بالاتر اجازه میدهد نود به پر شدن کامل نزدیکتر شود؛ اگر حافظهی نود کاملاً تمام شود، سیستمعامل میتواند هر فرایندی را روی دستگاه متوقف کند و چنین توقفی هیچ پیامی در Ray باقی نمیگذارد تا متوجه دلیلش شوید.
ما همان اجرای Qwen3-4B را دوباره با --sglang-mem-fraction-static 0.2 و آستانهی پیشفرض Ray اجرا کردیم. Ray باز هم آن را در 119.18 گیگابایت متوقف کرد. فرایند آموزشدهنده 36.75 گیگابایت حافظه مصرف میکرد که تقریباً با اجرای اول برابر بود؛ بنابراین سهم کمترِ موتور، فضای اضافهای ایجاد نکرد. بخش 2.1 روش انتخاب اندازهی مناسب مدل را نشان میدهد.
منابع: capture/gpu/out-gb10/ray-oom-4b.log؛ capture/gpu/out-gb10/ray-oom-4b-timing.txt؛ capture/gpu/out-gb10/ray-oom-4b-lowmem.log؛ capture/gpu/summary/miles-gb10-lab.json (بخش excluded.e4-4b)؛ پیام ناظر حافظهی Ray در لاگ اجرای e4-4b.