بخش 2.3 · تعیین اندازه

جلوگیری از متوقف‌شدن تسک توسط Ray در حافظه‌ی یکپارچه

Stop Ray from killing the job on unified memory

فهرست مطالب
  1. خواندن پیام توقف فرایند
  2. چرا این اتفاق روی GB10 می‌افتد؟
  3. کاهش حافظه‌ی مورد نیاز اجرا

روی GB10، تخصیص‌های GPU و میزبان (Host) از یک حافظه‌ی مشترک استفاده می‌کنند؛ بنابراین اگر Ray تسکی را به‌دلیل کمبود حافظه متوقف کند، یعنی حافظه‌ی سیستم واقعاً پر شده است.

اجرای مدل Qwen3-4B ما اولین مسیر پیش‌روی شبیه‌سازی‌شده (Rollout) را تمام کرد، اما 15 دقیقه پس از شروع، دقیقاً در فاز آموزش همان گام متوقف شد. لاگ‌ها هیچ خطای اتمام حافظه‌ی CUDA (معادل CUDA out-of-memory) نشان نمی‌دهند. Ray فرایند آموزش‌دهنده (Trainer) را متوقف کرده بود، چون حافظه‌ی نود (Node) تقریباً پر شده بود.

با خواندن این بخش، می‌توانید پیام‌های توقف ناشی از کمبود حافظه در Ray را تشخیص دهید و میزان حافظه‌ی موردنیاز اجرا را پایین بیاورید.

نتیجه‌ی کار ما: Ray آموزش‌دهنده‌ی مدل 4B ما را دو بار متوقف کرد؛ یک‌بار در 115.86 و بار دیگر در 119.18 گیگابایت از کل 121.69 گیگابایت حافظه‌ی نود. هر دو بار، فشار واقعی روی حافظه وجود داشت.

خواندن پیام توقف فرایند

قبل از هر تغییری، لاگ‌ها را برای عبارت OutOfMemoryError جست‌وجو کنید. پیام توقف Ray نام نود را می‌آورد، نه یک GPU خاص را:

متوقف شدن ترینر یک اجرای Qwen3-4B توسط Ray capture/gpu/out-gb10/ray-oom-4b.log
(TrainerController pid=2656) ray.exceptions.OutOfMemoryError: 1 worker(s) were killed due to the node running low on memory. Memory on the node (IP: 172.17.0.3, ID: 08904870a17c5413c623abfc21db2e7fcfdc39d5be90e997b2391f37) was 115.86GB / 121.69GB (0.952127)
(TrainerController pid=2656) Top 10 memory users: PID	MEM(GB)	COMMAND
(TrainerController pid=2656) 2657	36.77	ray::FSDPTrainRayActor.train
(TrainerController pid=2656) 3402	2.73	sglang::scheduler
(TrainerController pid=2656) 2650	1.33	ray::RolloutExecutor
To adjust the kill threshold, set the environment variable `RAY_memory_usage_threshold` when starting Ray. To disable worker killing, set the environment variable `RAY_memory_monitor_refresh_ms` to zero.

خط اول سهم حافظه‌ی گره در حال استفاده را نشان می‌دهد. جدول، بزرگ‌ترین فرایندها را فهرست می‌کند. خط آخر به دو تنظیمی اشاره دارد که این توقف اجباری را کنترل می‌کنند.

نود 115.86 گیگابایت از 121.69 گیگابایت (معادل 95.2 درصد) را مصرف کرده بود. فرایند آموزش‌دهنده به‌تنهایی 36.77 گیگابایت را در اختیار داشت. بقیه‌ی حافظه‌ی مصرفی در فهرست فرایندها دیده نمی‌شد.

چرا این اتفاق روی GB10 می‌افتد؟

در پردازنده‌ی GB10، پردازنده‌ی مرکزی (CPU) و GPU از یک استخر حافظه استفاده می‌کنند. Ray مصرف کل حافظه‌ی نود را می‌سنجد؛ بنابراین، تخصیص‌های GPU هم در عددی که Ray زیر نظر دارد حساب می‌شوند. این تخصیص‌ها شامل وزن‌های مدل، وضعیت بهینه‌ساز (Optimizer state) و کش کلید-مقدار (KV cache) هستند؛ دلیل نمایش‌داده‌نشدن بخش زیادی از حافظه در فهرست فرایندها از نظر ما همین است، هرچند سهم دقیق هر بخش را جداگانه اندازه نگرفتیم.

این عدد کاملاً واقعی است. وقتی مصرف به 100 درصد برسد، هیچ حافظه‌ای برای هیچ برنامه‌ای در سیستم باقی نمی‌ماند. بنابراین اقدام Ray در متوقف‌کردن تسک روی 95 درصد، هشداری واقعی از جا نگرفتن مدل در حافظه است، نه یک اخطار اشتباه.

خواندن یک حافظه‌ی واحد برای کل GB10 توسط Rayدر یک GB10، ابزار Ray یک حافظه‌ی واحد را برای کل گره می‌خواند؛ بنابراین توقف اجباری آن یعنی حافظه‌ی دستگاه تقریباً پر شده است.
خواندن یک حافظه‌ی واحد برای کل GB10 توسط Ray حافظه‌ای که Ray هنگام توقف اولین اجرای 4B خواند، در قالب یک نوار به ظرفیت 121.69 GB. فرایند ترینر 36.77 GB و فرایندهای موتور 4.06 GB مصرف کردند. باقی 115.86 GB در حال استفاده در لیست فرایندها نبود. برداشت ما این است که بخش عمده‌ی آن تخصیص‌های GPU است. 5.83 GB نیز آزاد بود. حافظه‌ی گره هنگام توقف ترینر توسط Ray، مقدار 121.7 GB فرایند ترینر، 36.8 GB موتور، 4.1 GB باقی حافظه‌ی استفاده‌شده، 75.0 GB خالی، 5.8 GB توقف اجباری بالای 95 درصد در یک GB10، پردازنده‌ی گرافیکی و پردازنده‌ی مرکزی از این حافظه مشترکاً استفاده می‌کنند. برداشت ما: تخصیص‌های GPU جزو حافظه‌ی مصرفی محسوب می‌شوند، بنابراین توقف اجباری Ray واقعی است. اندازه‌ی فرایندها همان حافظه‌ی مقیمی است که Ray برای فرایندهای برتر خود فهرست کرده است.
حافظه‌ای که Ray هنگام توقف اولین اجرای 4B خواند، در قالب یک نوار رسم شده است.

کاهش حافظه‌ی مورد نیاز اجرا

به‌جای دست‌کاری ناظر، خود اجرا را تغییر دهید:

  1. از مدل کوچک‌تری استفاده کنید. روی GB10 ما، فقط تغییر به مدل کوچک‌تر توانست از سد این توقف بگذرد.
  2. حجم کار در هر گام را کاهش دهید. از پرامپت‌های کمتر، پاسخ‌های کمتر به ازای هر پرامپت یا پاسخ‌های کوتاه‌تر استفاده کنید. ما این حالت را روی 4B آزمایش نکردیم.
  3. حافظه‌ی موتور را کم کنید. فلگ --sglang-mem-fraction-static سهم حافظه‌ی GPU را برای موتور مسیر پیش‌روی شبیه‌سازی‌شده مشخص می‌کند. در تست ما روی مدل 4B، کاهش این مقدار از 0.4 به 0.2 مانع از توقف نشد.

در لاگ به متغیر RAY_memory_usage_threshold هم اشاره شده است. روی حافظه‌ی یکپارچه (Unified Memory)، این آستانه (Threshold) را بالا نبرید. آستانه‌ی بالاتر اجازه می‌دهد نود به پر شدن کامل نزدیک‌تر شود؛ اگر حافظه‌ی نود کاملاً تمام شود، سیستم‌عامل می‌تواند هر فرایندی را روی دستگاه متوقف کند و چنین توقفی هیچ پیامی در Ray باقی نمی‌گذارد تا متوجه دلیلش شوید.

ما همان اجرای Qwen3-4B را دوباره با --sglang-mem-fraction-static 0.2 و آستانه‌ی پیش‌فرض Ray اجرا کردیم. Ray باز هم آن را در 119.18 گیگابایت متوقف کرد. فرایند آموزش‌دهنده 36.75 گیگابایت حافظه مصرف می‌کرد که تقریباً با اجرای اول برابر بود؛ بنابراین سهم کمترِ موتور، فضای اضافه‌ای ایجاد نکرد. بخش 2.1 روش انتخاب اندازه‌ی مناسب مدل را نشان می‌دهد.

منابع: capture/gpu/out-gb10/ray-oom-4b.log؛ capture/gpu/out-gb10/ray-oom-4b-timing.txt؛ capture/gpu/out-gb10/ray-oom-4b-lowmem.log؛ capture/gpu/summary/miles-gb10-lab.json (بخش excluded.e4-4b)؛ پیام ناظر حافظه‌ی Ray در لاگ اجرای e4-4b.