سناریوی رخداد

Ray ترینر را روی حافظه‌ی یکپارچه متوقف می‌کند

Ray stops the trainer on unified memory

  • سطح ۳: ارشد
  • سناریوی رخداد
  • ۲۰ دقیقه

وضعیت

تیمی مشغول آموزش یک مدل با روش GRPO روی یک سیستم GB10 است. اجراهای آن‌ها با مدل 0.6B بدون مشکل جواب داده، بنابراین برای دریافت پاداش‌های بهتر سراغ Qwen/Qwen3-4B رفته‌اند. فرایند شروع می‌شود، ترینر (trainer) و موتور بارگذاری می‌شوند و نخستین مسیر پیش‌روی شبیه‌سازی‌شده (rollout) به پایان می‌رسد. اما در فاز آموزش همان گام، حدود 15 دقیقه پس از شروع، فرایند متوقف می‌شود. در لاگ هیچ خطایی مبنی بر اتمام حافظه‌ی CUDA (یا همان CUDA out-of-memory) دیده نمی‌شود.

مهندس نوبت پاسخگویی (آنکال) پیامی از Ray پیدا می‌کند که نام نود (node) را آورده، نه یک GPU را، و سه فرایند (process) را هم فهرست کرده است. برنامه‌ی ثبت‌شده در تیکت دو مرحله دارد: بالا بردن آستانه‌ی حافظه‌ی Ray، و اختصاص سهم کمتری از حافظه به موتور تا فضا برای ترینر باز شود. اجرای دوم با سهم 0.2 برای موتور هم دقیقاً به همان شکل کرش می‌کند.

نسخه
Miles main 08752a12 with its own SGLang 0.5.22 build
مدل
Qwen/Qwen3-4B
سخت‌افزار
one GB10 with 128 GB of unified memory

شواهد

engine-share-cost.txt
title: what a very small engine share did to the pool and the rollout time
source: manuals/miles-101/capture/gpu/out-gb10/frac-low-kv.txt
lines: 3-6
lang: text
note: Compare the token pool and the rollout time of the three rows.
---
frac-low: max_total_num_tokens=3082 perf/rollout_time': 385.5003604888916 rollout/raw_reward': 0.61328125 steps=1
frac-check: max_total_num_tokens=211813 perf/rollout_time': 60.696292877197266 rollout/raw_reward': 0.66015625 steps=1
plain: max_total_num_tokens=347841 perf/rollout_time': 63.839099407196045 rollout/raw_reward': 0.625 steps=12
frac-low engine line: KV Cache is allocated. dtype: torch.bfloat16, #tokens: 3082, K size: 0.16 GB, V size: 0.16 GB
estimate-table.txt
title: the trainer state estimate by model size, and what happened on the GB10
source: manuals/miles-101/sections/2-1-pick-a-model-size.md
lines: 13-18
lang: text
note: The estimate counts 16 bytes for each parameter and leaves out activations and the engine.
---
| Model | Trainer state, estimate | Result on our GB10 |
|---|---|---|
| Qwen3-0.6B | about 10 GB | trains |
| Qwen3-1.7B | about 27 GB | fits for 4 steps at 256 tokens |
| Qwen3-4B | about 64 GB | stopped by Ray in the first step at 256 tokens, twice |
| Qwen3-8B | about 128 GB | not tried, larger than the machine |
ray-kill.txt
title: the Ray message that stopped the trainer
source: manuals/miles-101/capture/gpu/out-gb10/ray-oom-4b.log
lang: text
note: Read the memory on the node in the first line, then add up the processes in the table.
---
(TrainerController pid=2656) ray.exceptions.OutOfMemoryError: 1 worker(s) were killed due to the node running low on memory. Memory on the node (IP: 172.17.0.3, ID: 08904870a17c5413c623abfc21db2e7fcfdc39d5be90e997b2391f37) was 115.86GB / 121.69GB (0.952127)
(TrainerController pid=2656) To see more information about memory usage on this node, use `ray logs raylet.out -ip 172.17.0.3`
(TrainerController pid=2656) Top 10 memory users: PID	MEM(GB)	COMMAND
(TrainerController pid=2656) 2657	36.77	ray::FSDPTrainRayActor.train
(TrainerController pid=2656) 3402	2.73	sglang::scheduler
(TrainerController pid=2656) 2650	1.33	ray::RolloutExecutor
To adjust the kill threshold, set the environment variable `RAY_memory_usage_threshold` when starting Ray. To disable worker killing, set the environment variable `RAY_memory_monitor_refresh_ms` to zero.
run-timeline.txt
title: three timestamps from the log of the failed run
source: manuals/miles-101/capture/gpu/out-gb10/ray-oom-4b-timing.txt
lang: console
note: Read the start, the end of the first rollout, and the failure of the training phase.
---
$ sed "s/\x1b\[[0-9;]*m//g" e4-4b.log | grep -m1 "launcher\] common.py:290 - EXEC" | cut -c1-110
[2026-10-22 05:58:05.178 launcher] common.py:290 - EXEC: mkdir -p /root/lab/models /root/lab/datasets
$ sed "s/\x1b\[[0-9;]*m//g" e4-4b.log | grep -m1 " - rollout 0: " | cut -c1-170
(FSDPTrainRayActor pid=2657) [2026-10-22 06:04:07.877 actor_cell00000_rank00000] log_utils.py:125 - rollout 0: {'rollout/response_lengths': 256.0, 'rollout/rewards': 0.0,
$ sed "s/\x1b\[[0-9;]*m//g" e4-4b.log | grep -m1 "ft op=execute phase=fail"
(TrainerController pid=2656) [2026-10-22 06:13:27.030 trainer_controller_actor] cell.py:251 - ft op=execute phase=fail cell=trainer-engine-actor-00000 fn=train elapsed_s=629.7
smaller-engine-share.txt
title: the same run with the engine memory share lowered from 0.4 to 0.2
source: manuals/miles-101/capture/gpu/out-gb10/ray-oom-4b-lowmem.log
lang: text
note: Compare the node memory and the trainer process with the first kill.
---
Run e4-4b-lowmem on 2026-10-22: Qwen3-4B, --sglang-mem-fraction-static 0.2, default Ray memory threshold.
(TrainerController pid=2518) ray.exceptions.OutOfMemoryError: 1 worker(s) were killed due to the node running low on memory. Memory on the node (IP: 172.17.0.3, ID: 52a2f7678ec4002fb0c757192d14dfb4606f3204b11008afe40fe377) was 119.18GB / 121.69GB (0.979391)
(TrainerController pid=2518) Top 10 memory users: PID	MEM(GB)	COMMAND
(TrainerController pid=2518) 2523	36.75	ray::FSDPTrainRayActor.train
(TrainerController pid=2518) 3259	2.67	sglang::scheduler
(TrainerController pid=2518) 2515	1.32	ray::RolloutExecutor

سؤال‌ها

  1. لاگ هیچ خطای CUDA out-of-memory ندارد. خط مربوط به متوقف کردن (kill) را بخوانید: کدام مؤلفه ترینر را متوقف کرد، چه معیاری را اندازه گرفت، و روی چه چیزی؟
  2. سه فرایند فهرست‌شده، در مجموع حافظه‌ای بسیار کمتر از کل حافظه‌ی نود اشغال کرده‌اند. بقیه‌ی حافظه کجاست و چرا فهرست فرایندها نمی‌تواند آن را نشان دهد؟
  3. در اجرای دوم سهم موتور از 0.4 به 0.2 کاهش یافت و فرایند در مجموعِ مصرف بالاتری از نود متوقف شد. این موضوع چه نکته‌ای را درباره‌ی محل مصرف حافظه روشن می‌کند؟
  4. بالا بردن آستانه‌ی Ray در سیستمی با GPU مجزا یک راهکار رایج است. چرا در اینجا راهکار اشتباهی است؟
  5. وضعیت ترینر (trainer state) را برای یک مدل 4B با دقت ترکیبی (mixed precision) و بهینه‌ساز Adam تخمین بزنید، و بزرگ‌ترین مدلی را که در این ماشین جا می‌شود مشخص کنید.
  6. سهم بسیار ناچیز برای موتور چه هزینه‌ای به همراه دارد، و کدام خط در لاگ موتور این موضوع را پیش از شروع اجرا به شما می‌گوید؟

اول شواهد را بخوانید و به سؤال‌ها جواب بدهید، بعد راه‌حل را باز کنید.

راه‌حل گام‌به‌گام

تایم‌لاین ابعاد ماجرا را مشخص می‌کند. لانچر در ساعت 05:58 شروع به کار کرد، ترینر حدود شش دقیقه بعد لاگ rollout 0 را ثبت کرد و خط خطایابی و تحمل‌پذیری خطا (fault-tolerance) پس از 629.7 ثانیه وضعیت phase=fail را برای تابع train گزارش داد. بنابراین موتور یک گام کامل از پاسخ‌ها را تولید کرده و ترینر درست هنگام آموزش روی آن‌ها کرش کرده است؛ یعنی همان فازی که بیشترین حافظه را نگه می‌دارد.

مورد دوم در خروجی‌ها، توقف اجباری ناشی از کمبود حافظه توسط Ray است، نه یک خطای CUDA. پایشگر حافظه‌ی Ray کل نود را اندازه گرفته و دیده که 115.86 GB از مجموع 121.69 GB در حال مصرف است، که خود پیام آن را به شکل 0.952127 گزارش می‌کند. جدول زیر آن، سهم ترینر را 36.77 GB، اسکژولر موتور را 2.73 GB و مجری rollout را 1.33 GB نشان می‌دهد. بقیه‌ی حافظه‌ی مصرفی در فهرست فرایندها دیده نمی‌شود. روی GB10، پردازنده‌ی مرکزی (CPU) و پردازنده‌ی گرافیکی (GPU) از یک استخر حافظه‌ی یکپارچه استفاده می‌کنند؛ بنابراین تخصیص‌های GPU، وزن‌های مدل، وضعیت بهینه‌ساز و کش کلید-مقدار (KV cache) همگی در عددی که Ray رصد می‌کند به حساب می‌آیند. فهرست فرایندها فقط سمتِ هاستِ هر فرایند را نشان می‌دهد و نمی‌تواند آن بخش از حافظه را به نمایش بگذارد.

خروجی سوم مربوط به اجرای دوم است. با رساندن سهم موتور به 0.2، مصرف نود پیش از متوقف شدن به 119.18 GB رسید—حتی بالاتر از قبل—و فرایند ترینر 36.75 GB فضا گرفت که تقریباً مشابه 36.77 GB اجرای اول است. کوچک کردن سهم موتور هیچ فضایی باز نکرد، چون بخشی که جا نمی‌شود، سمت ترینر است.

جدول تخمین دلیل این اتفاق را نشان می‌دهد. فاین‌تیونینگ کامل (Full Fine-Tuning) با Adam و دقت ترکیبی حدود 16 بایت برای هر پارامتر نگه می‌دارد. این مقدار برای مدل 0.6B حدود 10 GB، برای مدل 1.7B حدود 27 GB و برای مدل 4B حدود 64 GB می‌شود. تخمین مدل 4B به‌تنهایی نیمی از ظرفیت کل ماشین است، و علاوه‌بر آن اکتیویشن‌ها، موتور و سربار فرایندها هم اضافه می‌شوند. روی این سیستم GB10، مدل 1.7B با کوتاه کردن پاسخ‌ها روی 256 توکن تا 4 گام دوام آورد، اما مدل 4B در همان گام اول توسط Ray متوقف شد؛ آن هم دو بار.

خروجی آخر هزینه‌ی کاهش بیش از حد سهم موتور را نشان می‌دهد. با رساندن سهم موتور به 0.02، استخر حافظه در مقایسه با 211,813 توکن در سهم 0.25، فقط 3,082 توکن گنجایش داشت و زمان rollout برای یک گام حدود شش برابر طولانی‌تر شد. سهم بسیار ناچیز برای موتور، فرایند rollout را دچار قحطی منبع می‌کند و برای ترینری هم که هنوز در حافظه جا نمی‌شود، هیچ دستاوردی ندارد.

نتیجه

توقف فرایند به دلیل فشار واقعی حافظه رخ داده است، نه یک هشدار کاذب. روی حافظه‌ی یکپارچه (unified memory)، عددی که Ray می‌خواند شامل تخصیص‌های حافظه‌ی GPU هم می‌شود؛ بنابراین توقف روی مصرف 95.2 درصدی یعنی ظرفیت سیستم تقریباً برای تمام فرایندهای روی آن پر شده است.

کانفیگ اجرا را دست‌کاری کنید، نه ابزار دیده‌بانی را. از مدل کوچک‌تری استفاده کنید: روی این ماشین، این ساختار در بهترین حالت مدل 1.7B را پوشش می‌دهد و تیم باید آن را با طول پاسخ واقعی خود به مدت 4 گام تست کند و در عین حال مصرف حافظه‌ی نود را با free -g بسنجد. اگر اجرای مدل 4B اجباری است، به GPUهای بیشتری نیاز دارند یا باید از روشی استفاده کنند که وضعیت بهینه‌ساز کمتری نگه می‌دارد، مثل LoRA روی ترینر Megatron که ما آزمایش نکردیم. مقدار RAY_memory_usage_threshold را روی پیش‌فرض رها کنید. سهم موتور را هم روی پیش‌فرض لانچر یا نزدیک 0.25 نگه دارید، چرا که سهم 0.2 مانع توقف نشد و سهم بسیار ناچیز هم زمان rollout را چند برابر کُند کرد.

مسیرهای اشتباه رایج
  • «آستانه‌ی Ray را بالا ببرید.» بالا بردن آستانه فقط اجازه می‌دهد نود بیشتر پر شود. اگر واقعاً حافظه تمام شود، سیستم‌عامل هر فرایندی را روی ماشین متوقف می‌کند و این توقف هیچ پیامی در لاگ‌های Ray باقی نمی‌گذارد.
  • «سهم موتور را کاهش دهید تا فضا برای ترینر باز شود.» در اجرای دوم این کار انجام شد و نود روی 119.18 GB در حالی کرش کرد که مصرف ترینر 36.75 GB بود. موتور بخشی نبود که در حافظه جا نشود.
  • «این یک خطای CUDA out of memory است، پس دسته‌ی (batch) موتور را کاهش دهید.» لاگ هیچ خطای CUDA ندارد و اسکژولر موتور فقط 2.73 GB گرفته بود. توقف مستقیماً از طرف حافظه‌ی نود رخ داد.
  • «مقدار رفرش Ray را صفر کنید تا مانتیور دیگر فرایندها را متوقف نکند.» لاگ نام این متغیر را آورده، اما این کار فقط هشدار را حذف می‌کند. در این صورت سیستم‌عامل به‌دلخواه خود فرایندی را متوقف می‌کند، بدون اینکه پیامی ثبت کند.
درس کلی

روی سیستمی که CPU و GPU حافظه‌ی مشترک دارند، هر ابزاری که حافظه‌ی هاست را بخواند، تخصیص‌های GPU را هم می‌خواند، و هر ابزاری که حافظه‌ی GPU را بررسی کند، عددی را بدون یک سقف قطعی نشان می‌دهد. توقف‌های ناشی از کمبود حافظه توسط چنین ابزارهایی را کمبود واقعی بدانید، پیش از شروع بر اساس اصول اولیه بزرگ‌ترین مصرف‌کننده‌ی حافظه را تخمین بزنید، و به‌جای ساکت کردن مانیتور، ابعاد اجرا را کوچک‌تر کنید.

کجای دوره آموزش داده می‌شود

در راهنمای Miles، خواندن خطاهای مربوط به توقف توسط Ray در بخش مربوط به Ray، توضیح استخر یکپارچه‌ی حافظه در بخش حافظه‌ی یکپارچه، و اندازه‌گذاری مدل در بخش انتخاب اندازه‌ی مدل آمده است؛ همچنین راهنمای vLLM همین قاعده‌ی مدیریت حافظه را برای سرویس‌دهی در بخش ابعاد حافظه در DGX Spark توضیح می‌دهد.