در GB10، پردازندهی مرکزی (CPU) و پردازندهی گرافیکی (GPU) از یک حافظهی مشترک استفاده میکنند؛ بنابراین برونسپاری دادهها (Offload)، بایتها را در همان فضای مشترک جابهجا میکند و بهروزرسانی وزنها هم هیچوقت از تراشه بیرون نمیرود.
روی یک GPU، بخش آموزش (Trainer) و موتور مسیر پیشروی شبیهسازیشده (Rollout Engine) نمیتوانند همزمان همهی حافظهشان را نگه دارند. Miles کاری میکند که این دو نوبتی کار کنند. این صفحه توضیح میدهد که در هر نوبت چه چیزهایی آزاد میشود، بهروزرسانی وزنها چه نقشی دارد و چرا GB10 روند هر دو را تغییر میدهد.
وقتی این بخش را تمام کنید، میتوانید توضیح دهید که در سیستمی با حافظهی مشترک، برونسپاری و بهروزرسانی وزنها دقیقاً چه کار میکنند.
دو طرف نوبتی کار میکنند
با پرچم --colocate، بخش آموزش و موتور از یک GPU مشترک استفاده میکنند. در هر گام، مراحل همیشه با همین ترتیب پیش میرود:
- موتور، پاسخهای آن گام را تولید میکند.
- موتور حافظهاش را آزاد میکند.
- بخش آموزش وضعیت خود را بارگذاری، احتمالهای لگاریتمی (Log Probabilities) را محاسبه و فرایند آموزش را اجرا میکند.
- بخش آموزش وضعیتش را آزاد میکند.
- موتور دوباره بارگذاری میشود و وزنهای جدید را تحویل میگیرد.
پرچم --colocate قابلیت برونسپاری را برای هر دو طرف فعال میکند. گزینهی --offload-rollout-level مشخص میکند که موتور چه چیزهایی را پس میدهد. حالت پیشفرض، آزادسازی هر دو برچسب حافظهی آن است: kv_cache، یعنی همان کش کلید-مقدار (کش کلیدها و مقدارهای اتنشن) و weight که وزنهای مدل است.
برونسپاری در سیستمی معمولی در مقایسه با GB10
در سیستمی با GPU مجزا، برونسپاری بایتها را از طریق گذرگاه (Bus) از حافظهی GPU به حافظهی CPU کپی میکند. هزینهی اصلی کار، همین کپیکردن است.
اما در GB10 حافظهی دومی در کار نیست. حافظهی GPU و حافظهی CPU رویهمرفته همان 128 گیگابایت هستند. بنابراین برونسپاری فقط تخصیص حافظهی GPU را آزاد میکند و بایتها در همان فضای مشترک (Pool) باقی میمانند. برای مدل Qwen3-0.6B در طول 48 گام، بخش آموزش وضعیت خود را در زمان میانهی 0.76 ثانیه به حافظهی میزبان برد و بازگرداندن آن 0.87 ثانیه طول کشید. این زمان در برابر یک گامِ بیش از دو دقیقهای بسیار ناچیز است.
برای آزاد شدن حافظهی موتور پیش از آموزش زمانسنجی وجود ندارد. زمان ادامهی کار موتور پس از بهروزرسانی وزنها در perf/finalize_and_resume_engines_time ثبت میشود.
دیدگاه ما این است: در GB10، احتمالاً بخشی از زمان برونسپاری و بارگذاری مجدد بخش آموزش صرف کارهای آمادهسازی (Setup) میشود، نه کپی کردن. البته ما این بخشها را جداگانه اندازه نگرفتهایم.
بهروزرسانی وزنها داخل GPU میماند
موتور بعد از آموزش به وزنهای جدید نیاز دارد. با پرچم --colocate، بخش آموزش هندلهای تنسورهای GPU خود را در اختیار موتور میگذارد و موتور دادهها را مستقیماً از روی آنها کپی میکند. این بایتها هرگز در شبکه جابهجا نمیشوند.
بخش آموزش وزنها را در بستههایی مجزا (Buckets) میفرستد. پرچم --update-weight-buffer-size اندازهی این بستهها را مشخص میکند و ما در اجراهایمان آن را روی 512 MiB گذاشتیم. این بهروزرسانی برای Qwen3-0.6B حدود 0.64 ثانیه و برای Qwen3-1.7B حدود 0.91 ثانیه طول کشید، یعنی زیر یک درصد از زمان هر گام. جدول آن در بخش 2.4 آمده است.
حافظهی مشترک دید Ray را تغییر میدهد
حافظهی مشترک نگاه ابزارهای دیگر را هم تغییر میدهد. Ray حافظهی کل نود را بررسی میکند. در GB10 این عدد وزنهای مدل، وضعیت بهینهساز (Optimizer State) و کش کلید-مقدار را هم در بر میگیرد. بنابراین Ray میتواند پیش از اینکه حتی یک تخصیص حافظهی منفرد در GPU با خطا روبهرو شود، جلوی ادامهی کار بخش آموزش را بگیرد. در GB10 این متوقفکردن هشداری واقعی است، چون حافظهی نود برای همهی فرایندها در آستانهی پر شدن است. بخش 2.3 این توقف اجباری فرایند و راهکارهای کاهش حافظهی مورد نیاز اجرا را نشان میدهد.
مواردی که هنوز نمیدانیم
نگهداشتن موتور در وضعیت بارگذاریشده میان فازها، زمان مسیر پیشروی شبیهسازیشده را روی GB10 ما چندان کم نکرد. ما دو اجرای همزمان در یک روز را با یک مقدار اولیهی تصادفی (Seed) یکسان بررسی کردیم. در گامهایی که هر دو اجرا بدون مشکل پیش رفتند، این کار تنها 0.6 تا 1.8 ثانیه از یک مسیر پیشرویِ حدوداً یکدقیقهای صرفهجویی کرد. بخش 2.2 به این اجراها پرداخته است.
منابع: کدهای جایابی، برونسپاری و بهروزرسانی وزن در Miles در کامیت 08752a12 شاخهی main؛ فایل capture/gpu/miles_grpo.py؛ فایل capture/gpu/summary/miles-gb10-lab.json (بخشهای runs.e4-0.6b و runs.e4-1.7b و runs.plain-48)؛ لاگ capture/gpu/out-gb10/ray-oom-4b.log.