بخش 8.4 · Miles چگونه کار می‌کند

حافظه و به‌روزرسانی وزن‌ها در حافظه‌ی یکپارچه

Memory and weight updates on unified memory

فهرست مطالب
  1. دو طرف نوبتی کار می‌کنند
  2. برون‌سپاری در سیستمی معمولی در مقایسه با GB10
  3. به‌روزرسانی وزن‌ها داخل GPU می‌ماند
  4. حافظه‌ی مشترک دید Ray را تغییر می‌دهد
  5. مواردی که هنوز نمی‌دانیم

در GB10، پردازنده‌ی مرکزی (CPU) و پردازنده‌ی گرافیکی (GPU) از یک حافظه‌ی مشترک استفاده می‌کنند؛ بنابراین برون‌سپاری داده‌ها (Offload)، بایت‌ها را در همان فضای مشترک جابه‌جا می‌کند و به‌روزرسانی وزن‌ها هم هیچ‌وقت از تراشه بیرون نمی‌رود.

روی یک GPU، بخش آموزش (Trainer) و موتور مسیر پیش‌روی شبیه‌سازی‌شده (Rollout Engine) نمی‌توانند هم‌زمان همه‌ی حافظه‌شان را نگه دارند. Miles کاری می‌کند که این دو نوبتی کار کنند. این صفحه توضیح می‌دهد که در هر نوبت چه چیزهایی آزاد می‌شود، به‌روزرسانی وزن‌ها چه نقشی دارد و چرا GB10 روند هر دو را تغییر می‌دهد.

وقتی این بخش را تمام کنید، می‌توانید توضیح دهید که در سیستمی با حافظه‌ی مشترک، برون‌سپاری و به‌روزرسانی وزن‌ها دقیقاً چه کار می‌کنند.

دو طرف نوبتی کار می‌کنند

با پرچم --colocate، بخش آموزش و موتور از یک GPU مشترک استفاده می‌کنند. در هر گام، مراحل همیشه با همین ترتیب پیش می‌رود:

  1. موتور، پاسخ‌های آن گام را تولید می‌کند.
  2. موتور حافظه‌اش را آزاد می‌کند.
  3. بخش آموزش وضعیت خود را بارگذاری، احتمال‌های لگاریتمی (Log Probabilities) را محاسبه و فرایند آموزش را اجرا می‌کند.
  4. بخش آموزش وضعیتش را آزاد می‌کند.
  5. موتور دوباره بارگذاری می‌شود و وزن‌های جدید را تحویل می‌گیرد.

پرچم --colocate قابلیت برون‌سپاری را برای هر دو طرف فعال می‌کند. گزینه‌ی --offload-rollout-level مشخص می‌کند که موتور چه چیزهایی را پس می‌دهد. حالت پیش‌فرض، آزادسازی هر دو برچسب حافظه‌ی آن است: kv_cache، یعنی همان کش کلید-مقدار (کش کلیدها و مقدارهای اتنشن) و weight که وزن‌های مدل است.

موتور و آموزش‌دهنده به‌نوبت از یک حافظه استفاده می‌کننددر هر لحظه فقط یک سمت حافظه GPU را در اختیار دارد و دست‌به‌دست‌شدن‌های زمان‌بندی‌شده حدود 2 ثانیه از هر گام زمان می‌برند.
موتور و آموزش‌دهنده به‌نوبت از یک حافظه استفاده می‌کنند یک گام هم‌مکان رسم‌شده بر اساس میانه‌های فاز 48 گام از اجرایی پیش از افزودن محافظ حرارتی، با مقیاس واقعی. موتور وزن‌ها و کش کلید-مقدار خود را در طول مسیر پیش‌روی شبیه‌سازی‌شده (47.5 ثانیه) نگه می‌دارد و سپس آن‌ها را آزاد می‌کند. آموزش‌دهنده وضعیتش را در 0.87 ثانیه روی GPU می‌آورد، در 100.3 ثانیه آموزش می‌دهد (که 23.4 ثانیه‌ی آن صرف محاسبه‌ی لگاریتم احتمالات می‌شود) و در 0.76 ثانیه وضعیتش را خارج می‌کند. موتور دوباره بارگذاری می‌شود و وزن‌های جدید را در 0.64 ثانیه دریافت می‌کند. در همین 48 گام، میانه 2.2 ثانیه از هر گام 152.6 ثانیه‌ای بدون زمان‌سنج است. میانه فازهای 48 گام، با مقیاس واقعی موتور وزن‌ها، کش کلید-مقدار شبیه‌سازی 47.5s آموزش‌دهنده وزن‌ها، بهینه‌ساز آموزش 100.3s، با 23.4s برای log-prob بارگذاری آموزش‌دهنده 0.87s تخلیه آموزش‌دهنده 0.76s سپس به‌روزرسانی 0.64s در هر لحظه فقط یک سمت حافظه GPU را در اختیار دارد. دست‌به‌دست‌شدن حدود 2s از یک گامِ حدوداً 2.5 دقیقه‌ای زمان می‌برد. میانه 2.2s از هر گام زمان‌سنج ندارد، مثل آزادسازی موتور.
میانه‌های فاز در 48 گام از اجرایی پیش از افزودن محافظ حرارتی، با مقیاس واقعی رسم شده است.

برون‌سپاری در سیستمی معمولی در مقایسه با GB10

در سیستمی با GPU مجزا، برون‌سپاری بایت‌ها را از طریق گذرگاه (Bus) از حافظه‌ی GPU به حافظه‌ی CPU کپی می‌کند. هزینه‌ی اصلی کار، همین کپی‌کردن است.

اما در GB10 حافظه‌ی دومی در کار نیست. حافظه‌ی GPU و حافظه‌ی CPU روی‌هم‌رفته همان 128 گیگابایت هستند. بنابراین برون‌سپاری فقط تخصیص حافظه‌ی GPU را آزاد می‌کند و بایت‌ها در همان فضای مشترک (Pool) باقی می‌مانند. برای مدل Qwen3-0.6B در طول 48 گام، بخش آموزش وضعیت خود را در زمان میانه‌ی 0.76 ثانیه به حافظه‌ی میزبان برد و بازگرداندن آن 0.87 ثانیه طول کشید. این زمان در برابر یک گامِ بیش از دو دقیقه‌ای بسیار ناچیز است.

برای آزاد شدن حافظه‌ی موتور پیش از آموزش زمان‌سنجی وجود ندارد. زمان ادامه‌ی کار موتور پس از به‌روزرسانی وزن‌ها در perf/finalize_and_resume_engines_time ثبت می‌شود.

دیدگاه ما این است: در GB10، احتمالاً بخشی از زمان برون‌سپاری و بارگذاری مجدد بخش آموزش صرف کارهای آماده‌سازی (Setup) می‌شود، نه کپی کردن. البته ما این بخش‌ها را جداگانه اندازه نگرفته‌ایم.

به‌روزرسانی وزن‌ها داخل GPU می‌ماند

موتور بعد از آموزش به وزن‌های جدید نیاز دارد. با پرچم --colocate، بخش آموزش هندل‌های تنسورهای GPU خود را در اختیار موتور می‌گذارد و موتور داده‌ها را مستقیماً از روی آن‌ها کپی می‌کند. این بایت‌ها هرگز در شبکه جابه‌جا نمی‌شوند.

بخش آموزش وزن‌ها را در بسته‌هایی مجزا (Buckets) می‌فرستد. پرچم --update-weight-buffer-size اندازه‌ی این بسته‌ها را مشخص می‌کند و ما در اجراهایمان آن را روی 512 MiB گذاشتیم. این به‌روزرسانی برای Qwen3-0.6B حدود 0.64 ثانیه و برای Qwen3-1.7B حدود 0.91 ثانیه طول کشید، یعنی زیر یک درصد از زمان هر گام. جدول آن در بخش 2.4 آمده است.

حافظه‌ی مشترک دید Ray را تغییر می‌دهد

حافظه‌ی مشترک نگاه ابزارهای دیگر را هم تغییر می‌دهد. Ray حافظه‌ی کل نود را بررسی می‌کند. در GB10 این عدد وزن‌های مدل، وضعیت بهینه‌ساز (Optimizer State) و کش کلید-مقدار را هم در بر می‌گیرد. بنابراین Ray می‌تواند پیش از این‌که حتی یک تخصیص حافظه‌ی منفرد در GPU با خطا روبه‌رو شود، جلوی ادامه‌ی کار بخش آموزش را بگیرد. در GB10 این متوقف‌کردن هشداری واقعی است، چون حافظه‌ی نود برای همه‌ی فرایندها در آستانه‌ی پر شدن است. بخش 2.3 این توقف اجباری فرایند و راهکارهای کاهش حافظه‌ی مورد نیاز اجرا را نشان می‌دهد.

مواردی که هنوز نمی‌دانیم

نگه‌داشتن موتور در وضعیت بارگذاری‌شده میان فازها، زمان مسیر پیش‌روی شبیه‌سازی‌شده را روی GB10 ما چندان کم نکرد. ما دو اجرای هم‌زمان در یک روز را با یک مقدار اولیه‌ی تصادفی (Seed) یکسان بررسی کردیم. در گام‌هایی که هر دو اجرا بدون مشکل پیش رفتند، این کار تنها 0.6 تا 1.8 ثانیه از یک مسیر پیش‌رویِ حدوداً یک‌دقیقه‌ای صرفه‌جویی کرد. بخش 2.2 به این اجراها پرداخته است.

منابع: کدهای جایابی، برون‌سپاری و به‌روزرسانی وزن در Miles در کامیت 08752a12 شاخه‌ی main؛ فایل capture/gpu/miles_grpo.py؛ فایل capture/gpu/summary/miles-gb10-lab.json (بخش‌های runs.e4-0.6b و runs.e4-1.7b و runs.plain-48)؛ لاگ capture/gpu/out-gb10/ray-oom-4b.log.

ترجمه‌ی فارسی Memory and weight updates on unified memory از راهنمای Miles 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما