بزرگترین مدلی که میتوانید روی یک GPU آموزش دهید مدلی است که نسخهی بخش آموزش (Trainer) و موتور استنتاج (Engine) آن همزمان در حافظه جا شوند.
با مطالعهی این بخش، میتوانید پیش از شروع اجرا حافظهی لازم را تخمین بزنید و بزرگترین مدلی را که روی سیستم جا میشود انتخاب کنید.
نتیجهی ما: روی یک سیستم GB10 با 128 گیگابایت حافظهی اشتراکی، مدل Qwen3-1.7B به مدت 4 گام کوتاه با پاسخهای محدودشده به 256 توکن در حافظه جا شد. اما مدل Qwen3-4B حتی با همین پاسخهای کوتاه هم جا نشد. ما مدل 1.7B را با دستورالعمل 1,024 توکنی آموزش ندادیم.
ابتدا حافظهی بخش آموزش را محاسبه کنید
در یک اجرای هممکان (Colocated run)، بخش آموزش بیشترین سهم حافظه را میگیرد. فاینتیونینگ کامل (Full Fine-Tuning) با Adam، وزنهای مدل، گرادیانها و دو مقدار بهینهساز را بهازای هر وزن نگه میدارد. با دقت ترکیبی (Mixed Precision)، این مقدار پیش از محاسبهی فعالسازها (Activations) حدود 16 بایت بهازای هر پارامتر است. موتور استنتاج نیز نسخهی مجزایی از وزنها و کش کلید-مقدار (KV cache) خود را به این مقدار اضافه میکند.
| مدل | تخمین وضعیت حافظهی بخش آموزش | نتیجه روی سیستم GB10 ما |
|---|---|---|
| Qwen3-0.6B | حدود 10 گیگابایت | آموزش داده شد |
| Qwen3-1.7B | حدود 27 گیگابایت | برای 4 گام با 256 توکن جا شد |
| Qwen3-4B | حدود 64 گیگابایت | Ray در همان گام اول با 256 توکن فرایند را متوقف کرد (دو بار) |
| Qwen3-8B | حدود 128 گیگابایت | آزمایش نشد؛ بزرگتر از ظرفیت کل سیستم بود |
این تخمین، کران پایین حافظه است. فعالسازها، موتور استنتاج و سربار فرایند (Process) به این مقدار اضافه میشوند؛ دادههای اندازهگیریشدهی حافظهی نود در ادامه نشان میدهد که این سربار چقدر زیاد است.
چه اتفاقی برای 4B افتاد؟
Ray هر دو اجرای مدل 4B ما را در فاز آموزشِ گام اول متوقف کرد؛ بار اول روی 115.86 و بار دوم روی 119.18 گیگابایت از کل 121.69 گیگابایت حافظه. در اجرای دوم سهم حافظهی موتور را از 0.4 به 0.2 کاهش دادیم، اما باز هم فرایند متوقف شد. در بخش 2.3 پیام خطا، دلیل رخدادن آن روی GB10 و تغییرات لازم را توضیح دادهایم.
انتخاب اندازه
- کار را با کوچکترین مدلی شروع کنید که توانایی انجام وظیفهی (Task) شما را دارد.
- تعداد پارامترها را در 16 بایت ضرب کنید. روی سیستم GB10 ما با 128 گیگابایت حافظه، حد نهایی بین 27 تا 64 گیگابایت از این تخمین اولیه قرار گرفت. بهعنوان حدس اول، نصف حافظهی GPU خود را در نظر بگیرید.
- مدل را به مدت 4 گام با طول پاسخ واقعی اجرا کنید. حافظهی نود را با دستور
free -gروی سیستم میزبان یا از خط خطای گزارششده توسط Ray بخوانید. در سیستم GB10، دستورnvidia-smiظرفیت حافظه را نشان نمیدهد. - فقط در صورتی به سراغ یک اندازه بزرگتر بروید که در اجرای کوتاه، حافظهی خالی باقی مانده باشد.
برای آموزش مدلی با 4B پارامتر یا بیشتر، به تعداد GPU بیشتری نیاز دارید (بخش 6)، یا باید از دستورالعملی استفاده کنید که وضعیت بهینهساز کمتری نگه میدارد.
آموزش مدل بزرگتر با LoRA
روش LoRA: تطبیق کمرتبه (Low-Rank Adaptation). در این روش، بخش آموزش وزنهای مدل را دستنخورده (فریز) نگه میدارد و دو ماتریس کوچک را در کنار برخی از لایهها آموزش میدهد. فقط همین ماتریسهای کوچک گرادیان و وضعیت بهینهساز دریافت میکنند.
روش معمول برای آموزش مدلی که وضعیت کامل بخش آموزش آن در حافظه جا نمیشود، LoRA است. در نسخهای از Miles که اجرا کردیم، فقط بخش آموزش Megatron از آن پشتیبانی میکند؛ بخش آموزش FSDP این راهنما همان ابتدا LoRA را رد میکند. برای امتحانکردن آن:
- طبق بخش 6.1، بخش آموزش را به Megatron تغییر دهید.
- آرگومان
--lora-rank 16یا رتبهای (Rank) بالاتر از 0 را اضافه کنید. رتبهی پیشفرض 0 است که LoRA را غیرفعال میکند. - تنها از یک تطبیقدهنده (Adapter) استفاده کنید. با آرگومان
--colocate، ابزار Miles فقط یک تطبیقدهنده را آموزش میدهد و استفاده از چند تطبیقدهنده نیازمند یک چیدمان تفکیکشده است.
موتور استنتاج همان تطبیقدهندهای را سرویسدهی میکند که بخش آموزش بهروزرسانیاش میکند. ما LoRA یا بخش آموزش Megatron را روی سیستم GB10 خود اجرا نکردهایم؛ بنابراین مشخص نیست آیا یک مدل 4B با این روش روی 128 گیگابایت حافظه جا میشود یا خیر.
منابع: capture/gpu/out-gb10/ray-oom-4b.log؛ capture/gpu/out-gb10/ray-oom-4b-lowmem.log؛ capture/gpu/out-gb10/gpu-check.txt؛ آرگومانهای LoRA و مستندات آن در Miles نسخهی main 08752a12؛ capture/gpu/summary/miles-gb10-lab.json (بخشهای runs.e4-0.6b، runs.e4-1.7b، excluded.e4-4b، excluded.e4-4b-lowmem).