بخش 2.1 · تعیین اندازه

انتخاب اندازه‌ی مدل برای یک کارت گرافیک

Pick a model size for one GPU

فهرست مطالب
  1. ابتدا حافظه‌ی بخش آموزش را محاسبه کنید
  2. چه اتفاقی برای 4B افتاد؟
  3. انتخاب اندازه
  4. آموزش مدل بزرگ‌تر با LoRA

بزرگ‌ترین مدلی که می‌توانید روی یک GPU آموزش دهید مدلی است که نسخه‌ی بخش آموزش (Trainer) و موتور استنتاج (Engine) آن هم‌زمان در حافظه جا شوند.

با مطالعه‌ی این بخش، می‌توانید پیش از شروع اجرا حافظه‌ی لازم را تخمین بزنید و بزرگ‌ترین مدلی را که روی سیستم جا می‌شود انتخاب کنید.

نتیجه‌ی ما: روی یک سیستم GB10 با 128 گیگابایت حافظه‌ی اشتراکی، مدل Qwen3-1.7B به مدت 4 گام کوتاه با پاسخ‌های محدودشده به 256 توکن در حافظه جا شد. اما مدل Qwen3-4B حتی با همین پاسخ‌های کوتاه هم جا نشد. ما مدل 1.7B را با دستورالعمل 1,024 توکنی آموزش ندادیم.

ابتدا حافظه‌ی بخش آموزش را محاسبه کنید

در یک اجرای هم‌مکان (Colocated run)، بخش آموزش بیشترین سهم حافظه را می‌گیرد. فاین‌تیونینگ کامل (Full Fine-Tuning) با Adam، وزن‌های مدل، گرادیان‌ها و دو مقدار بهینه‌ساز را به‌ازای هر وزن نگه می‌دارد. با دقت ترکیبی (Mixed Precision)، این مقدار پیش از محاسبه‌ی فعال‌سازها (Activations) حدود 16 بایت به‌ازای هر پارامتر است. موتور استنتاج نیز نسخه‌ی مجزایی از وزن‌ها و کش کلید-مقدار (KV cache) خود را به این مقدار اضافه می‌کند.

مدل تخمین وضعیت حافظه‌ی بخش آموزش نتیجه روی سیستم GB10 ما
Qwen3-0.6B حدود 10 گیگابایت آموزش داده شد
Qwen3-1.7B حدود 27 گیگابایت برای 4 گام با 256 توکن جا شد
Qwen3-4B حدود 64 گیگابایت Ray در همان گام اول با 256 توکن فرایند را متوقف کرد (دو بار)
Qwen3-8B حدود 128 گیگابایت آزمایش نشد؛ بزرگ‌تر از ظرفیت کل سیستم بود

این تخمین، کران پایین حافظه است. فعال‌سازها، موتور استنتاج و سربار فرایند (Process) به این مقدار اضافه می‌شوند؛ داده‌های اندازه‌گیری‌شده‌ی حافظه‌ی نود در ادامه نشان می‌دهد که این سربار چقدر زیاد است.

مدل 1.7B برای گام‌های کوتاه جا می‌شود، ولی 4B جا نمی‌شودوضعیت تخمینی ترینر برای مدل 4B حدود نیمی از ماشین است، و هر دو اجرای 4B به سقف مجاز Ray رسیدند.
مدل 1.7B برای گام‌های کوتاه جا می‌شود، ولی 4B جا نمی‌شود میله‌های آبی: وضعیت ترینر در فاین‌تیونینگ کامل با Adam، تخمین‌زده‌شده با 16 بایت به ازای هر پارامتر، پیش از اکتیویشن‌ها و موتور. میله‌های صورتی: حافظه نود که Ray هنگام متوقف کردن دو اجرای 4B خواند، 115.86 گیگابایت با سهم حافظه موتور 0.4 و 119.18 گیگابایت در 0.2، از مجموع 121.69 گیگابایت. Ray ورکر را بالای 95 درصد ظرفیت نود، یعنی حدود 115.6 گیگابایت، متوقف می‌کند. 0 30 60 90 120 GB نود، 121.7 GB Ray ورکر را بالای 95 درصد متوقف می‌کند حدود 10 GB 0.6B حدود 27 GB 1.7B حدود 64 GB 4B 4B، اجرای 1 4B، اجرای 2 115.9 GB 119.2 GB وضعیت ترینر، تخمینی حافظه نود هنگام توقف با Ray کاهش حافظه موتور هم 4B را نجات نداد. همه اجراها از پاسخ‌های 256 توکنی استفاده کردند.
میله‌های آبی برآورد با 16 بایت به ازای هر پارامتر هستند. میله‌های صورتی حافظه نود هستند که Ray هنگام متوقف کردن هر اجرای 4B ثبت کرد.

چه اتفاقی برای 4B افتاد؟

Ray هر دو اجرای مدل 4B ما را در فاز آموزشِ گام اول متوقف کرد؛ بار اول روی 115.86 و بار دوم روی 119.18 گیگابایت از کل 121.69 گیگابایت حافظه. در اجرای دوم سهم حافظه‌ی موتور را از 0.4 به 0.2 کاهش دادیم، اما باز هم فرایند متوقف شد. در بخش 2.3 پیام خطا، دلیل رخ‌دادن آن روی GB10 و تغییرات لازم را توضیح داده‌ایم.

انتخاب اندازه

  1. کار را با کوچک‌ترین مدلی شروع کنید که توانایی انجام وظیفه‌ی (Task) شما را دارد.
  2. تعداد پارامترها را در 16 بایت ضرب کنید. روی سیستم GB10 ما با 128 گیگابایت حافظه، حد نهایی بین 27 تا 64 گیگابایت از این تخمین اولیه قرار گرفت. به‌عنوان حدس اول، نصف حافظه‌ی GPU خود را در نظر بگیرید.
  3. مدل را به مدت 4 گام با طول پاسخ واقعی اجرا کنید. حافظه‌ی نود را با دستور free -g روی سیستم میزبان یا از خط خطای گزارش‌شده توسط Ray بخوانید. در سیستم GB10، دستور nvidia-smi ظرفیت حافظه را نشان نمی‌دهد.
  4. فقط در صورتی به سراغ یک اندازه بزرگ‌تر بروید که در اجرای کوتاه، حافظه‌ی خالی باقی مانده باشد.

برای آموزش مدلی با 4B پارامتر یا بیشتر، به تعداد GPU بیشتری نیاز دارید (بخش 6)، یا باید از دستورالعملی استفاده کنید که وضعیت بهینه‌ساز کمتری نگه می‌دارد.

آموزش مدل بزرگ‌تر با LoRA

روش LoRA: تطبیق کم‌رتبه (Low-Rank Adaptation). در این روش، بخش آموزش وزن‌های مدل را دست‌نخورده (فریز) نگه می‌دارد و دو ماتریس کوچک را در کنار برخی از لایه‌ها آموزش می‌دهد. فقط همین ماتریس‌های کوچک گرادیان و وضعیت بهینه‌ساز دریافت می‌کنند.

روش معمول برای آموزش مدلی که وضعیت کامل بخش آموزش آن در حافظه جا نمی‌شود، LoRA است. در نسخه‌ای از Miles که اجرا کردیم، فقط بخش آموزش Megatron از آن پشتیبانی می‌کند؛ بخش آموزش FSDP این راهنما همان ابتدا LoRA را رد می‌کند. برای امتحان‌کردن آن:

  1. طبق بخش 6.1، بخش آموزش را به Megatron تغییر دهید.
  2. آرگومان --lora-rank 16 یا رتبه‌ای (Rank) بالاتر از 0 را اضافه کنید. رتبه‌ی پیش‌فرض 0 است که LoRA را غیرفعال می‌کند.
  3. تنها از یک تطبیق‌دهنده (Adapter) استفاده کنید. با آرگومان --colocate، ابزار Miles فقط یک تطبیق‌دهنده را آموزش می‌دهد و استفاده از چند تطبیق‌دهنده نیازمند یک چیدمان تفکیک‌شده است.

موتور استنتاج همان تطبیق‌دهنده‌ای را سرویس‌دهی می‌کند که بخش آموزش به‌روزرسانی‌اش می‌کند. ما LoRA یا بخش آموزش Megatron را روی سیستم GB10 خود اجرا نکرده‌ایم؛ بنابراین مشخص نیست آیا یک مدل 4B با این روش روی 128 گیگابایت حافظه جا می‌شود یا خیر.

منابع: capture/gpu/out-gb10/ray-oom-4b.log؛ capture/gpu/out-gb10/ray-oom-4b-lowmem.log؛ capture/gpu/out-gb10/gpu-check.txt؛ آرگومان‌های LoRA و مستندات آن در Miles نسخه‌ی main 08752a12؛ capture/gpu/summary/miles-gb10-lab.json (بخش‌های runs.e4-0.6b، runs.e4-1.7b، excluded.e4-4b، excluded.e4-4b-lowmem).

ترجمه‌ی فارسی Pick a model size for one GPU از راهنمای Miles 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما