سؤال مصاحبه

اجرای فاین‌تیونینگ یک مدل 7B روی کارت گرافیک 24 گیگابایتی

Fit a 7B fine-tune on a 24 GB GPU

  • سطح ۲: میانی
  • تخمین
  • ۱۰ دقیقه

یک کارت گرافیک با حافظه‌ی 24 GB دارید و می‌خواهید یک مدل 7B را روی داده‌های دستورالعملی (instruction data) خودتان فاین‌تیون کنید. مصرف حافظه را برای به‌روزرسانی کامل (full update)، روش LoRA و روش QLoRA مرحله‌به‌مرحله بررسی کنید و توضیح دهید چه عاملی باعث می‌شود روش آخر روی این کارت جا شود.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

به‌روزرسانی کامل یک مدل 7B به حدود 56 GB حافظه نیاز دارد: وزن‌ها با دقت نیمه (half precision)، گرادیان‌ها و دو متغیر حالت بهینه‌ساز به‌ازای هر پارامتر (همگی با دقت نیمه). در روش LoRA، وزن‌ها با دقت نیمه دست‌نخورده باقی می‌مانند و فقط تطبیق‌دهنده‌های (adapter) کوچک آموزش داده می‌شوند؛ بنابراین گرادیان‌ها و حالت‌های بهینه‌ساز به‌شدت کوچک‌تر می‌شوند و کل فرایند به حدود 18 GB حافظه نیاز پیدا می‌کند. روش QLoRA مدل پایه‌ی منجمد (frozen base) را با فرمت 4 بیتی ذخیره می‌کند (حدود 3.5 GB برای وزن‌ها) و تطبیق‌دهنده‌ها را با دقت نیمه آموزش می‌دهد؛ در نتیجه، کل فرایند حدود 6 GB حافظه می‌گیرد و فضای کافی برای اکتیویشن‌ها (activations) روی یک کارت 24 GB باقی می‌ماند.

پاسخ کامل

جدول حافظه

روش وزن‌ها مجموع حافظه برای آموزش روی چه کارتی جا می‌شود؟
به‌روزرسانی کامل، FP16 14 GB حدود 56 GB پیش از احتساب اکتیویشن‌ها، که به بار کاری بستگی دارد یک کارت دیتاسنتری 80 GB
LoRA روی مدل پایه‌ی FP16 14 GB حدود 18 GB یک کارت 40 GB
QLoRA، پایه‌ی 4 بیتی 3.5 GB حدود 6 GB یک کارت مصرفی (consumer) 24 GB

رقم 56 GB از دو بایت به‌ازای هر وزن، دو بایت به‌ازای هر گرادیان و دو متغیر حالت بهینه‌ساز به‌ازای هر پارامتر حاصل می‌شود؛ حافظه‌ی اکتیویشن‌ها نیز جداگانه به این رقم اضافه می‌شود. در این تخمین فرض شده که حالت‌های بهینه‌ساز هم با دقت نیمه نگه‌داری شوند. الگوریتم استاندارد Adam حالت‌های خود را در فرمت FP32 نگه می‌دارد؛ بنابراین در عمل، به‌روزرسانی کامل حافظه‌ی بیشتری می‌خواهد، نه کمتر. استفاده از تطبیق‌دهنده‌ها، گرادیان‌ها و حالت‌های مربوط به تمام وزن‌های منجمد را حذف می‌کند؛ یعنی دقیقاً همان بخش عمده‌ی مصرف حافظه.

امکانات جدید QLoRA

  1. داده‌نوع NF4: نوعی داده‌ی 4 بیتی که 16 سطح مقداریِ آن روی چندک‌های یک توزیع نرمال قرار گرفته‌اند؛ این ساختار با توزیع آماری وزن‌ها همخوانی دارد و نسبت به اعداد صحیح 4 بیتیِ یکنواخت، خطای کمتری ایجاد می‌کند.
  2. کوانتیزه‌سازی دوگانه (Double quantization): هر بلوک 64تایی از وزن‌ها به یک ضریب مقیاس (scale) با دقت FP32 نیاز دارد که برای یک مدل 7B حدود 0.4 GB می‌شود؛ کوانتیزه‌سازی این مقیاس‌ها به فرمت 8 بیتی، این حجم را تا حدود 0.1 GB کاهش می‌دهد.
  3. بهینه‌سازهای صفحه‌بندی‌شده (Paged optimizers): وقتی حافظه‌ی GPU پر می‌شود، حالت‌های بهینه‌ساز به حافظه‌ی CPU صفحه‌بندی (page) می‌شوند. این کار بخشی از نرخ پردازش (throughput) را فدا می‌کند تا خطای پر شدن حافظه (out-of-memory) به‌خاطر حالت‌های بهینه‌ساز رخ ندهد. البته اکتیویشن‌ها همچنان روی GPU باقی می‌مانند؛ بنابراین توالی‌های طولانی باز هم می‌توانند به خطای کمبود حافظه منجر شوند.

هزینه‌ی کیفی

بر اساس جدول این درس، در معیارهای سنجش مطرح‌شده، LoRA با رتبه‌ی (rank) 16 در فاصله‌ی حدود یک نمره‌ای به‌روزرسانی کامل قرار می‌گیرد، QLoRA با رتبه‌ی 16 اندکی عقب‌تر از آن می‌ماند و QLoRA با رتبه‌ی 64 عملکردی کاملاً برابر با به‌روزرسانی کامل ارائه می‌دهد.

هزینه‌ی زمانی و مالی

طبق جدول هزینه‌های درس، اجرای QLoRA با رتبه‌ی 16 روی یک کارت مصرفی 24 GB برای 50,000 نمونه طی سه دوره (epoch)، حدود 6 ساعت زمان و نزدیک به 5 دلار هزینه برد. به‌روزرسانی کامل روی دو کارت دیتاسنتری 80 GB حدود 8 ساعت طول کشید و نزدیک به 32 دلار خرج برداشت. استفاده از کرنل‌های ادغام‌شده (fused kernels) زمان اجرای QLoRA را تا حدود 2.5 ساعت کاهش می‌دهد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا LoRA حافظه‌ی لازم برای آموزش را بسیار بیشتر از حافظه‌ی وزن‌ها کاهش می‌دهد؟ پاسخ مورد انتظار: گرادیان‌ها و دو متغیر حالت بهینه‌ساز فقط برای پارامترهای تطبیق‌دهنده ساخته می‌شوند که تنها کسر کوچکی از یک درصد کل مدل را تشکیل می‌دهند.
  • سطح 2: تطبیق‌دهنده‌ها با دقت نیمه آموزش می‌بینند، در حالی که مدل پایه 4 بیتی است. محاسبات گذر رو به جلو (forward pass) در چه فضایی انجام می‌شود؟ پاسخ مورد انتظار: وزن‌های مدل پایه در هر ضرب ماتریسی به‌صورت بلوک‌به‌بلوک به فرمت محاسباتی (compute dtype) واکوانتیزه‌سازی (dequantize) می‌شوند و مسیر تطبیق‌دهنده نیز با دقت نیمه محاسبه می‌شود.
  • سطح 3: چه زمانی همچنان باید هزینه‌ی به‌روزرسانی کامل را متقبل شوید؟ پاسخ مورد انتظار: وقتی وظیفه (task) نیازمند تغییراتی باشد که یک به‌روزرسانی کم‌رتبه نمی‌تواند آن را بازنمایی کند؛ داده‌ها و پردازنده‌های گرافیکی لازم را در اختیار داشته باشید؛ یا نتایج ارزیابی نشان دهند که رتبه‌های بالاتر نیز این فاصله را پر نمی‌کنند.
  • سطح 3: چطور چند نسخه‌ی فاین‌تیون‌شده‌ی QLoRA را روی یک مدل پایه سرو کنیم؟ پاسخ مورد انتظار: تطبیق‌دهنده‌ها را جداگانه نگه دارید و آن‌ها را روی یک نسخه‌ی مشترک از مدل پایه بارگذاری کنید؛ عملیات merge را تنها زمانی انجام دهید که قصد ارائه‌ی یک مدل تخصصی و مجزا را داشته باشید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «کل مدل را به 4 بیتی کوانتیزه کرده و مستقیماً آن را فاین‌تیون کنید.» گرادیان‌ها و حالت‌های بهینه‌ساز به دقت بالاتری نیاز دارند؛ مدل پایه در حالت 4 بیتی منجمد می‌ماند و فقط تطبیق‌دهنده‌ها آموزش می‌بینند.
  • «کیفیت در QLoRA نصف می‌شود.» جدول درس نشان می‌دهد که در رتبه‌ی 16 افت کیفیت کمتر از یک نمره است و در رتبه‌ی 64 عملکرد برابری حاصل می‌شود.
  • «بارگذاری مدل پایه به‌صورت 8 بیتی همراه با LoRA همان کار را انجام می‌دهد.» وزن‌های 8 بیتی دو برابر NF4 حافظه می‌گیرند؛ رسیدن به رقم 6 GB حاصل کوانتیزه‌سازی دوگانه و بهینه‌سازهای صفحه‌بندی‌شده است.

کجای دوره آموزش داده می‌شود

در درس LoRA، جداول مربوط به حافظه و هزینه‌ها آورده شده و مفاهیم NF4، کوانتیزه‌سازی دوگانه و بهینه‌سازهای صفحه‌بندی‌شده توضیح داده شده‌اند.