سؤال مصاحبه

شمارش پارامترهای یک تطبیق‌دهنده‌ی LoRA

Count the parameters of one LoRA adapter

  • سطح ۱: غربالگری
  • تخمین
  • ۶ دقیقه

یک تصویر اتنشن (attention projection) در مدل شما، ماتریسی مربعی با 4,096 سطر و 4,096 ستون است. یک تطبیق‌دهنده‌ی (adapter) LoRA با رتبه‌ی (rank) 16 به آن اضافه می‌کنید. این تطبیق‌دهنده چند مقدار را آموزش می‌دهد و این مقدار چه درصدی از ماتریس فریز‌شده است؟ سپس بگویید اگر رتبه را دو برابر کنید، چه تغییری رخ می‌دهد.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

این تطبیق‌دهنده دو ماتریس باریک است: A با 16 سطر و 4,096 ستون، و B با 4,096 سطر و 16 ستون. هر کدام 65,536 مقدار دارند؛ بنابراین تطبیق‌دهنده 131,072 پارامتر را آموزش می‌دهد. ماتریس فریز‌شده 16,777,216 مقدار دارد، پس تطبیق‌دهنده 0.78 درصد آن خواهد بود. دو برابر کردن رتبه، تطبیق‌دهنده را دو برابر می‌کند؛ چرا که اندازه‌ی آن با رتبه رابطه‌ی خطی دارد.

پاسخ کامل

محاسبه‌ی پارامترها

y = W x + (alpha / r) B A x
A: r x d_in  = 16 x 4096 = 65,536
B: d_out x r = 4096 x 16 = 65,536
adapter      = 131,072
W            = 4096 x 4096 = 16,777,216
share        = 0.78 percent

چرا این تعداد کم از پارامترها جواب می‌دهد؟

تغییری که فاین‌تیونینگ (fine-tuning) روی ماتریس وزن اعمال می‌کند، رتبه‌ی ذاتی پایینی دارد. رتبه‌ی 16 یا 32 بخش اعظم این تغییر را ثبت می‌کند. طبق گزارش این درس، عملکرد LoRA با رتبه‌ی 16 روی بنچمارک‌های ذکرشده، در فاصله‌ی حدوداً یک نمره‌ای از فاین‌تیونینگ کامل (full fine-tuning) قرار می‌گیرد.

جدول رتبه‌ها

رتبه تعداد پارامترها برای یک ماتریس 4096 در 4096
4 32,768
8 65,536
16 131,072
32 262,144
64 524,288

ضریب Alpha

ضریب مقیاس alpha / r تعیین می‌کند خروجی تطبیق‌دهنده چقدر اثرگذار باشد. اگر alpha برابر با رتبه باشد، این ضریب یک خواهد بود؛ طبق یک قاعده‌ی رایج، alpha را دو برابر رتبه در نظر می‌گیرند. Alpha اندازه‌ی گام مؤثر را تغییر می‌دهد، نه تعداد پارامترها را.

کدام ماتریس‌ها؟

محاسبه‌ی بالا فقط مربوط به یک ماتریس است. قرار دادن تطبیق‌دهنده روی تصویرهای query و value در تمام لایه‌ها، نقطه‌ی شروع معمول به حساب می‌آید. افزودن تصویرهای key و output و لایه‌های MLP، کیفیت را کمی ارتقا می‌دهد و در جدول مدل 7B این درس، تعداد پارامترها را از 9.4 میلیون به 37.7 میلیون می‌رساند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: چرا مقادیر B از صفر شروع می‌شوند؟ پاسخ مورد انتظار: در این صورت حاصل‌ضرب B A صفر می‌شود؛ بنابراین مدل از همان رفتار اولیه‌ی خود کارش را آغاز می‌کند و تغییرات را گام‌به‌گام یاد می‌گیرد.
  • سطح 2: اگر ماتریس مربعی نباشد، تعداد پارامترها چطور تغییر می‌کند؟ پاسخ مورد انتظار: ماتریس A دارای ابعاد r در عرض ورودی و B دارای ابعاد ارتفاع خروجی در r است؛ بنابراین تعداد پارامترها برابر است با r ضرب در مجموع دو ضلع؛ رابطه‌ با رتبه همچنان خطی می‌ماند.
  • سطح 2: در چه رتبه‌ای مزیت (advantage) حافظه کم‌رنگ می‌شود؟ پاسخ مورد انتظار: این درس نقطه‌ی بازده نزولی را بعد از 64 در نظر می‌گیرد؛ جایی که کیفیت دیگر بهتر نمی‌شود و اندازه‌ی تطبیق‌دهنده‌ها هم دیگر کوچک نمی‌ماند.
  • سطح 3: بعد از آموزش، چطور هزینه‌ی ضرب ماتریسی دوم را در زمان استنتاج حذف می‌کنید؟ پاسخ مورد انتظار: با merge کردن؛ مقدار W به اضافه‌ی حاصل‌ضرب alpha بر r در B A را یک بار محاسبه کنید و یک ماتریس کامل با همان اندازه‌ی اصلی ذخیره نمایید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «تطبیق‌دهنده به اندازه‌ی r به توان 2 پارامتر آموزش می‌دهد.» در واقع r ضرب در مجموع دو ضلع ماتریس را آموزش می‌دهد؛ r به توان 2 یک بلوک کوچک خواهد بود، نه دو ماتریس باریک.
  • «دو برابر کردن رتبه، کیفیت را دو برابر می‌کند.» بهبود حاصله خیلی زود متوقف و هموار می‌شود؛ طبق درس، رتبه‌ی 16 فاصله‌ای در حدود یک نمره با فاین‌تیونینگ کامل دارد و بعد از 64 بهبود چندانی حاصل نمی‌شود.
  • «Alpha به تعداد پارامترها اضافه می‌کند.» Alpha یک اسکالر ثابت روی خروجی تطبیق‌دهنده است؛ اندازه‌ی گام مؤثر را تغییر می‌دهد، نه تعداد پارامترها را.

کجای دوره آموزش داده می‌شود

در درس LoRA، پارامترهای تطبیق‌دهنده شمارش می‌شوند و این لایه در PyTorch ساخته می‌شود.