سؤال مصاحبه

محاسبه‌ی دستی تعداد پارامترهای استک رمزگشا

Count the parameters of a decoder stack by hand

  • سطح ۳: ارشد
  • تخمین
  • ۱۰ دقیقه

تعداد پارامترهای یک استک رمزگشا (decoder stack) را با عرض مدل 4096، تعداد 32 لایه و یک شبکه‌ی پیش‌خور (feed-forward network یا FFN) از نوع SwiGLU با ضریب بسط 2.6 محاسبه کنید. سپس امبدینگ نامرتبط (untied embedding) و هد خروجی را برای واژگانی با اندازه‌ی 128K به آن اضافه کنید. مجموع پارامترها به چه عددی می‌رسد و چرا مدل منتشرشده در این ابعاد کمی با این رقم تفاوت دارد؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

در هر بلوک، بخش اتنشن (attention) برای چهار تصویر (projection) خود به 4 d^2 پارامتر نیاز دارد و SwiGLU نیز به 3 d (r d) یعنی تقریباً 3 r d^2 پارامتر می‌رسد. با عرض مدل و ضریب بسط مفروض، این مقادیر تقریباً برابر با 67M به‌علاوه‌ی 131M خواهند بود؛ یعنی حدود 198M به ازای هر بلوک. در نتیجه، 32 بلوک به حدود 6.3B پارامتر می‌رسند. امبدینگ نامرتبط و هد خروجی هم تقریباً 1B پارامتر اضافه می‌کنند؛ بنابراین مجموع استک به حدود 8B پارامترِ مدل منتشرشده می‌رسد. مدل واقعی از اتنشن پرس‌وجوی گروه‌بندی‌شده (Grouped-Query Attention یا GQA) بهره می‌برد که ابعاد تصویرهای کلید (key) و مقدار (value) را کوچک‌تر می‌کند؛ همچنین FFN عریض‌تری با ضریب بسط 3.5 دارد که پارامترها را از اتنشن به FFN منتقل می‌کند، اما عدد کل تقریباً ثابت می‌ماند.

پاسخ کامل

محاسبات ریاضی به ازای هر بلوک

attention:  Q, K, V, O projections, each d x d        -> 4 d^2
FFN:        three matrices of d x (r d)               -> 3 r d^2
norms:      two vectors of length d                   -> negligible

با فرض d = 4096 و r = 2.6:

4 * 4096^2        = about 67M
3 * 2.6 * 4096^2  = about 131M
per block         = about 198M
32 blocks         = about 6.3B

امبدینگ‌ها

مدلی با وزن‌های نامرتبط، یک امبدینگ توکن (token embedding) با ابعاد (vocab, d) و یک هد خروجی مجزا با همین اندازه دارد. در ابعاد 128K در 4096، این دو با هم حدود 1B پارامتر اضافه می‌کنند. اما در مدلی با وزن‌های مشترک (tied)، همین ماتریس بین هر دو بخش به اشتراک گذاشته می‌شود و نیمی از این مقدار صرفه‌جویی خواهد شد.

علت تفاوت با آمار مدل منتشرشده

دو تصمیم در معماری مدل این ارقام را جابه‌جا می‌کنند، بدون آنکه جمع کل تغییر چندانی بکند:

  1. اتنشن پرس‌وجوی گروه‌بندی‌شده: تصویرهای کلید و مقدار به‌جای نگاشت d به d، ماتریس d را به n_kv_heads * d_head می‌نگارند؛ بنابراین بخش اتنشن کمتر از 4 d^2 پارامتر خواهد داشت.
  2. شبکه‌ی FFN عریض‌تر: مدل منتشرشده از ضریب بسط حدود 3.5 استفاده می‌کند؛ در نتیجه FFN بیشتر از مقدار 3 * 2.6 * d^2 محاسبه‌شده در بالا پارامتر دارد.

مجموع پارامترها همچنان نزدیک به 8B باقی می‌ماند. در هر دو حالت، حدود دو سوم پارامترهای هر بلوک درون FFN قرار می‌گیرند.

این محاسبات به چه کاری می‌آیند؟

محاسبه‌ی حافظه‌ی لازم برای وزن‌ها در یک نوع داده‌ی مشخص، تعیین سقف حافظه‌ی کش باقی‌مانده روی کارت گرافیک، و بررسی صحت اطلاعات وقتی فایل کانفیگ یا کارت مدل (Model Card) مشکوک به نظر می‌رسد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا لایه‌های نرمال‌سازی (norm) نادیده گرفته می‌شوند؟ پاسخ مورد انتظار: هر لایه‌ی نرمال‌سازی صرفاً یک یا دو بردار به طول d است؛ یعنی چند هزار پارامتر در برابر میلیون‌ها پارامتر هر ماتریس.
  • سطح 3: اتنشن پرس‌وجوی گروه‌بندی‌شده چگونه تعداد پارامترهای هر بلوک را تغییر می‌دهد؟ پاسخ مورد انتظار: تصویرهای K و V به ابعاد d در n_kv_heads * d_head کوچک می‌شوند؛ بنابراین اتنشن کمتر از 4 d^2 پارامتر خواهد داشت.
  • سطح 3: چرا ضریب بسط 4 با دو ماتریس، معادل ضریب بسط حدود 2.6 با سه ماتریس است؟ پاسخ مورد انتظار: 2 * 4 d^2 = 8 d^2 و 3 * 2.6 d^2 نیز تقریباً برابر با 8 d^2 است؛ بلوک‌های امروزی بودجه‌ی پارامترها را حفظ کرده و تابع فعال‌ساز را تغییر داده‌اند.
  • سطح 4: اگر تیم توسعه امبدینگ و هد را به هم متصل کند (tied)، چه تغییری در تعداد پارامترها رخ می‌دهد و چه چیزی را باید بررسی کنید؟ پاسخ مورد انتظار: تقریباً نیمی از آن 1B پارامتر حذف می‌شود؛ باید بررسی کنید که لاجیت‌های خروجی همچنان از ترانهاده‌ی (transpose) ماتریس امبدینگ استفاده کنند و کیفیت خروجی افت نکند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «تعداد پارامترها با طول توالی (sequence length) بیشتر می‌شود.» هیچ وزنی به طول توالی وابسته نیست؛ طول توالی مصرف حافظه‌ی محاسبات میانی (activations) و حجم پردازش را تغییر می‌دهد، نه تعداد پارامترها را.
  • «امبدینگ صرفاً یک خطای گردکردن است و به حساب نمی‌آید.» در ابعاد 128K در 4096، این بخش حدود 1B پارامتر دارد که بیش از یک‌دهم کل مدل است.
  • «بخش عمده‌ی پارامترها در اتنشن قرار دارند.» شبکه‌ی FFN حدود دو سوم پارامترهای هر بلوک را به خود اختصاص می‌دهد.

کجای دوره آموزش داده می‌شود

در درس ترنسفورمر کامل این محاسبات انجام شده و علت تفاوت آن با نسخه‌ی منتشرشده توضیح داده شده است.