سؤال مصاحبه

بررسی یک بلوک به سبک سال 2017 در مقایسه با پیش‌فرض‌های امروزی

Review a 2017-style block against today's defaults

  • سطح ۳: ارشد
  • طراحی
  • ۱۲ دقیقه

فرض کنید پیاده‌سازی یک بلوک رمزگشا (decoder block) به سبک سال 2017 به شما ارث رسیده است: نرمال‌سازی لایه‌ای (Layer Normalization) پس از جمع پسماند، یک شبکه‌ی پیش‌خور (FFN) با تابع فعال‌ساز ReLU و 4 برابر عرض لایه، موقعیت‌های مطلق سینوسی که با ورودی جمع شده‌اند، جملات بایاس (bias) روی تمام لایه‌های خطی، و اتنشن چندسر (Multi-Head Attention) کامل. این پیاده‌سازی را با آنچه امروز در رمزگشاهای محیط عملیاتی (production) ارائه می‌شود مقایسه کنید و برای هر تغییری که می‌خواهید، دلیل فنی بیاورید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

نرمال‌سازی را به قبل از هر زیرلایه ببرید و نوع آن را به RMSNorm تغییر دهید؛ شبکه‌ی ReLU را با SwiGLU با ضریب عرض حدود 2.6 جایگزین کنید تا با وجود داشتن سه ماتریس، تعداد پارامترهای آن با شبکه‌ی قبلی هم‌خوانی داشته باشد؛ موقعیت سینوسی را با چرخش پرس‌وجوها (queries) و کلیدها (keys) تعویض کنید؛ بایاس‌ها را کنار بگذارید؛ و برای کوچک‌تر کردن حافظه‌ی کَش در زمان رمزگشایی (decode)، از اتنشن پرس‌وجوی گروه‌بندی‌شده (Grouped-Query Attention) استفاده کنید. هر تغییر صرفاً جایگزینی یک تابع است و ابعاد تنسورها (tensor shapes) تغییر نمی‌کند. شواهد (evidence) هم این را تایید می‌کنند: پیش‌نرمال‌سازی (pre-norm) آموزش شبکه‌های عمیق را بدون ترفندهای گرم‌کردن (warmup) ممکن می‌کند، SwiGLU در مقالات مدل‌های منتشرشده حدود نیم واحد پرپلکسیتی (perplexity) را بهبود می‌دهد، چرخش هم موقعیت نسبی را به‌رایگان در اختیارتان می‌گذارد و هم اهرمی برای تنظیم طول متن بلند فراهم می‌کند، و اتنشن پرس‌وجوی گروه‌بندی‌شده مصرف حافظه‌ی کش را به نسبتِ هدهای پرس‌وجو به هدهای کلید-مقدار کاهش می‌دهد.

پاسخ کامل

جدول بررسی

مؤلفه پیاده‌سازی فعلی تغییر پیشنهادی دلیل
نرمال‌سازی LayerNorm پس از جمع RMSNorm قبل از زیرلایه پیش‌نرمال‌سازی امکان آموزش پشته‌های عمیق را بدون نیاز به گرم‌کردن فراهم می‌کند؛ RMSNorm با پایداری یکسان، تفریق میانگین را حذف می‌کند
فعال‌ساز FFN ReLU SwiGLU بهبود حدود 0.5 واحدی پرپلکسیتی در مقایسه‌های منتشرشده
ضریب گسترش FFN 4 با دو ماتریس حدود 2.6 با سه ماتریس حفظ همان بودجه‌ی پارامتری
موقعیت سینوسی روی امبدینگ چرخش Q و K موقعیت نسبی بدون هزینه‌ی اضافه و مبنایی برای افزایش مقیاس در متن‌های طولانی
اتنشن چندسر کامل پرس‌وجوی گروه‌بندی‌شده، یا نهفته (latent) هدهای کلید-مقدار کمتر در کش، با کیفیتی تقریباً کامل
جملات بایاس دارد ندارد بهبود اندک پرپلکسیتی و کوچک‌تر شدن مدل

چه بخش‌هایی باقی می‌مانند

اسکلت ساختاری (skeleton): امبدینگ (embedding)، پشته‌ای از بلوک‌ها که هرکدام اتنشن و یک FFN را به جریان پسماند (residual stream) اضافه می‌کنند، یک نرمال‌سازی نهایی و یک هد خروجی. آنتروپی متقاطع (Cross-Entropy) با جابه‌جایی یک توکن (shift-by-one). ماسک علّی (Causal Mask). معماری پروژه‌ی پایانی (capstone) در این درس دقیقاً همین اسکلت ساختاری است که قطعات مدرن در آن تعبیه شده‌اند و هد آن با امبدینگ توکن (Token Embedding) به اشتراک گذاشته شده است (tied).

چطور تغییرات را با اطمینان اعمال کنیم

  1. هر جایگزینی را پشت یک فلگ قرار دهید و درست مثل گام ساخت در این درس، بعد از هر تعویض، ابعاد خروجی را بررسی کنید.
  2. بلوک قدیمی و جدید را روی یک وظیفه‌ی کپی کوچک با تعداد گام‌های مشخص آموزش دهید و تابع زیان (loss) آن‌ها را با هم مقایسه کنید؛ تمرین این درس از 100 گام روی یک وظیفه‌ی ساختگی (toy task) استفاده می‌کند.
  3. از فراخوانی اتنشن فیوزشده (fused attention) در فریم‌ورک استفاده کنید تا هر زمان که ابعاد ورودی اجازه داد، یک کرنل (kernel) تایل‌بندی‌شده اجرا شود.
  4. نرمال‌سازی نهایی را قبل از هد خروجی نگه دارید؛ کاری که در پیش‌نرمال‌سازی اجباری است اما در پس‌نرمال‌سازی (post-norm) نیازی به آن نبود.

چه مواردی نیاز به آموزش مجدد دارند

تمام این موارد، تابعی را که بلوک محاسبه می‌کند تغییر می‌دهند؛ بنابراین نمی‌توان با ویرایش کد، این ویژگی‌ها را روی یک چک‌پوینت (checkpoint) آموزش‌دیده با ساختار قدیمی اعمال کرد. اتنشن پرس‌وجوی گروه‌بندی‌شده تنها استثنایی است که در مقالات برخورد ویژه‌ای با آن می‌شود: می‌توان یک چک‌پوینت آموزش‌دیده‌ی چندسر را به این ساختار تبدیل و سپس آن را فاین‌تیون کرد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا ضریب گسترش SwiGLU به جای 4 حدود 2.6 است؟ پاسخ مورد انتظار: به جای دو ماتریس از سه ماتریس استفاده می‌شود؛ این مقدار طوری انتخاب شده که مجموع پارامترها با شبکه‌ی قبلی هم‌خوانی داشته باشد.
  • سطح 3: کدام‌یک از این شش تغییر را می‌توان بدون آموزش مجدد روی یک چک‌پوینت موجود پیاده کرد؟ پاسخ مورد انتظار: هیچ‌کدام به‌صورت تر‌وتمیز ممکن نیست؛ اتنشن پرس‌وجوی گروه‌بندی‌شده را می‌توان با یک فاین‌تیون تبدیل کرد، اما بقیه تابع را تغییر می‌دهند و به آموزش نیاز دارند.
  • سطح 4: در این بررسی، جلوی چه تغییری می‌ایستید و آن را نمی‌پذیرید؟ پاسخ مورد انتظار: اسکلت ساختاری پسماند، ماسک علّی و تابع زیان توکن بعدی؛ بلوک مدرن اجزا را صیقل داده است، نه چارچوب اصلی را.
  • سطح 4: تیم می‌خواهد ساختار سینوسی را به دلیل اینکه پارامتری ندارد نگه دارد. پاسخ شما چیست؟ پاسخ مورد انتظار: چرخش هم پارامتری ندارد، داخل اتنشن اعمال می‌شود، فاصله‌ی نسبی را کدگذاری می‌کند و با مقیاس‌بندی مبنای خود، به طول متن‌های بلندتر گسترش می‌یابد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «RMSNorm یک تقریب ارزان‌تر است که به دقت مدل لطمه می‌زند.» این درس ثبت کرده که RMSNorm با یک عملیات کمتر، حداقل همان میزان پایداری را ارائه می‌دهد.
  • «SwiGLU پارامترهای شبکه‌ی پیش‌خور را دو برابر می‌کند.» در عرض حدود 2.6 برابر، سه ماتریس آن با تعداد پارامترهای دو ماتریس قبلی برابری می‌کنند.
  • «پیش‌نرمال‌سازی نیاز به هرگونه نرمال‌سازی نهایی را برطرف می‌کند.» برعکس، نیاز به آن را ایجاد می‌کند: از آنجا که جریان پسماند نرمال‌سازی‌نشده است، هد خروجی حتماً به یک نرمال‌سازی نهایی نیاز دارد.

کجای دوره آموزش داده می‌شود

در درس ترنسفورمر کامل جدول مقایسه‌ی سال 2017 در برابر 2026 آمده است، در پروژه‌ی پایانی بلوک مدرن سرهم می‌شود، و درس کدگذاری مکانی مبحث چرخش را پوشش می‌دهد.