سؤال مصاحبه

مدل چندوجهی گیت‌داری که پس از فاین‌تیونینگ نوشتن یادش رفت

A gated VLM fine-tune that forgot how to write

  • سطح ۳: ارشد
  • اشکال‌یابی
  • ۱۲ دقیقه

مدلی با معماری مشابه Flamingo را که بعد از هر چند لایه از مدل زبانی منجمدش (frozen) یک بلوک کراس‌اتنشن گیت‌دار (Gated Cross-Attention) دارد، روی یک مجموعه‌داده‌ی کوچک توصیف تصویر (captioning) فاین‌تیون می‌کنید. کیفیت کپشن‌ها بهتر می‌شود، اما عملکرد صرفاً متنی افت می‌کند: مدل روی پرامپت‌های متنی ساده حاشیه‌پردازی می‌کند و حقایقی را که قبلاً می‌دانست از یاد می‌برد. علت احتمالی چیست، چطور آن را تأیید می‌کنید و راه رفع آن چیست؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

گیت‌های کنترلی (gates) بیش از حد و خیلی سریع باز شده‌اند. هر لایه‌ی گیت‌دار، تانژانت هذلولوی (tanh) یک اسکالرِ یادگرفتنی را ضربدر خروجی کراس‌اتنشن کرده و به جریان پسماند (Residual Stream) اضافه می‌کند؛ روی مقدار صفر، لایه عملاً کاری انجام نمی‌دهد (no-op) و مدل همان مدل متنی پیش‌آموزش‌دیده است. بالا بودن نرخ یادگیری (learning rate) روی گیت‌ها، یا نبود منظم‌سازی (regularization)، باعث می‌شود نویز بصری به جریان پسماند سرازیر شود؛ حتی وقتی که پرامپت تصویری ندارد. برای تأیید این موضوع، مقادیر گیت را در هر لایه با مدل پایه مقایسه کنید و یک ارزیابی صرفاً متنی را با صفر کردن اجباری گیت‌ها اجرا کنید. برای رفع آن، نرخ یادگیری گیت‌ها را کم کنید یا برایشان زمان‌بندی (schedule) بگذارید، داده‌های صرفاً متنی را با داده‌های آموزشی ترکیب کنید و مطمئن شوید که این لایه‌ها در غیاب تصویر، هیچ مقداری اضافه نمی‌کنند.

پاسخ کامل

سازوکار

x_after = llm_block(x_before)
cross   = cross_attn(x_after, visual_latents)
x_next  = tanh(alpha) * cross + x_after

در مقداردهی اولیه، مقدار آلفا صفر است؛ بنابراین مدل دقیقاً همان مدل زبانی منجمد است. با رشد آلفا، اطلاعات بصری روی بازنمایی متن سوار می‌شود. به لطف اتصال باقیمانده (residual connection)، حتی یک گیت کاملاً باز هم مسیر متن را پاک نمی‌کند؛ اما یک گیت بزرگ، در هر چهار بلوک یک جمله‌ی بزرگ اضافه می‌کند. اگر خروجی کراس‌اتنشن نویز باشد، همان نویز به خروجی مدل می‌رسد.

چرا فاین‌تیونینگ این بخش را خراب می‌کند؟

  • گیت‌ها سبک‌ترین و کم‌هزینه‌ترین پارامترها برای جابه‌جایی هستند؛ بنابراین نرخ یادگیری انتخاب‌شده برای وزن‌های کراس‌اتنشن، آن‌ها را با سرعت زیادی به جلو push می‌کند.
  • مجموعه‌داده‌ای که فقط حاوی کپشن است هیچ‌وقت پرامپت صرفاً متنی ندارد؛ در نتیجه هیچ عاملی گیت‌هایی را که در غیاب تصویر اطلاعات بصری اضافه می‌کنند جریمه نمی‌کند.
  • وقتی تعداد تصاویر در هر پرامپت کم باشد، کراس‌اتنشنِ ماسک‌شده دیتای کمی برای خواندن دارد، اما یک گیت باز باز هم خروجی‌اش را اضافه می‌کند.

نحوه تأیید

  1. مقدار گیت را در هر لایه ثبت کنید. آن را با چک‌پوینت (checkpoint) پایه و با گامی که در آن کیفیت متن افت کرده مقایسه کنید.
  2. ارزیابی صرفاً متنی را در حالی اجرا کنید که گیت‌ها به‌اجبار روی صفر تنظیم شده‌اند. اگر کیفیت برگشت، علت همان گیت‌ها هستند.
  3. یک پرامپت صرفاً متنی به مدل بدهید و نُرم (norm) عبارت گیت‌دار را در هر لایه اندازه بگیرید. این مقدار در نبود تصویر باید نزدیک به صفر باشد.

راهکار رفع مشکل

  • نرخ یادگیری پایین‌تر یا زمان‌بندی گرم‌کردن (warm-up) برای اسکالرهای گیت، تا به جای همان گام‌های اولیه، در طول زمان اجرا باز شوند.
  • ترکیب داده‌های صرفاً متنی در داده‌های فاین‌تیونینگ، تا تابع زیان (loss) حالتی را که محصول در عمل می‌بیند پوشش دهد.
  • یک منظم‌ساز روی گیت‌ها، یا گذاشتن سقف روی اندازه‌ی آن‌ها.
  • بررسی ماسک: توکن‌های متنی بدون تصویرِ ماقبل نباید به چیزی اتنشن داشته باشند و عبارت گیت‌دار نباید هیچ مقداری اضافه کند.
  • لایه‌های گیت‌دار کمتر، اگر وظیفه (task) نیازی به وجود آن در هر چهار بلوک ندارد.

چرا این معماری همچنان درست است؟

وجود همین گیت بود که در پژوهش اصلی اجازه داد یک مدل زبانی 70B منجمد حین یادگیریِ خواندن تصاویر دست‌نخورده بماند. اشکال کار در اینجا از زمان‌بندی آموزش است، نه از معماری.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: اتصال باقیمانده بعد از باز شدن گیت چه مزیتی ایجاد می‌کند؟ پاسخ مورد انتظار: بازنمایی متن هرگز رونویسی (overwrite) نمی‌شود و فقط به آن اضافه می‌شود؛ حتی اگر گیت کاملاً باز باشد مسیر متن دست‌نخورده می‌ماند، به همین دلیل راهکار در زمان‌بندی آموزش است نه بازطراحی معماری.
  • سطح 3: همین آسیب را در مدلی که توکن‌های تصویر را به متن الحاق (concatenate) می‌کند چطور تشخیص می‌دهید؟ پاسخ مورد انتظار: در آنجا گیتی برای خواندن وجود ندارد؛ آسیب خودش را به‌صورت تغییر در وزن‌های مدل زبانی نشان می‌دهد؛ بنابراین باید ارزیابی صرفاً متنی را قبل و بعد مقایسه کنید، و مدل زبانی را منجمد نگه دارید یا دامنه‌ی آن را به تطبیق‌دهنده‌ها (adapters) محدود کنید.
  • سطح 4: یک تست واحد (unit test) طراحی کنید که قبل از آموزش جلوی این اشکال را بگیرد. پاسخ مورد انتظار: بلوک را با آلفای صفر بسازید و با assert مطمئن شوید خروجی دقیقاً برابر با خروجی بلوک برای ورودی صرفاً متنی است؛ سپس آلفا را عددی بزرگ بگذارید و با assert بررسی کنید که ورودی صرفاً متنی با ماسک خالی، باز هم دقیقاً برابر با خروجی بلوک باقی بماند.
  • سطح 4: چطور تصمیم می‌گیرید چه تعداد لایه‌ی گیت‌دار نگه دارید؟ پاسخ مورد انتظار: بسامد درج لایه‌ها را در برابر کیفیت کپشن و کیفیت صرفاً متنی در یک ارزیابی بسنجید (ablate کنید)؛ هر چهار بلوک یک بار معیار مرجع است و لایه‌های کمتر یعنی جاهای کمتر برای نفوذ نویز.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «داده‌های کپشن‌نویسی کم است؛ تصاویر بیشتری اضافه کنید.» داده‌های کپشن بیشتر بدون پرامپت‌های صرفاً متنی، گیت‌ها را به همان شیوه بیشتر باز می‌کند؛ راه‌حل، زمان‌بندی گیت و ترکیب داده‌هاست.
  • «مدل زبانی را از حالت انجماد خارج کنید تا بتواند با ورودی بصری سازگار شود.» این کار فقط یک مشکل زمان‌بندی را با فراموشی فاجعه‌بار (Catastrophic Forgetting) مدل متنی عوض می‌کند؛ در حالی که معماری منجمد دقیقاً برای جلوگیری از همین اتفاق طراحی شده است.
  • «کراس‌اتنشن گیت‌دار را با طراحی ساده‌تر الحاق توکن‌ها جایگزین کنید.» نشانه‌ی موجود مربوط به مشکل زمان‌بندی است؛ گیت سازوکاری است که از مدل زبانی محافظت می‌کند و طراحی ساده‌تر چنین محافظتی ندارد.

کجای دوره آموزش داده می‌شود

درس Flamingo توضیح می‌دهد که چرا گیت از صفر شروع می‌شود و باز شدنِ بیش‌ازحد سریع گیت را علت افت عملکرد متنی می‌داند؛ و پروژه‌ی نهایی ادغام با کراس‌اتنشن ساخت این بلوک و تمرین مربوط به گیت‌ها را پیاده‌سازی می‌کند.