سؤال مصاحبه

پیاده‌سازی و تست لایه‌ی تصویر بین دو مدل فریز‌شده

Build and test a projection between two frozen models

  • سطح ۲: میانی
  • پروژه‌ی خانگی
  • ۳۰ دقیقه

پروژه‌ی خانگی (Take-home): یک انکودر بینایی فریز‌شده دارید که به ازای هر تصویر 197 توکن (token) با بعد 768 تولید می‌کند؛ در کنار آن، یک جدول امبدینگ (embedding) متنی فریز‌شده با بعد 512 در اختیارتان است. کوچک‌ترین ماژولی را بسازید که ارتباط این دو را ممکن کند، آن را روی جفت‌داده‌های متناظر آموزش دهید و تست‌هایی ارائه کنید که صحت کارکردش را اثبات کنند. طراحی، تابع زیان (loss)، شیوه‌ی آموزش و تست‌ها را شرح دهید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

197 توکن تصویر را تجمیع (pool) کرده و به یک بردار تبدیل کنید؛ آن را از یک MLP دو لایه (768 به 1024 و سپس به 512 با یک لایه‌ی GELU میان آن‌ها) عبور دهید و با امبدینگ میانگین‌گیری‌شده‌ی کپشن، از طریق تابع زیان هم‌ترازی کسینوسی (یک منهای کسینوس) مقایسه کنید. با فریز نگه‌داشتن انکودر و جدول، فقط MLP (حدود 1.3M پارامتر) را برای چندصد گام روی چند دوجین جفت‌داده آموزش دهید. تست‌ها عبارت‌اند از: برابری ابعاد خروجی با بعد متن، نداشتن پارامتر قابل آموزش در بخش‌های فریز‌شده، صفر بودن زیان روی بردارهای یکسان و دو بودن آن روی بردارهای در خلاف جهت هم، رسیدن گرادیان به تصویرساز (projector) پس از یک گام رو به عقب (backward pass)، و کمتر بودن زیان در گام آخر نسبت به گام اول.

پاسخ کامل

طراحی

image tokens (B, 197, 768) -> pool -> (B, 768)
MLP: Linear(768, 1024) -> GELU -> Linear(1024, 512) -> (B, 512)
caption ids -> frozen table -> mean over tokens -> (B, 512)
loss = 1 - cos(image_emb, text_emb)

تجمیع (Pooling): توکن اول ساده‌ترین انتخاب است؛ میانگین‌گیری از 196 توکن‌های وصله‌ای (patch tokens) گزینه‌ی جایگزین به شمار می‌رود و این تمرین هر دو را با هم مقایسه می‌کند. دو لایه لازم داریم، چون یک نگاشت خطی ساده فضا را خم نمی‌کند؛ GELU همان خمش لازمی را پدید می‌آورد که دو پایه را با هم تراز می‌کند.

پارامترها

لایه ابعاد پارامترها
خطی اول 768 در 1024 768 ضرب در 1024، به‌علاوه‌ی 1024
GELU 0
خطی دوم 1024 در 512 1024 ضرب در 512، به‌علاوه‌ی 512

در کل حدود 1.3M پارامتر، در کنار انکودری با 86M پارامتر. در هر دو بخش بزرگ، تک‌تک پارامترها با requires_grad=False مقداردهی شده‌اند.

حلقه‌ی آموزش

  • اگر استفاده از مجموعه‌داده مجاز نبود، 32 جفت داده‌ی ساختگی را از یک سید (seed) بسازید و آن‌ها را در چرخه تکرار کنید.
  • فقط یک بهینه‌ساز برای پارامترهای تصویرساز تعریف کنید.
  • حلقه را 200 گام اجرا کنید و زیان را هر 25 گام یک‌بار چاپ کنید. در اجرای پروژه‌ی پایانی، زیان از حدود 1.07 به حدود 0.80 می‌رسد.
  • کسینوس نهایی را برای هر جفت چاپ کنید.

تست‌ها

  1. ابعاد خروجی تصویرساز با بعد متن تعریف‌شده بخواند.
  2. جدول متنی و انکودر بیناییِ فریز‌شده، هیچ پارامتری نداشته باشند که به گرادیان نیاز داشته باشد.
  3. زیان کسینوسی روی بردارهای یکسان 0 و روی بردارهای با جهت مخالف 2 باشد.
  4. گرادیان پس از یک گام رو به عقب، به وزن‌های تصویرساز برسد.
  5. زیان در گام 200 کمتر از گام 0 باشد.

آنچه تحویل می‌دهید

تنها دست‌سازه (artifact) جدید، وزن‌های تصویرساز است. هنگام استنتاج، انکودر همچنان گذر رو به جلو (forward pass) خود را انجام می‌دهد، سپس نوبت تصویرساز می‌رسد و خروجی وارد فضای متن می‌شود. در همه‌ی مدل‌های تطبیق‌دهنده‌ی (adapter) متن‌باز همین الگو را می‌بینید: تجمیع کن، تصویر کن و آن را به‌تنهایی آموزش بده.

گام بعدی برای گفت‌وگو

کسینوس به ازای هر جفت، جهت‌ها را تراز می‌کند؛ یک تابع زیانِ دسته‌ای تقابلی هر تصویر را از سایر کپشن‌های موجود در همان دسته (batch) هم دور می‌کند (push می‌کند). برای یک دیکودر که باید تک‌تک کلمات را مقید (ground) کند، کراس‌اتنشن (cross-attention) کوئری‌های متنی روی 197 توکن تصویر، جایگزین بردار تجمیع‌شده می‌شود؛ این همان موضوع پروژه‌ی پایانی بعدی است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا کسینوس و نه میانگین مربعات خطا (Mean Squared Error)؟ پاسخ مورد انتظار: هم‌ترازی یعنی جهت یکسان در فضای مشترک، نه برابری کامل بردارها؛ کسینوس پایا به مقیاس (scale-invariant) است، بنابراین تصویرساز بابت اندازه‌ی نُرم تصادفیِ موجود در جدول متن تنبیه نمی‌شود.
  • سطح 2: یک دمای (temperature) یادگرفتنی روی کسینوس چه تأثیری می‌گذارد؟ پاسخ مورد انتظار: شیب رویه‌ی زیان را تیزتر یا مسطح‌تر می‌کند؛ دمای بیش از حد کوچک گرادیان‌های پرنویز می‌سازد و دمای خیلی بزرگ کار را در زیان‌های بالا به حالت یکنواخت (plateau) می‌رساند؛ درست مثل چیزی که در تمرین دیدیم.
  • سطح 3: اجرای این پروژه بعد از 200 گام روی حدود 0.80 متوقف می‌شود. آیا این کف نهایی است؟ پاسخ مورد انتظار: خیر؛ این فقط زیانِ یک بار اجرا در 200 گام است. تصویرساز 1024 واحد پنهان برای 32 جفت دارد، بنابراین گام‌های بیشتر یا نرخ یادگیری متفاوت می‌تواند زیان را پایین‌تر بیاورد؛ روی جفت‌داده‌های طبیعی، ویژگی‌های انکودر سقف این هم‌ترازی را مشخص می‌کنند.
  • سطح 3: این ماژول چه پیوندی با یک رابط (bridge) مبتنی بر کوئری دارد؟ پاسخ مورد انتظار: آن رابط هم به همین نوع تصویر روی بعد متن ختم می‌شود؛ با این تفاوت که توکن‌ها را به جای تجمیع، ابتدا از طریق کوئری‌های یادگرفتنی فشرده می‌کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «انکودر را هم فاین‌تیون کنید؛ فقط 86M پارامتر دارد.» فریز بودن بخش‌ها در پروژه‌ی خانگی بی‌دلیل نیست: چند دوجین جفت‌داده چیزی به انکودر یاد نمی‌دهد و تستی هم که فریز بودن جدول را می‌سنجد رد می‌شود.
  • «یک لایه‌ی خطی تکی کافی است؛ برای چرخش (rotation) کفایت می‌کند.» پایه‌های این دو فضا چیزی فراتر از یک چرخش ساده تفاوت دارند؛ این ناراستی (non-linearity) است که امکان یک خمش را برای پر کردن شکاف فراهم می‌کند.
  • «تست‌ها را بی‌خیال شوید؛ زیان که پایین آمد.» زیان می‌تواند به خاطر یک باگ در ابعاد یا نشت گرادیان به بخش‌های فریز‌شده کم شده باشد؛ تست‌ها چارچوب و تعهداتی را تثبیت می‌کنند که زیان به‌تنهایی قادر به سنجش آن‌ها نیست.

کجای دوره آموزش داده می‌شود

در پروژه‌ی پایانی لایه‌ی تصویر ماژول، تابع زیان، حلقه و پنج تست تعریف شده‌اند و پروژه‌ی پایانی تلفیق کراس‌اتنشن گام پس از آن است.