سؤال مصاحبه

چرا در مرحله‌ی اول VLM فقط رابط آموزش می‌بیند؟

Why the first VLM stage trains only the bridge

  • سطح ۱: غربالگری
  • مفهومی
  • ۸ دقیقه

در مرحله‌ی اول آموزش اکثر مدل‌های بینایی-زبانِ بازمتن (open vision-language models یا VLM)، هم انکودر تصویر و هم دیکودر فریز هستند و فقط تصویرسازِ (projector) کوچک آموزش می‌بیند. یک مهندس تازه‌کار می‌پرسد چرا باید به‌جای بخش‌های مهم‌تر، اول کوچک‌ترین بخش را آموزش دهیم؟ به او پاسخ دهید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

دو بخش بزرگ از قبل کار می‌کنند: انکودر تصاویر را بازنمایی می‌کند و مدل زبانی متن می‌نویسد. تنها چیزی که کم داریم، ترجمه‌ای بین فضاهای برداری این دو بخش است و این ترجمه ابعاد کوچکی دارد. آموزشِ تنها همین رابط (bridge)، کلاً چند صد گام روی یک GPU زمان می‌برد، به هیچ‌کدام از بخش‌های از‌پیش‌آموزش‌دیده آسیبی نمی‌زند و پیش از آنکه قفل مدل زبانی را باز کنیم، ورودی‌های قابل‌فهمی در اختیارش می‌گذارد. باز کردن قفل مدل زبانی به مرحله‌ی دوم موکول می‌شود؛ یعنی زمانی که رابط، توکن‌هایی تولید کند که شبیه زبان باشند.

پاسخ کامل

تصویرساز چیست؟

یک پرسپترون چندلایه (MLP) دو‌لایه‌ای: لایه‌ی خطی، GELU و لایه‌ی خطی. هدِ (head) پروژه‌ی پایانی ما، ابعاد 768 را به 1024 و سپس به 512 نگاشت می‌کند و حدود 1.3 میلیون پارامتر دارد؛ آن هم در کنار انکودری با 86 میلیون پارامتر. در دستورالعمل مرجع بازمتن، این هد ابعاد 1024 را به 4096 و سپس به 4096 تصویر می‌کند که حدود 22 میلیون پارامتر دارد و در کنار یک انکودر 303 میلیونی و یک مدل زبانی 7 میلیاردی قرار می‌گیرد.

چرا اصل ماجرا فریز نگه‌داشتن بخش‌های بزرگ است؟

  • پایداری: گرادیان‌های ناشی از چند هزار جفت‌داده‌ی پرنویز، ویژگی‌هایی را که انکودر از صدها میلیون تصویر یاد گرفته است رونویسی و نابود می‌کنند.
  • هزینه: مرحله‌ی هم‌ترازی در دستورالعمل مرجع، با 558 هزار جفت کپشن و در دسته‌های 128تایی، ظرف چند ساعت آموزش می‌بیند. نسخه‌ی پروژه‌ی پایانی ما، تابع زیان (loss) خود را ظرف 200 گام از حدود 1.07 به حدود 0.80 می‌رساند.
  • سیگنال تمیز: وقتی هر دو بخش بزرگ ثابت باشند، تابع زیان فقط در رابط جریان پیدا می‌کند؛ بنابراین به‌وضوح می‌بینید که آیا این دو فضا با هم هم‌تراز شده‌اند یا نه.
  • قابلیت جایگزینی: مدل زبانی را عوض کنید و فقط رابط را دوباره آموزش دهید؛ انکودر دست‌نخورده باقی می‌ماند.

تابع زیان چیست؟

دستورالعمل مرجع، از تابع زیان مدل‌سازی زبان روی کپشن استفاده می‌کند؛ مشروط به توکن‌های تصویرِ تصویرشده. پروژه‌ی پایانی ما، از تابع زیان هم‌ترازی کسینوسیِ جفت‌به‌جفت استفاده می‌کند؛ یعنی یک منهای کسینوس بین بردار تجمیع‌شده‌ی (pooled) تصویر و امبدینگ میانگین‌گیری‌شده‌ی کپشن، تا دینامیک آموزش کاملاً مشهود بماند؛ نسخه‌ی تقابلی مبتنی بر دسته (contrastive batch) در درس بعدی می‌آید.

بعد از این مرحله چه می‌شود؟

مرحله‌ی دوم قفل مدل زبانی را—به‌صورت کامل یا با تطبیق‌دهنده‌ها (adapters)—باز می‌کند، رابط را آموزش‌پذیر نگه می‌دارد و روی داده‌های دستوری آموزش می‌دهد. رابطی که از قبل هم‌تراز نشده باشد، در شروع این مرحله نویز خالص به مدل زبانی تحویل می‌دهد.

نوع دیگر رابط

یک رابط مبتنی بر پرس‌وجو (query-based bridge) با مجموعه‌ای ثابت از بردارهای یادگرفتنی، تصویر را به تعداد ثابتی توکن فشرده می‌کند. این رابط بزرگ‌تر است (188 میلیون پارامتر در نسخه‌ی اصلی)، اما باز هم با بک‌بون‌های (backbones) فریز‌شده آموزش می‌بیند؛ اصل قضیه فرقی نمی‌کند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: یک پارامتر فریز‌شده در کد چه معنایی دارد؟ انتظار می‌رود: requires_grad=False؛ بنابراین بهینه‌ساز هرگز آن را نمی‌بیند و هیچ حافظه‌ای به گرادیان یا وضعیت بهینه‌ساز آن اختصاص نمی‌یابد.
  • سطح 2: چرا در پروژه‌ی پایانی، توکن‌های تصویر را قبل از تابع زیان کسینوسی تجمیع می‌کنیم؟ انتظار می‌رود: سمت کپشن فقط یک بردار دارد، بنابراین سمت تصویر هم به یک بردار نیاز دارد؛ معمولاً توکن اول یا میانگین همه‌ی توکن‌ها انتخاب می‌شوند.
  • سطح 2: یک لایه‌ی خطی حتی کوچک‌تر هم می‌شد؛ چرا دو لایه؟ انتظار می‌رود: یک نگاشت خطی ساده می‌تواند بچرخد و مقیاس را تغییر دهد، اما نمی‌تواند خمیدگی ایجاد کند؛ تابع GELU بین دو لایه همان انحنای غیرخطی‌ای را ایجاد می‌کند که ویژگی‌های تقابلی تصویر را با امبدینگ‌های زبان هم‌تراز می‌سازد.
  • سطح 3: اگر مرحله‌ی هم‌ترازی را نادیده بگیریم و تنظیم با دستورالعمل (instruction tuning) را بلافاصله با تمام لایه‌های باز شروع کنیم، چه مشکلی پیش می‌آید؟ انتظار می‌رود: مدل زبانی ورودی‌های ناهم‌تراز دریافت می‌کند و گرادیان‌های ناشی از یک مجموعه‌داده‌ی کوچک، به توانایی متنی آن آسیب می‌زنند؛ این دو مرحله به این دلیل تفکیک شده‌اند که ابتدا ورودی‌های خوانا به مدل برسد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «انکودر را آموزش بده؛ این همان بخشی است که می‌بیند.» این بخش از قبل دیدن را بلد است، و یک مجموعه‌داده‌ی کوچک نمی‌تواند چیزی بیشتر از آنچه با بازنویسی ویژگی‌ها نابود می‌شود به آن بیاموزد؛ حلقه‌ی مفقوده فقط ترجمه است.
  • «تصویرساز کوچک‌تر از آن است که بتواند یک تصویر را حمل کند.» تصویرساز قرار نیست تصویر را حمل کند؛ بلکه توکن‌هایی را که قبلاً تصویر را کدگذاری کرده‌اند، به فضایی تصویر می‌کند که مدل زبانی می‌خواند.
  • «فریز کردن صرفاً یک ترفند حافظه است.» حافظه فقط یکی از مزایاست؛ دستاوردهای مهم‌تر شامل پایداری، سیگنال آموزشی تمیز و امکان تعویض مدل زبانی است.

کجای دوره آموزش داده می‌شود

پروژه‌ی پایانی تصویرسازی رابط را به‌تنهایی با تابع زیان کسینوسی آموزش می‌دهد، درس LLaVA دستورالعمل دومرحله‌ای و تعداد پارامترهای آن را مشخص می‌کند، و درس BLIP-2 توجیه اقتصادی فریز نگه‌داشتن بک‌بون را توضیح می‌دهد.