یک مدل باید پرامپتی (prompt) شامل تعداد دلخواهی تصویر با اندازههای مختلف (کوچک و بزرگ) را که لابهلای متن قرار گرفتهاند دریافت کند، و سپس با تکیه بر چند نمونهی درونمتنی (in-context)، برای آخرین تصویر کپشن بنویسد. ماژولی را توضیح دهید که مدیریت تعداد و اندازهی تصاویر را ممکن میکند، و بگویید یک توکن متنی چگونه میفهمد که باید به کدام تصویر نگاه کند.
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
یک نمونهگیر (resampler) با استفاده از مجموعهی ثابتی از بردارهای نهفتهی (latent vectors) آموزشپذیر، توکنهای وصلهای (patch tokens) هر تصویر را به تعداد ثابتی توکن بصری تبدیل میکند. در معماری مرجع، 64 بردار نهفته از طریق شش بلوک کراساتنشن (cross-attention) و خوداتنشن (self-attention)، فارغ از اینکه انکودر چند پچ (patch) تولید کرده باشد (مثلاً 196 پچ برای یک تصویر کوچک یا 900 پچ برای تصویری بزرگ)، روی آنها اتنشن اعمال میکنند و خروجی هر تصویر همیشه 64 توکن با عرض یکسان خواهد بود. سپس توکنهای متنی از طریق لایههای کراساتنشن گیتدار (gated cross-attention) که بین بلوکهای فریزشدهی مدل زبانی قرار گرفتهاند، این توکنها را میخوانند. در این بین، یک ماسک باعث میشود هر توکن متنی فقط به بردارهای نهفتهی نزدیکترین تصویرِ پیش از خود در دنباله نگاه کند.
پاسخ کامل
نمونهگیر (Resampler)
هر بلوک دو کار انجام میدهد: ابتدا K بردار نهفته روی N توکن وصلهای کراساتنشن میزنند؛ کوئریها (queries) از بردارهای نهفته و کلیدها (keys) و مقادیر (values) از وصلهها میآیند. سپس بردارهای نهفته بین خودشان خوداتنشن و یک لایهی پیشخور (feed-forward) اجرا میکنند. بعد از شش بلوک، فارغ از اینکه مقدار N چقدر بوده باشد، خروجی کار K توکن با عرض 1024 است. برای ویدیو، نمونهگیر روی تکتک فریمها همراه با کدگذاری موقعیت زمانی (temporal position encoding) اجرا میشود؛ در نتیجه تعداد فریمها ضرب در 64، تعداد کل توکنهای کلیپ را مشخص میکند.
چرا تعداد ثابت اهمیت دارد؟
پرامپتهای آمیخته با تصویر و متن ممکن است صفر، یک یا چند تصویر داشته باشند. با ثابت بودن تعداد توکنها به ازای هر تصویر، آنچه هر توکن متنی در کراساتنشن میبیند در تمام پرامپتها اَبPage/ابعاد (shape) کاملاً یکسانی دارد. تعداد کل توکنها متناسب با تعداد تصاویر رشد میکند، اما هر توکن متنی فقط بردارهای نهفتهی یک تصویر را میخواند.
رابط گیتدار
بین هر چهار بلوک از مدل زبانی فریزشده، یک لایهی کراساتنشن جدید با گیت پسماند (residual gate) قرار میگیرد: خروجی برابر است با خروجی بلوک، بهعلاوهی تانژانت هذلولوی (tanh) یک اسکالر آموزشپذیر ضرب در خروجی کراساتنشن. این اسکالر کارش را از صفر شروع میکند؛ بنابراین در زمان مقداردهی اولیه، لایههای جدید عملاً هیچ کاری انجام نمیدهند و مدل دقیقاً همان مدل متنی ازپیشآموزشدیده باقی میماند.
ماسک
در دنبالهای مثل «تصویر A، کپشن A، تصویر B، کپشن B، تصویر C، پرسش»، یک توکن متنی فقط به توکنهای نمونهگیرِ مربوط به نزدیکترین تصویرِ پیش از خود نگاه میکند؛ بقیهی تصاویر برای آن ماسک میشوند. اتنشن زدن به تمام تصاویر قبلی نیز گزینهی معتبری است، اما در معماری مرجع، نزدیکترین تصویر انتخاب شده است.
یادگیری چندنمونهای درونمتنی (In-context few-shot)
سه جفت تصویر و کپشن که به یک تصویر جدید ختم میشوند، پرامپتی میسازند که مدل زبانی فریزشده از قبل بلد است چطور ادامهاش را تکمیل کند. لایههای گیتدار محتوای تصویر را به آن تزریق میکنند و توانایی یادگیری درونمتنی مدل، بدون نیاز به حتی یک گام گرادیان (gradient) فعال میشود. هدف از فریز نگهداشتن مدل زبانی و صفر بودن مقدار گیت، دقیقاً همین است.
مقایسه با رابط تکورودی
رابط (bridge) مبتنی بر کوئری در درس قبلی هم از کوئریهای آموزشپذیر استفاده میکرد، اما فقط یکبار در لایهی ورودی و با 32 کوئری. ترکیب نمونهگیر و کراساتنشن گیتدار، بردارهای نهفته را هر چند لایه یکبار بازخوانی میکند؛ این کار هزینه و محاسبات بیشتری میبرد، اما در عوض قابلیت ترکیب متن و تصویر (interleaving) و رفتارهای چندنمونهای را فراهم میسازد.
سؤالهای تکمیلی مصاحبهگر
- سطح 2: چرا سمتِ نهفته بردارهای کوئری را تأمین میکند و سمتِ وصلهها مابقی را، نه برعکس؟ پاسخ مورد انتظار: خروجی به ازای هر کوئری یک سطر دارد؛ بنابراین کوئری گرفتن از بردارهای نهفته تعداد سطرهای ثابتی میدهد. حالت برعکس، دوباره به ازای هر وصله یک سطر در خروجی تولید میکرد.
- سطح 2: کدگذاری زمانی در ویدیو چه نقشی دارد؟ پاسخ مورد انتظار: هر فریم همان 64 بردار نهفته را تولید میکند؛ بدون سیگنال زمانی، مدل نمیتواند فریم اول را از فریم آخر تشخیص دهد. این کدگذاری ایندکس فریم را مشخص میکند.
- سطح 3: چرا ماسک کردن را به نزدیکترین تصویر محدود میکنیم و نه تمام تصاویر قبلی؟ پاسخ مورد انتظار: این کار ابعادی را که هر توکن متنی میبیند ثابت نگه میدارد و با ترتیب خوانش (reading order) آمیخته همخوانی دارد، چرا که معمولاً کپشن تصویری را توصیف میکند که درست قبل از آن آمده است؛ دیدن تمام تصاویر گزینهی دیگری است که بدهبستانهای خاص خودش را دارد.
- سطح 3: پس از فاینتیون چنین مدلی، کیفیت پردازش متنِ خالص افت کرده است. مشکل را کجا جستوجو میکنید؟ پاسخ مورد انتظار: گیت؛ اگر گیت خیلی سریع و بیش از اندازه باز شده باشد، نویز بصری روی جریان پسماند (residual stream) متن بازنویسی شده است. پس باید مقادیر گیت را لایهبهلایه با مدل پایه مقایسه کنید.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «پدینگ (padding) همهی تصاویر تا رسیدن به تعداد پچهای یکسان.» پدینگ باعث هدررفت محاسبات روی تصاویر بزرگ میشود و جزئیات تصاویر کوچک را از بین میبرد؛ نمونهگیر بدون این مشکلات، تعداد ثابتی توکن تحویل میدهد.
- «اجازه دهیم توکنهای متنی مستقیماً به تمام وصلههای تصویر اتنشن بزنند.» در این حالت تعداد توکنها برای هر تصویر و هر پرامپت متغیر خواهد بود و در پرامپتهایی با تصاویر متعدد، اتنشن بیش از حد شلوغ میشود؛ بردارهای نهفته این تعداد را ثابت نگه میدارند.
- «گیت را از همان ابتدا باز مقداردهی کنیم تا مدل سریعتر یاد بگیرد.» باز بودن گیت در گام صفر، رفتار متنی مدل فریزشده را کاملاً خراب میکند؛ شروع از صفر دقیقاً همان چیزی است که این رفتار را حفظ میکند.
کجای دوره آموزش داده میشود
در درس Flamingo سازوکار نمونهگیر، لایههای گیتدار و ماسک پرامپتهای آمیخته بررسی شده است، و در درس BLIP-2 رابط کوئریمحوری که با آن مقایسه کردیم ارائه میشود.