فرض کنید برای محصولی جدید، میخواهید بین یک انکودر تصویر فریزشده و یک مدل زبانی که آن هم فریز میماند، رابط (bridge) انتخاب کنید. یکی از معماران سیستم ترنسفورمری پرسوجومحور (query-based transformer) میخواهد که هر تصویر را به مجموعهای ثابت از توکنها فشرده کند. معمار دیگر یک MLP ساده پیشنهاد میدهد که تمام پچها (patch) را مستقیماً عبور دهد. چطور تصمیم میگیرید؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
مبنای تصمیمگیری را سهمیهی توکن (token budget) بگذارید، نه کیفیت در حالت انتزاعی. در تعداد ثابتی از توکنهای بصری، مطالعات ابطالسنجی (ablation) نشان میدهند که معماری اتصالدهنده (connector) تفاوت چندانی ایجاد نمیکند؛ بین یک MLP روی پچهای میانگینگیریشده (mean-pooled)، یک رابط پرسوجومحور و یک بازنمونهگیر (resampler) اختلاف در حد 1 امتیاز است. MLP مبتنی بر پچهای کامل، توکنهای بیشتری مصرف میکند و عملاً در سهمیهی متفاوتی قرار میگیرد. رابط پرسوجومحور فارغ از وضوح تصویر، سقف خروجی را روی 32 توکن میبندد، 188M پارامتر دارد و به پیشآموزش دومرحلهای اختصاصی نیاز دارد؛ در مقابل، MLP همهی پچها را صادر میکند (576 توکن برای تصویری با وضوح 336 پیکسل)، حدود 22M پارامتر دارد و فقط با یک تابع زیان (loss) مدلسازی زبان آموزش میبیند. وقتی بافت (context) محدود است — مثل ویدیوهای طولانی یا تصاویر پرتعداد — رابط فشردهساز را انتخاب کنید؛ وقتی کیفیت بهازای هر توکن و سادگی اولویت دارد و طول بافت بهاندازهی کافی بزرگ است، سراغ MLP بروید.
پاسخ کامل
دو رابط
| رابط پرسوجومحور | MLP | |
|---|---|---|
| توکنهای بصری بهازای هر تصویر | 32، ثابت | 576 در وضوح 336 پیکسل، حدود 2880 با کاشیکاری (tiling) |
| پارامترهای آموزشپذیر، با مدل زبانی فریزشده | 188M | حدود 22M |
| پیشآموزش | یک مرحلهی بازنمایی با توابع زیان مقابلهای، تطبیقی و زایشی، سپس یک مرحلهی زایشی | فقط تابع زیان مدلسازی زبان در کل مسیر |
| تعویض مدل زبانی | آموزش مجدد رابط | آموزش مجدد یک هد (head) کوچک |
| تصاویر متعدد و ویدیو | بدقلق و نهچندان سرراست، ولی کمهزینه از نظر توکن | الحاق طبیعی، اما بسیار پرهزینه از نظر توکن |
نتایج ابطالسنجیها
چندین مطالعهی کنترلشده به یک نتیجهی مشترک رسیدهاند: با فرض ثابت بودن تعداد توکنهای بصری، اتصالدهنده حدود 5 درصد از واریانس نمرات بنچمارک را توجیه میکند، تعداد توکنهای هر تصویر حدود 60 درصد و انکودر حدود 20 درصد را. عملکرد یک MLP روی پچهای تجمیعشده، در سهمیهی یکسان، با یک رابط پرسوجومحور 32پرسی در حد 1 امتیاز اختلاف دارد. بنابراین مسئله این است که چقدر سهمیهی توکن از پس هزینهتان برمیآید و از چه انکودری استفاده میکنید.
علت دوشاخه شدن مسیرها
رابط فشردهساز در سناریوهایی برنده میشود که سهمیهی توکن دستوپاگیر است: ویدیوهای طولانی، تصاویر زیاد در یک پرامپت (prompt) و بافتهای کوچک. در مقابل، از وقتی طول بافتها به 32k و بالاتر رسید، MLP در پردازش تکتصویر برنده شد؛ چون تمام پچها در دیدرس مدل زبانی میمانند و این روش نیازی به تنظیم توابع زیانِ مرحلهی اول ندارد. سهمیههای توکن برگرفته از ابطالسنجیها: 64 توکن برای خواندن متن کم است، 576 تا 1024 توکن نقطهی ایدئال اکثر وظایف (task) است و سهمیههای 2048 به بالا فقط برای اسناد و نمودارها ارزشش را دارد.
هزینههای پنهان رابط پرسوجومحور
پرسوجوهای این رابط بازنمایی میانی جدیدی یاد میگیرند که مدل زبانی باید بعداً آن را رمزگشایی (decode) کند؛ بنابراین بخشی از اطلاعات در این تنگنا از دست میرود. اگر مدل زبانی یا انکودر را تغییر دهید، باید آن را از نو آموزش دهید. نسخههای آگاه از دستورالعمل (instruction-aware) دستورالعمل را به پرسوجوها تزریق میکنند تا آنها بتوانند برای هر سؤال تخصصی عمل کنند؛ این روش بخشی از اطلاعات ازدسترفته را جبران میکند.
قاعدهی تصمیمگیری
- تعداد توکنهای هر تصویر را در وضوح مد نظرتان حساب کنید و در تعداد تصاویر هر پرامپت ضرب کنید.
- اگر همراه با فضای کافی برای متن در بافت جا شد، از MLP استفاده کنید و تمرکز و تلاشتان را روی انکودر و دادهها بگذارید.
- اگر جا نشد، از رابط فشردهساز استفاده کنید و هزینهی بازآموزی آن هنگام تغییر قطعات دیگر را بپذیرید.
سؤالهای تکمیلی مصاحبهگر
- سطح 2: چرا رابط پرسوجومحور به مرحلهی پیشآموزش اختصاصی نیاز دارد؟ پاسخ مورد انتظار: پرسوجوهای آن کار را بهصورت تصادفی آغاز میکنند و باید پیش از ورود به مدل زبانی، یاد بگیرند محتوای مرتبط با متن را از پچها بیرون بکشند؛ اما MLP از پچهایی شروع میکند که از قبل محتوای تصویر را در بر دارند.
- سطح 2: سه تابع زیان مرحلهی اول چه کار میکنند؟ پاسخ مورد انتظار: همترازی مقابلهای پرسوجوهای تجمیعشده با متن، یک طبقهبند تطبیقی با نمونههای منفی دشوار (hard negative) و تولید متن مبتنی بر تصویر که پرسوجوها را وادار میکند دقیقاً آنچه را متن نیاز دارد کدگذاری کنند.
- سطح 3: تیمی MLP را انتخاب کرده و حالا میخواهد ویدیوهای دهدقیقهای ارائه دهد. به چه مانعی برمیخورد؟ پاسخ مورد انتظار: ظرفیت بافت؛ حاصلضرب توکنهای هر فریم در تعداد فریمها از هر پنجرهای فراتر میرود، بنابراین یا باید نمونهبرداری فریم (frame sampling) شدیدی اعمال کنند یا در نهایت سراغ همان رابط فشردهساز بروند.
- سطح 3: اگر اتصالدهنده اهمیت چندانی ندارد، کیفیت خروجی از کجا میآید؟ پاسخ مورد انتظار: از انکودر، تعداد توکنها، ترکیب دادهها و زمانبندی تغییر وضوح؛ در تجزیهوتحلیل درس دستورالعملها، اتصالدهنده در پایینترین رتبه قرار دارد.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «رابط پرسوجومحور پیشرفتهتر است، پس پاسخهای بهتری میدهد.» در تعداد توکن یکسان، اختلاف این دو در حد 1 امتیاز است؛ مزیت (advantage) اصلی آن فشردهسازی است، نه کیفیت.
- «MLP همیشه بهتر است چون همهی پچها را حفظ میکند.» حفظ همهی پچها توکن مصرف میکند؛ در مواجهه با چندین تصویر یا ویدیو، پیش از آنکه کیفیت مطرح شود، بافت پر خواهد شد.
- «اول رابط را انتخاب کنید و انکودر را بعداً تعیین کنید.» انکودر و تعداد توکنها بیشترین سهم را در توجیه واریانس دارند؛ رابط آخرین متغیری است که باید تنظیم کنید.
کجای دوره آموزش داده میشود
درس BLIP-2 رابط پرسوجومحور و آموزش دومرحلهای آن را توضیح میدهد، درس LLaVA این دو رابط را در قالب جدول مقایسه میکند، و درس دستورالعملها نتایج ابطالسنجی را ارائه میدهد.