شما سرپرست یک تیم کوچک هستید که میخواهد یک مدل بینایی-زبان (Vision-Language Model یا VLM) متنباز را آموزش دهد. نتیجهی دور اول آموزش روی یک بنچمارک عمومی و یک بنچمارک خواندن اسناد، فاصلهی زیادی با مدلهای متنبازِ هماندازهی خود دارد و ضعیفتر ظاهر میشود. بودجهی شما فقط برای سه دور آموزش کامل دیگر کفاف میدهد. کدام سه تغییر را اعمال میکنید، با چه ترتیبی، و انتظار دارید هر تغییر چه تأثیری روی نتایج بگذارد؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
ترتیب اجراها را بر اساس میزان واریانسی مشخص کنید که هر محور توجیه میکند. اول، اسکژولر رزولوشن و تعداد توکنها: با یک اسکژولر صعودی رزولوشن از مقدار پایین به بالا بروید و برای بنچمارک اسناد، تقسیم تصویر را اضافه کنید؛ جایی که در ابطالسنجیها، رفتن از رزولوشن 448 به 980 پیکسل بین 3 تا 5 امتیاز اضافه کرده است. دوم، انکودر: انکودر مقابلهای (Contrastive encoder) رایج را با گزینهی قویتر جایگزین کنید؛ تغییری که 3 امتیاز یا بیشتر به بنچمارک عمومی اضافه کرد. اگر ارجاعدهی مکانی (Grounding) مهم است، ویژگیهای یک انکودر خودنظارتی (Self-supervised) را هم به آن الحاق کنید. سوم، دادهها: کپشنهای سنتتیک حاصل از تقطیر دانش (Distillation) را با کپشنهای متراکمِ دستنویس انسانی جایگزین کنید؛ این کپشنها در مقایسهی مرجع، در تکتک بنچمارکها مجموعهدادهی تقطیرشده را شکست دادند. اتصالدهنده (Connector) را دستنخورده رها کنید، چون با تعداد توکن ثابت، امتیازها را فقط در حد 1 امتیاز جابهجا میکند.
پاسخ کامل
شواهد پشت این اولویتبندی
| محور تغییر | یافتههای ابطالسنجی | تغییر مورد انتظار |
|---|---|---|
| توکنهای بصری و رزولوشن | حدود 60 درصد از واریانس؛ تغییر از 384 به 448 بین 1 تا 2 امتیاز میافزاید؛ تغییر از 448 به 980 همراه با تقسیم تصویر، 3 تا 5 امتیاز روی وظایف خواندن متن اضافه میکند | بنچمارک اسناد |
| انکودر | حدود 20 درصد؛ یک انکودر مقابلهای قویتر 3 امتیاز یا بیشتر اضافه میکند؛ ویژگیهای خودنظارتی در آزمونهای متمرکز بر بینایی، عملکرد را 5 تا 7 امتیاز ارتقا میدهند | بنچمارک عمومی، شمارش و ارجاعدهی مکانی |
| داده | کپشنهای متراکم انسانی در 11 بنچمارک از مجموع 11 بنچمارکِ مقایسهی مرجع، تقطیر دانش را شکست دادند | هر دو بنچمارک، بهویژه در جزئیات وابسته به ارجاعدهی مکانی |
| اتصالدهنده | حدود 5 درصد؛ در تعداد توکن ثابت، تغییرات کمتر از 1 امتیاز است | تأثیری ندارد که ارزش یک دور آموزش کامل را داشته باشد |
| مدل زبانی | ارتقا از 7B به 13B بین 2 تا 4 امتیاز میافزاید | هر دو، البته اگر بودجه اجازهی استفاده از مدل بزرگتر را بدهد |
دور اول: رزولوشن و توکنها
آموزش با رزولوشن پایینِ ثابت، در دقت متوسط وارد حالت یکنواخت (Plateau) میشود. آموزش را با رزولوشن 224 شروع کنید و با اسکژولر صعودی به 448 یا رزولوشن اصلی مدل برسانید؛ سپس برای وظایف خواندن متن، تقسیم تصویر را تا حدود 1280 پیکسل در ضلع بزرگتر اضافه کنید. تعداد توکنها بیشترین سهم را در توجیه واریانس دارد و اسناد هم تشنهی پیکسل هستند.
دور دوم: انکودر
انکودر را با نسخهی مقابلهای قویتر در رزولوشن اصلی جایگزین کنید. اگر بنچمارک شامل سؤالات مربوط به شمارش یا روابط فضایی است، همانطور که دستورالعملهای متمرکز بر بینایی پیشنهاد میکنند، ویژگیهای یک انکودر خودنظارتی را هم به آن الحاق کنید. تصویرساز (Projector) را از نو آموزش دهید؛ تطبیقدهندههای (Adapter) مدل زبانی نیازی به تغییر ندارند.
دور سوم: دادهها
تا جایی که دسترسی دارید، کپشنهای تقطیرشده را با کپشنهای متراکم انسانی جایگزین کنید و برای سؤالات متنیِ اسناد، دادههای دستورالعملی ویژهی همان وظیفه را به آن بیفزایید. نتیجهی مقایسهی مرجع گویای همهچیز است: مدلی که روی 712K تصویر با کپشننویسی متراکم و بدون دادههای تقطیرشده آموزش دیده بود، رقیبِ بهمراتب بزرگتر خود را در تکتک بنچمارکهای بررسیشده شکست داد. تراکم کپشن بر کمیت کپشن غلبه میکند، و کمیت کپشن هم سهولتِ تقطیر دانش را کنار میزند.
چه چیزی را نباید اجرا کنید
ابطالسنجیِ اتصالدهنده. چندین مطالعهی کنترلشده نشان دادهاند که با ثابت نگهداشتن تعداد توکنها، تغییر اتصالدهنده عملکرد را در حد 1 امتیاز جابهجا میکند. اهرم اصلی تعداد توکنهاست، و شما این اهرم را در همان دور اول چرخاندهاید.
چطور اجراها را مقایسهپذیر نگه داریم؟
در هر دور فقط یک محور را تغییر دهید، از ارزیابی یکسان و دانهی تصادفی (Seed) یکسان (در صورتی که فریمورک اجازه میدهد) استفاده کنید، و ترکیب دادهها بههمراه اسکژولر رزولوشن را برای هر اجرا با دقت ثبت کنید. نتیجهی دورِ آموزشی که دو متغیر در آن همزمان تغییر کرده باشند را نمیتوان به هیچکدام نسبت داد.
سؤالهای تکمیلی مصاحبهگر
- سطح 3: چرا بنچمارک اسناد به تغییر رزولوشن واکنش شدیدی نشان میدهد ولی بنچمارک عمومی کمتر؟ پاسخ مورد انتظار: خواندن متن به تعداد پیکسلِ کافی به ازای هر کاراکتر نیاز دارد؛ در حالی که سؤالات عمومی به بار معنایی تکیه دارند، چیزی که انکودر در همان رزولوشن پایین هم آن را حمل میکند.
- سطح 3: یک اسکژولر صعودی رزولوشن چه مزیتی نسبت به آموزش با رزولوشن بالای ثابت دارد؟ پاسخ مورد انتظار: همترازی سریعتر در ابتدای کار و دستیابی به نقطهی پایانی بالاتر؛ ابطالسنجیها نشان میدهند که برنامههای زمانی ثابت در دقتهای متوسط دچار حالت یکنواخت میشوند.
- سطح 4: در زمان تعیینشده به کپشنهای انسانی دسترسی ندارید؛ بهترین حرکت بعدی برای دادهها چیست؟ پاسخ مورد انتظار: کپشنهای تقطیرشده را از نظر ارجاعدهی مکانی با یک بررسیکنندهی مقابلهای روی تصویر فیلتر کنید و نمونههای نامستند را دور بریزید. تراکم داده مهم است، اما تراکم نامستند توهم مدل را تقویت میکند.
- سطح 4: اگر فرصت اجرای دور چهارم پیش بیاید، نوبت اتصالدهنده است یا مدل زبانی؟ پاسخ مورد انتظار: مدل زبانی، البته اگر حافظه اجازهی بارگذاری مدل بزرگتر را بدهد؛ مدل زبانی قدرت استدلال را چندین امتیاز بالا میکشد، در حالی که اتصالدهنده تأثیرش کسری از یک امتیاز است.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «از اتصالدهنده شروع کنید؛ بازآموزی آن از بقیه کمهزینهتر است.» کمهزینه اما بیفایده: در تمام مطالعات کنترلشده با تعداد توکن ثابت، این کار امتیازها را فقط در حد 1 امتیاز تغییر میدهد.
- «کپشنهای بیشتری با یک مدل انحصاری و قویتر تولید کنید.» کپشنهای تقطیرشده توهمها را به ارث میبرند؛ مقایسهی مرجع نشان میدهد که کپشنهای متراکم انسانی در تمام زمینهها تقطیر دانش را شکست میدهند.
- «مدل را با همان تنظیمات برای مدت طولانیتری آموزش دهید.» ابطالسنجیها نشان میدهند شکاف عملکرد به رزولوشن، انکودر و داده مربوط است، نه تعداد گامها؛ گامهای بیشتر با رزولوشن پایینِ ثابت، وارد حالت یکنواخت میشود.
کجای دوره آموزش داده میشود
درس دستورالعملهای مدلهای متنباز فضای طراحی پنجمحوره و جدولهای آزمون مقایسهای را توضیح میدهد، و درس LLaVA تکنیک کاشیکاری را بررسی میکند که در مرحلهی تغییر رزولوشن اضافه میشود.