سؤال مصاحبه

زیرنویس‌های متراکم انسانی یا دو میلیون زیرنویس حاصل از تقطیر دانش

Dense human captions or two million distilled ones

  • سطح ۳: ارشد
  • بده‌بستان
  • ۱۲ دقیقه

می‌توانید بودجه‌ی داده‌ی خود را صرف یکی از این دو کار کنید: از یک مدل تجاری و قدرتمند بخواهید برای دو میلیون تصویر زیرنویس (Caption) بنویسد، یا به افراد دستمزد بدهید تا با صحبت کردنِ یک دقیقه یا بیشتر درباره‌ی هر تصویر، 700 هزار تصویر را با جزئیات توصیف کنند. برای یک مدل بینایی-زبان (Vision-Language Model) جدید کدام را انتخاب می‌کنید و شواهد چیست؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

به افراد دستمزد بدهید. نتیجه‌ی مرجع مدلی است که روی 712 هزار تصویر با زیرنویس‌های متراکم انسانی و بدون هیچ زیرنویس تقطیرشده‌ای آموزش دید و توانست یک مدل بسیار بزرگ‌تر را در 11 بنچمارک از 11 بنچمارک شکست دهد. زیرنویس‌های متراکم انسانی 5 تا 10 برابر یک زیرنویس کوتاه وب اطلاعات دارند و به محتوای تصویر وفادار می‌مانند (دارای Grounding هستند)؛ در حالی که زیرنویس‌های تقطیرشده توهم‌های همان مدلی را به ارث می‌برند که آن‌ها را نوشته است. همین حالا هم حدود 12 درصد از جفت‌های خزش‌شده از وب چیزهایی را توصیف می‌کنند که در تصویر وجود ندارد. تراکم زیرنویس بر تعداد زیرنویس غلبه می‌کند، و تراکم ارزش بسیار بیشتری از راحتی تقطیر دانش دارد.

پاسخ کامل

شواهد

  • دستورالعمل زیرنویس متراکم: ارزیاب‌ها هر تصویر را به مدت یک تا سه دقیقه به‌صورت گفتاری توصیف کردند و سپس این گفتار به متن پیاده شد که حاصل آن 712 هزار تصویر با زیرنویس متراکم بود. مدل 72B آموزش‌دیده روی این داده‌ها، رقیب 90B خود را در تک‌تک 11 بنچمارک شکست داد. این برتری ربطی به معماری نداشت.
  • دو مجموعه‌داده‌ی دیگر نیز همین مسیر را با ترکیبی از زیرنویس‌های انسانی و مصنوعی در پیش گرفتند و روند کلی در میان آن‌ها نشان می‌دهد که تراکم برنده است.
  • نخستین مجموعه‌داده‌ی دستورالعمل بصری را یک مدل صرفاً متنی، بدون دیدن تصویر و تنها بر اساس زیرنویس‌ها و کادرهای احاطه‌کننده (Bounding Boxes)، در قالب 158 هزار نوبت گفت‌وگو (Turn) تولید کرد؛ این روش برای باز کردن قفل قابلیت گفت‌وگو جواب داد، اما همراه با نویز بود.

چرا تراکم بر حجم برتری دارد

یک زیرنویس متراکم با 80 تا 300 توکن، نام اشیا، تعداد، روابط، متن‌های درون تصویر و بافت زمینه را بیان می‌کند؛ اما یک متن جایگزین (Alt text) وب تنها به یک چیز اشاره دارد. در هم‌ترازی (Alignment) و تنظیم با دستورالعمل (Instruction Tuning)، یادگیری مدل از چیزی است که زیرنویس درباره‌ی تصویر می‌گوید؛ بنابراین اطلاعات به ازای هر تصویر معیار اصلی است، نه تعداد تصویر.

چرا تقطیر دانش پرریسک است

مدلی که متن را می‌نویسد، چیزی فراتر از دید خود نمی‌بیند. این مدل محتوایی باورپذیر اما توهم‌آمیز سرهم می‌کند و مدل شاگرد هم یاد می‌گیرد با همان اعتمادبه‌نفس دچار توهم شود. بنچمارکی که از داده‌های مشابه ساخته شده باشد آن را جریمه نمی‌کند؛ اما کاربران در محیط عملیاتی (Production) گریبانش را می‌گیرند.

تقطیر دانش چه زمانی همچنان جا دارد

  • بوت‌استرپ (Bootstrapping) سریع یک حوزه‌ی کاری جدید، پیش از رسیدن داده‌های انسانی.
  • تولید پرسش و پاسخ از روی یک زیرنویس نوشته‌شده توسط انسان؛ با این کار ارجاع‌دهی مکانی (Grounding) به زیرنویس حفظ می‌شود.
  • حالت فیلترشده: به هر زیرنویس ساختگی در مقایسه با تصویر با یک بررسی‌کننده‌ی مقابله‌ای (Contrastive checker) امتیاز بدهید و بخش انتهایی و ضعیف فاقد ارجاع‌دهی مکانی را دور بریزید.

با بودجه چه کنیم

زیرنویس‌های متراکم انسانی را برای مراحل هم‌ترازی و دستورالعمل به کار بگیرید، داده‌های دستورالعمل ویژه‌ی هر وظیفه (Task) را روی آن بگذارید، و داده‌های مصنوعی را فقط جایی مصرف کنید که یک زیرنویس انسانی پایه‌اش باشد. ارجاع‌دهی مکانی را علاوه بر دقت بنچمارک، روی یک مجموعه‌ی نگه‌داشته‌شده (Held-out) با برچسب انسانی بسنجید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا جمع‌آوری داده بر پایه‌ی گفتار مهم بود؟ انتظار می‌رود: مردم در یک دقیقه بسیار بیشتر از آنچه تایپ می‌کنند حرف می‌زنند؛ بنابراین زیرنویس‌ها طولانی و دقیق می‌شوند و هزینه‌ی آن هم قابل‌مقیاس‌بندی است.
  • سطح 3: چگونه بررسی می‌کنید که یک زیرنویس مصنوعی به تصویر ارجاع دارد؟ انتظار می‌رود: تصویر و زیرنویس را با یک بررسی‌کننده‌ی مقابله‌ای بازنمایی (Embed) کنید و شباهت‌های پایین را پرچم‌گذاری نمایید؛ سپس نمونه‌ای را بخوانید و بخش انتهایی بی‌کیفیت را دور بریزید یا بازنویسی کنید.
  • سطح 4: چطور به یک فرد بدبین ثابت می‌کنید دستاورد حاصل از داده بوده و نه اندازه‌ی مدل؟ انتظار می‌رود: در مقایسه‌ی مرجع، مدل به رقیبی بزرگ‌تر از خود غلبه کرد؛ این نتیجه را در یک اندازه‌ی یکسان با دو ترکیب داده‌ای مختلف و همان رمزگذار (Encoder)، اتصال‌دهنده (Connector) و برنامه‌ی زمان‌بندی آموزش بازتولید کنید.
  • سطح 4: در پایپ‌لاین سه‌مرحله‌ای، زیرنویس‌های متراکم بیشترین بازدهی را در کدام بخش دارند؟ انتظار می‌رود: در هم‌ترازی و نخستین مرحله‌ی دستورالعمل، جایی که تصویرساز (Projector) و مدل زبانی یاد می‌گیرند یک تصویر شامل چه چیزهایی است؛ داده‌های ویژه‌ی وظیفه در مرحله‌ی آخر بیشترین بازدهی را دارند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «دو میلیون زیرنویس بر هفتصد هزار تا غلبه می‌کند؛ داده‌ی بیشتر برنده است.» نتیجه‌ی مرجع با زیرنویس‌های کمتر، متراکم‌تر و دارای ارجاع‌دهی مکانی یک مدل بزرگ‌تر را شکست داد؛ حجم بالای زیرنویس‌های کم‌محتوا یا توهم‌آمیز هرگز جایگزین کیفیت نمی‌شود.
  • «زیرنویس‌های مدل قدرتمند بهتر از نوشته‌های ارزیاب‌ها است.» این متن‌ها از زیرنویس‌های وب طولانی‌ترند اما ارجاع‌دهی مکانی ندارند؛ مدل آنچه را انتظار دارد توصیف می‌کند و مدل شاگرد هم همین عادت را می‌آموزد.
  • «کیفیت زیرنویس تنها برای وظایف تولید زیرنویس اهمیت دارد.» مدل مرجع در تک‌تک بنچمارک‌ها، از جمله استدلال و خواندن متن، پیشرفت کرد؛ زیرا در مرحله‌ی هم‌ترازی چیزهای بیشتری درباره‌ی هر تصویر یاد گرفته بود.

کجای دوره آموزش داده می‌شود

درس الگوهای متن‌باز نتیجه‌ی زیرنویس‌های متراکم و محور داده را ارائه می‌دهد، درس مدل‌های بینایی-زبان جفت‌های فاقد ارجاع‌دهی مکانی را اندازه‌گیری می‌کند و درس LLaVA داده‌های دستورالعمل تولیدشده‌ای را نشان می‌دهد که این حوزه را آغاز کردند.