سؤال مصاحبه

استفاده از VLM عمومی برای تشخیص طبقه‌ی قرارگیری کالا

A general VLM for which shelf the item is on

  • سطح ۲: میانی
  • بده‌بستان
  • ۱۰ دقیقه

تیم انبار می‌خواهد یک مدل بینایی-زبان (Vision-Language Model یا VLM) عمومی را به کار بگیرد تا از روی فریم‌های دوربین به دو سؤال پاسخ دهد: «این کالا در کدام طبقه قرار دارد؟» و «آیا جعبه روی پالت است یا زیر آن؟». قصد دارند به محض اینکه دمو روی 10 تصویر جواب داد، سیستم را به محیط عملیاتی بفرستند. به آن‌ها چه می‌گویید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

روابط مکانی نقطه‌ضعف مدل‌های بینایی-زبان عمومی امروزی است؛ در بنچمارک‌های سنجش روابط «بالا و پایین»، «چپ و راست»، شمارش و فاصله، دقت آن‌ها حدود 50 تا 60 درصد است که پایین‌تر از سطح انسانی محسوب می‌شود. دمو روی 10 تصویر هیچ‌چیز را درباره‌ی آن توزیع آماری اثبات نمی‌کند. ابتدا یک مجموعه‌ی ارزیابی برچسب‌گذاری‌شده شامل چند صد فریم با همان سؤالات دقیق بسازید، مدل را بسنجید و آن را با یک مدل تخصصی تشخیص شیء (Detection) یا برآورد عمق (Depth) که هندسه‌ی باکس‌های آن پس‌پردازش می‌شود مقایسه کنید. اگر قرار است همان مدل عمومی بماند، آن را روی این وظیفه فاین‌تیون کنید و یک مسیر بازبینی انسانی هم برای پاسخ‌های با اطمینان پایین در نظر بگیرید.

پاسخ کامل

چرا مدل عمومی به مشکل می‌خورد؟

مدل، توکن‌های وصله‌ای (Patch tokens) تصویرشده را می‌بیند و در قالب زبان استدلال می‌کند. این مدل محتوای تصویر را از جفت‌های «تصویر-کپشن» یاد گرفته که در آن‌ها به‌ندرت به موقعیت دقیق اشیاء اشاره می‌شود. رقم ارائه‌شده در درس برای بنچمارک‌های استدلال مکانی 50 تا 60 درصد است؛ گزینه‌های پیشنهادیِ آن برای وظایف صرفاً مکانی، مدل‌های تخمین نقاط کلیدی (Keypoint) یا حالت بدنی (Pose)، مدل‌های عمق یا مدل‌های تشخیص شیء به همراه پس‌پردازش هندسه‌ی باکس‌ها هستند.

یک ارزیابی واقعی چطور ساخته می‌شود؟

  • چند صد فریم از دوربین‌های انبار (نه تصاویر آماده و استوک)، با دو نوع سؤالی که دقیقاً به همان شکلِ مورد استفاده‌ی اپراتورها نوشته شده باشند.
  • برچسب‌گذاری توسط دو نفر، به همراه اندازه‌گیری میزان توافق میان آن‌ها.
  • تفکیک داده‌ها بر اساس شرایط نوری و زاویه‌ی دوربین؛ چون تصاویر دمو این موارد را پوشش نمی‌دهند.
  • یک ماتریس درهم‌ریختگی (Confusion Matrix) به ازای هر نوع سؤال، نه فقط یک عدد دقت کلی.

گزینه‌های جایگزین

رویکرد نقطه‌ی قوت هزینه
مدل تشخیص شیء به همراه هندسه‌ی باکس دقت بالا در تعیین بالا، زیر، چپ و راست در صفحه‌ی تصویر بر اساس مختصات نیازمند برچسب‌گذاری برای کلاس‌های اشیاء؛ بدون رابط زبانی
مدل عمق به همراه مدل تشخیص شیء سنجش فاصله و نحوه‌ی چیدمان روی هم نیازمند کالیبراسیون برای هر دوربین
مدل VLM عمومی، Zero-shot پاسخ به هر سؤالی به زبان ساده و طبیعی ضعیف در روابط مکانی؛ خطر توهم
مدل VLM عمومی، فاین‌تیون‌شده رابط زبان طبیعی همراه با یادگیری دامنه‌ی تخصصی 5,000 تا 50,000 نمونه‌ی برچسب‌دار و ساعت‌ها زمان GPU

اگر مدل VLM انتخاب نهایی باشد

مدل را با استفاده از تطبیق‌دهنده‌های با رتبه‌ی پایین (Low-rank adapters) روی لایه‌های اتنشن و تصویرساز (Projector) فاین‌تیون کنید؛ بر اساس این درس، این فرایند به رتبه‌ی 16 تا 64 نیاز دارد و اجرای آن روی یک GPU دیتاسنتری بین 2 تا 10 ساعت زمان می‌برد. سپس پدیده‌ی توهم را در محیط عملیاتی پایش کنید: نرخ خطای چندوجهی پاسخ‌هایی را علامت‌گذاری می‌کند که در آن‌ها اطمینان متن بالاست اما شباهت تصویر و متن پایین است، و آن‌ها را برای بازبینی می‌فرستد.

چه پاسخی به آن‌ها بدهیم؟

سیستمی را به محیط عملیاتی بفرستید که عملکردش سنجیده شده باشد، نه یک دموی ساده. ده تصویر صرفاً یک آزمون دود (Smoke test) ابتدایی است. این ارزیابی است که مشخص می‌کند باید سراغ مسیر مدل تشخیص شیء رفت یا مدل فاین‌تیون‌شده؛ در ضمن سیستم پایش توهم در هر دو حالت باید فعال بماند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا مدلی که تصاویر را خیلی خوب توصیف می‌کند، در تشخیص این‌که کدام شیء رو قرار دارد شکست می‌خورد؟ انتظار می‌رود: کپشن‌ها محتوا را شرح می‌دهند نه هندسه را؛ در داده‌های آموزشی به‌ندرت روابط مکانی دقیق وجود دارد و با استدلال مدل زبانی روی توکن‌های تصویرشده، جزئیات موقعیت مکانی دقیق محو می‌شوند.
  • سطح 2: با رفتن به سراغ مسیر مدل تشخیص شیء چه چیزی را از دست می‌دهیم؟ انتظار می‌رود: رابط زبان طبیعی و دامنه‌ی واژگان باز (Open vocabulary) را؛ این روش فقط به روابطی پاسخ می‌دهد که بر اساس مختصات باکس‌ها محاسبه کرده‌اید، آن هم فقط برای کلاس‌هایی که برچسب‌گذاری شده‌اند.
  • سطح 3: مجموعه‌ی ارزیابی به چند فریم نیاز دارد و این تعداد چطور تعیین می‌شود؟ انتظار می‌رود: به اندازه‌ای که هر نوع سؤال و هر شرایط دوربین ده‌ها نمونه داشته باشد؛ حداقل مطلق آن چند صد فریم است و هر جا که ماتریس درهم‌ریختگی ناپایدار باشد، تعداد داده‌ها را افزایش می‌دهید.
  • سطح 3: یک انکودر قوی‌تر چه تغییری در خروجی ایجاد می‌کند؟ انتظار می‌رود: انکودرهای خودنظارتی (Self-supervised) ویژگی‌های مکانی متراکم‌تری دارند و در بنچمارک‌های متمرکز بر تصویر پیشتازند؛ تعویض انکودر و آموزش دوباره‌ی تصویرساز، تمرین دشوار این درس برای حل این وظایف است.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «چون دمو روی 10 تصویر کار کرد، پس سیستم جواب می‌دهد.» ده تصویر نمی‌تواند تنوع دوربین‌ها، نورپردازی یا انواع روابط را پوشش دهد؛ رقم بنچمارک برای این نوع سؤالات در برخی روابط، نزدیک به پرتاب سکه است.
  • «یک VLM بزرگ‌تر مشکل استدلال مکانی را حل می‌کند.» افزایش اندازه بیشتر به استدلال زبانی کمک می‌کند تا هندسه؛ توصیه‌ی درس برای وظایف کاملاً مکانی، استفاده از یک مدل تخصصی است.
  • «مدل را روی همان تصاویر دمو فاین‌تیون می‌کنیم.» ده‌ها نمونه هیچ‌چیز یاد نمی‌دهند و فقط باعث بیش‌برازش (Overfitting) می‌شوند؛ مسیر فاین‌تیونینگ به هزاران فریم برچسب‌دار و یک مجموعه‌ی ارزیابی کاملاً مجزا نیاز دارد.

کجای دوره آموزش داده می‌شود

درس مدل‌های بینایی-زبان آمار مربوط به استدلال مکانی، هزینه‌ی فاین‌تیونینگ و نرخ خطای چندوجهی را پوشش می‌دهد.