سؤال مصاحبه

طراحی یک VLM برای ایجنت رابط کاربری روی دستگاه

Design a VLM for an on-device UI agent

  • سطح ۴: استف
  • طراحی
  • ۲۰ دقیقه

یک مدل بینایی-زبان (Vision-Language Model یا VLM) برای یک دستیار موبایل روی دستگاه (on-device) طراحی کنید که صفحه‌ی گوشی را می‌خواند و کارهایی مثل لمس کردن (tap)، تایپ کردن و اسکرول کردن را انجام می‌دهد. اندازه‌ی مدل زبانی را حدود 2B پارامتر نگه دارید. انکودر، رابط (bridge)، برنامه‌ی وضوح تصویر و ترکیب داده‌ها را انتخاب کنید؛ هر انتخاب را با شواهد ابطال‌سنجی (ablation) توجیه کنید و قابلیتی را که باید مراقب باشید درباره‌اش وعده‌ی بیش‌ازحد ندهید مشخص نمایید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

انکودر: انکودر مقابله‌ای (contrastive) قوی‌تر با وضوح تصویر اصلی، همراه با اتصال ویژگی‌های یک انکودر خودنظارتی (self-supervised) برای دریافت یک سیگنال مکانی متراکم؛ زیرا انکودر حدود 20 درصد از واریانس را توجیه می‌کند و ویژگی‌های خودنظارتی در بنچمارک‌های متمرکز بر تصویر پیشتازند. رابط: یک MLP دولایه، چرا که اتصال‌دهنده (connector) حدود 5 درصد واریانس را توضیح می‌دهد، همراه با انباشتن ویژگی‌ها از چند لایه با عمق‌های مختلف انکودر تا موقعیت‌یابی دقیق به مدل زبانی برسد. وضوح تصویر: افزایش تدریجی از کم به زیاد، با وضوح تصویر پویا تا حدود 1280 پیکسل در ضلع بزرگ‌تر؛ زیرا صفحات نمایش پر از متن هستند و خواندن بیشترین بهره را از پیکسل‌ها می‌برد. داده‌ها: توضیحات متراکم انسانی از صفحات نمایش به همراه ردگیری محاسبات کارهای دارای ارجاع‌دهی مکانی (grounding)، نه کپشن‌های حاصل از تقطیر دانش (distillation)؛ و از وعده‌ی بیش‌ازحد در مورد روابط مکانی پرهیز کنید، جایی که مدل‌های عمومی امتیازی بین 50 تا 60 درصد می‌گیرند و ایجنت باید هر بار دقیقاً روی المان درست ضربه بزند.

پاسخ کامل

اولویت با محدودیت‌هاست

یک مدل زبانی 2B سقف پایینی برای استدلال تعیین می‌کند: یک مدل زبانی بزرگ‌تر امتیازهای بیشتری در بنچمارک‌های استدلال کسب می‌کند و در این طراحی امکان بزرگ‌تر کردن آن وجود ندارد. بنابراین، هر محور دیگر باید بار بیشتری به دوش بکشد و وظیفه باید به‌صورت ادراک به‌علاوه‌ی اقدامات کوتاه بازتعریف شود، نه استدلال‌های طولانی.

انکودر

انتخاب دلیل
انکودر مقابله‌ای قوی در وضوح تصویر اصلی بر اساس ابطال‌سنجی‌ها، 3 امتیاز یا بیشتر نسبت به گزینه‌ی رایج اضافه می‌کند؛ وضوح تصویر اصلی خوانایی متن روی صفحه را حفظ می‌کند
الصاق ویژگی‌های خودنظارتی در بنچمارک‌های متمرکز بر تصویر 5 تا 7 امتیاز از انکودر مقابله‌ای جلوتر است؛ ارجاع‌دهی مکانی در رابط کاربری ماهیتاً متمرکز بر تصویر است
ویژگی‌ها از چند عمق مختلف انکودر لایه‌های عمیق بار معنایی را حمل می‌کنند و لایه‌های کم‌عمق موقعیت‌یابی دقیق را؛ انباشتن هر دو، ارجاع‌دهی مکانی را دقیق‌تر می‌کند که برای ایجنتی که ضربه می‌زند حیاتی است

رابط

یک MLP دولایه. اتصال‌دهنده در یک تعداد توکن ثابت، حدود 5 درصد از واریانس را توجیه می‌کند و MLP ساده‌ترین گزینه برای بازآموزی هنگام تغییر انکودر یا مدل زبانی است. تعداد توکن‌ها اهرم اصلی و تعیین‌کننده است: صفحات نمایش شبیه سند هستند، بنابراین سهمیه‌ی توکن را به سمت حد بالای محدوده‌ی طلایی 576 تا 1024 ببرید و برای صفحات متراکم حتی از آن هم فراتر بروید.

برنامه‌ی زمان‌بندی وضوح تصویر

کار را با وضوح پایین شروع کنید و تدریجاً بالا ببرید. آموزش یکدست با وضوح پایین وارد حالت یکنواخت (plateau) می‌شود؛ افزایش تدریجی سریع‌تر آموزش می‌بیند و به عملکرد نهایی بالاتری می‌رسد. وضوح تصویر پویا با حداقل 256 و حداکثر حدود 1280 پیکسل در ضلع بزرگ‌تر، تنوع تراکم صفحات نمایش را مدیریت می‌کند و بهبود 3 تا 5 امتیازی خواندن اسناد بر اثر تکنیک قطعه‌بندی (splitting)، در مورد صفحات نمایش نیز صدق می‌کند.

ترکیب داده‌ها

  • توضیحات متراکم انسانی از صفحات نمایش: چه چیزی روی صفحه است، کجاست و کدام بخش‌ها تعاملی هستند. در مقایسه‌ی مرجع، کپشن‌های متراکم انسانی در همه‌ی زمینه‌ها تقطیر دانش را شکست دادند.
  • ردگیری محاسبات کارهای دارای ارجاع‌دهی مکانی: اسکرین‌شات، دستورالعمل، المان و اقدام، همراه با مختصات. بنچمارک ایجنت دیداری که مدل‌های پیشرو در آن پیشتازند چنین ساختاری دارد.
  • داده‌های دستورالعملِ مختصِ وظیفه برای دسته‌های اپلیکیشنی که محصول نهایی را برای آن‌ها عرضه می‌کنید.
  • داده‌های ساختگی فقط در صورتی که توضیحات انسانی تکیه‌گاه آن باشد و برای ارجاع‌دهی مکانی فیلتر شده باشد.

قابلیتی که باید مراقبش بود

روابط مکانی. مدل‌های عمومی در مفاهیمی مثل بالا، پایین، چپ، راست و شمارش، امتیاز 50 تا 60 درصد می‌گیرند و ایجنتی که روی المان اشتباه ضربه بزند در انجام وظیفه شکست می‌خورد. فرآیند ارزیابی را با صفحات نمایش واقعی و با پرسش‌های دقیقِ انتخاب المان بسازید، قبل از هرگونه وعده دادن آن را بسنجید و یک مرحله‌ی راستی‌آزمایی درون حلقه‌ی ایجنت قرار دهید: پس از انجام اقدام، صفحه را دوباره بخوانید و وضعیت را بررسی کنید.

سرویس‌دهی روی دستگاه

یک مدل زبانی 2B و یک انکودر قوی با وضوح تصویر بالا همچنان نیاز دارند که سقف توکن‌های بصری به‌ازای هر صفحه محاسبه شود؛ قبل از نهایی کردن برنامه‌ی زمان‌بندی، تاخیر هر گام را در وضوح تصویر مدنظرتان اندازه بگیرید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا باید لایه‌های کم‌عمق و عمیق انکودر را برای یک ایجنت روی هم انباشت، اما برای یک مدل کپشن‌نویس نه؟ پاسخ مورد انتظار: کپشن‌نویس به بار معنایی نیاز دارد؛ ایجنت به موقعیت مکانی دقیق نیاز دارد که لایه‌های کم‌عمق آن را در خود دارند و لایه‌ی آخر آن را محو می‌کند.
  • سطح 4: مدل زبانی روی 2B ثابت شده است. بیش از همه به کدام محور تکیه می‌کنید و محدودیت آن چیست؟ پاسخ مورد انتظار: وضوح تصویر و تعداد توکن، چون صفحات نمایش پر از متن هستند؛ محدودیت آن تاخیر هر گام روی دستگاه است که تعداد توکن‌ها تعیینش می‌کند.
  • سطح 4: چگونه ایجنت را در برابر تشخیص اشتباه یک المان مقاوم می‌کنید؟ پاسخ مورد انتظار: بازخوانی بعد از هر اقدام که صفحه‌ی جدید را با وضعیت مورد انتظار مقایسه کند و در صورت عدم تطابق متوقف شود؛ میزان اطمینان خودِ مدل سیگنال مطمئنی نیست.
  • سطح 4: شواهد ابطال‌سنجی چه چیزی را درباره‌ی این طراحی به شما نمی‌گویند؟ پاسخ مورد انتظار: این نتایج از بنچمارک‌های عمومی روی GPUهای دیتاسنتر به دست آمده‌اند؛ تاخیر روی دستگاه، فضای رابط کاربری و فرمت اقدام به ابطال‌سنجی اختصاصی خودتان نیاز دارند، یک محور در هر اجرا.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «از یک رابط مبتنی بر کوئری استفاده کنید تا توکن‌ها روی دستگاه صرفه‌جویی شوند.» این کار سقف توکن‌ها را در مقداری بسیار کمتر از نیاز متن‌های متراکم صفحه می‌بندد و ابطال‌سنجی‌ها نشان می‌دهند 64 توکن برای خواندن ناکافی است؛ توکن‌ها را اینجا خرج کنید و جای دیگر صرفه‌جویی نمایید.
  • «توضیحات صفحه را با یک مدل تجاری و قدرتمند بسازید.» توضیحات حاصل از تقطیر دانش، توهمات مدل اولیه را به ارث می‌برند و ایجنتی که روی یک المان متوهم ضربه بزند شکست می‌خورد؛ توضیحات متراکم انسانی در مقایسه‌ی مرجع پیروز شدند.
  • «یک مدل 2B با یک انکودر عالی با یک ایجنت 70B برابری می‌کند.» مدل زبانی سقف استدلال را تعیین می‌کند؛ وظیفه را به‌صورت ادراک به‌علاوه‌ی اقدامات کوتاه بازتعریف کنید و هر مرحله را بسنجید، به‌جای اینکه وعده‌ی استدلال طولانی بدهید.

کجای دوره آموزش داده می‌شود

درس الگوهای مدل‌های وزن‌باز (open-weight recipes) شواهد ابطال‌سنجی را برای هر محور فراهم می‌کند و این تمرین را تعریف می‌نماید، و درس مدل‌های بینایی-زبان ویژگی‌های چندسطحی، ایجنت‌های دیداری و محدودیت استدلال مکانی را پوشش می‌دهد.