سؤال مصاحبه

یک تصویر چقدر از بافتار را مصرف می‌کند؟

How much context one image costs

  • سطح ۱: غربالگری
  • تخمین
  • ۸ دقیقه

یک مدیر محصول می‌پرسد در مدلی شبیه به LLaVA با انکودر 336 پیکسلی، یک تصویر چقدر از پنجره‌ی بافتار (Context Window) را اشغال می‌کند. عدد را بگویید، منشأ آن را توضیح دهید و بگویید این عدد با کاشی‌کاری (Tiling) باکیفیت یا با یک رابط (Bridge) مبتنی بر پرس‌وجو چگونه تغییر می‌کند.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

هر تصویر 576 توکن مصرف می‌کند: انکودر، تصویر 336 پیکسلی را به پچ‌های (Patch) 14 پیکسلی خرد می‌کند؛ یعنی یک شبکه‌ی 24 در 24، و تصویرساز (Projector) هم تک‌تک توکن‌های وصله‌ای (Patch tokens) را مستقیماً عبور می‌دهد. در پنجره‌ی بافتار 2048 توکنی، این عدد 1472 توکن برای متن باقی می‌گذارد؛ اما در 32k یا 128k سهم بسیار ناچیزی است. کاشی‌کاری این مقدار را چند برابر می‌کند: یک شبکه‌ی 2 در 2 از برش‌های 336 پیکسلی به‌همراه یک تصویر بندانگشتی کلی، حدود 2880 توکن به ازای هر تصویر می‌سازد؛ شبکه‌ی 1 در 3 همراه با تصویر کلی، چون یک برش کمتر دارد، توکن‌های کمتری تولید می‌کند. در مقابل، یک رابط مبتنی بر پرس‌وجو هر تصویری را به مقدار ثابت 32 توکن فشرده می‌کند و یک نمونه‌گیر مجدد (Resampler) آن را به 64 توکن می‌رساند.

پاسخ کامل

منشأ این عدد از کجاست؟

336 / 14 = 24 patches per side
24 x 24 = 576 patch tokens
each token: 1024 wide from the encoder, 4096 wide after the projector

انکودرهای قدیمی‌ترِ 224 پیکسلی، 256 توکن تولید می‌کردند. با ارتقا به ابعاد 336 پیکسل، تعداد توکن‌ها به 576 رسید و توالی‌های آموزش روی همان 2048 توکن ماندند.

هزینه در پنجره‌ی بافتار

پنجره‌ی بافتار یک تصویر
2048 576 توکن، باقی ماندن 1472 توکن برای متن
32k سهمی ناچیز
128k در حد خطای گرد کردن

کاشی‌کاری برای وضوح بالا

اسناد و نمودارها به پیکسل‌های بیشتری نیاز دارند. روش کاشی‌کاری، تصویر را به یک شبکه‌ی 2 در 2 یا 1 در 3 از برش‌های 336 پیکسلی تقسیم می‌کند، یک نمای کلیِ با وضوح پایین هم به آن می‌افزاید و توکن‌های همه‌ی برش‌ها را به هم پیوند می‌زند (Concatenate): حدود 2880 توکن بصری برای هر تصویر در شبکه‌ی 2 در 2، و مقداری کمتر برای شبکه‌ی 1 در 3، چون یک برش کمتر دارد. امتیازهای مدل در خواندن متن و نمودار با این کار جهش بزرگی داشت.

رابط‌های فشرده‌ساز

یک رابط مبتنی بر پرس‌وجو از مجموعه‌ای ثابت شامل 32 بردار پرس‌وجوی یادگرفته‌شده استفاده می‌کند که به توکن‌های وصله‌ای توجه متقابل (Cross-attention) دارند؛ بنابراین هر تصویری به 32 توکن تبدیل می‌شود. یک نمونه‌گیر مجدد با 64 متغیر پنهان (Latent) همین کار را در 64 توکن انجام می‌دهد. بهای آن ایجاد یک گلوگاه است: مدل زبانی هرگز پچ‌های خام را نمی‌بیند.

به چند توکن نیاز دارید؟

ابطال‌سنجی‌ها (Ablation) در درس دستورالعمل‌ها، نقطه‌ی طلایی را برای بیشتر وظیفه‌ها (Tasks) بین 576 تا 1024 توکن بصری برای هر تصویر می‌دانند؛ 64 توکن برای خواندن متن بسیار کم است و 2048 توکن یا بیشتر هم فقط برای اسناد و نمودارها مفید خواهد بود. تعداد توکن‌ها، واریانس امتیازهای بنچمارک را بسیار بیشتر از معماریِ اتصال‌دهنده (Connector) توجیه می‌کند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: چرا وضوح ورودیِ بالاتر، تعداد توکن‌ها را بیشتر می‌کند؟ پاسخ مورد انتظار: چون اندازه‌ی پچ ثابت است، پیکسل‌های بیشتر در هر ضلع یعنی پچ‌های بیشتر در هر ضلع، و تعداد با مربع طول ضلع رشد می‌کند.
  • سطح 2: کدام وظایف هزینه‌ی کاشی‌کاری را توجیه می‌کنند؟ پاسخ مورد انتظار: متن درون تصاویر، نمودارها و اسناد؛ پرسش‌های کلی درباره‌ی صحنه سود چندانی از آن نمی‌برند.
  • سطح 2: رابط 32 توکنی چه زمانی برنده است؟ پاسخ مورد انتظار: زمانی که سهمیه‌ی توکن (Token Budget) محدود است، مثل ویدیوهای طولانی یا پرامپت‌هایی با چندین تصویر؛ برای یک تصویر در بافتاری طولانی، این فشرده‌سازی عایدی چندانی ندارد.
  • سطح 3: سهمیه‌ی ویدیو را چگونه تعیین می‌کنید؟ پاسخ مورد انتظار: توکن‌های هر فریم ضربدر تعداد فریم‌ها؛ بنابراین استفاده از یک رابط فشرده‌ساز یا نمونه‌برداری فریم (Frame Sampling) سنگین، تنها راهِ جا دادن چند دقیقه ویدیو است؛ پیش از انتخاب رابط، حتماً توکن‌ها را بشمارید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «یک تصویر یک توکن هزینه دارد؛ همان نگه‌دارنده‌ی جایگاه (Placeholder).» نگه‌دارنده‌ی جایگاه پیش از گذر رو به جلو (Forward pass) با یک امبدینگ (Embedding) به ازای هر توکن وصله‌ای جایگزین می‌شود؛ شبکه‌ی انکودر است که تعداد را مشخص می‌کند.
  • «وضوح بالاتر رایگان تمام می‌شود چون انکودر ثابت است.» پچ‌های بیشتر یعنی توکن‌های بصری بیشتر در توالی مدل زبانی، و بار محاسباتی مدل زبانی هم‌گام با آن‌ها افزایش می‌یابد.
  • «اتصال‌دهنده کیفیت را تعیین می‌کند، پس اول باید رابط را انتخاب کرد.» در یک تعداد توکن ثابت، نوع اتصال‌دهنده تقریباً اهمیتی ندارد؛ تعداد توکن‌ها و انکودر تعیین‌کننده‌ترند.

کجای دوره آموزش داده می‌شود

در درس LLaVA شمارش توکن‌های هر تصویر و تصاویر کاشی‌کاری‌شده، در درس BLIP-2 رابطِ با طول ثابت، و در درس دستورالعمل‌ها ابطال‌سنجی‌های سهمیه‌ی توکن آموزش داده شده است.