سؤال مصاحبه

سه روش برای تولید تصویر با یک ترنسفورمر واحد

Three ways to generate an image from one transformer

  • سطح ۳: ارشد
  • بده‌بستان
  • ۱۲ دقیقه

تیم شما به یک مدل متن‌باز واحد برای پاسخ به پرسش‌ها درباره‌ی تصویر، تبدیل متن به تصویر و اینپینتینگ (inpainting) با تاخیر (latency) تولید قابل‌قبول نیاز دارد. یکی از گزینه‌ها تصویر را کدبه‌کد می‌سازد؛ دومی روی پچ‌های (patch) پیوسته نویززدایی می‌کند؛ سومی با کدهای گسسته کار می‌کند و آن‌ها را به‌شکل موازی در چند گام پر می‌کند. این سه روش را از نظر تعداد گام‌ها، پیچیدگی آموزش و قابلیت‌های جانبیِ بی‌دردسر مقایسه کنید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

تولید تصویر با پیش‌بینی توکن بعدی (next-token prediction) روی کدها به یک گام به‌ازای هر کد، یعنی 1024 تا 4096 گام برای هر تصویر، همراه با یک تابع زیان (loss) ساده نیاز دارد. دیفیوژن پیوسته در یک ترنسفورمر مشترک به حدود 20 گام نیاز دارد، اما دو تابع زیان با مقیاس‌های متفاوت را آموزش می‌دهد. دی‌کدینگ گسسته‌ی ماسک‌شده کدهای گسسته و یک تابع زیان آنتروپی متقاطع (cross-entropy) را حفظ می‌کند، همه‌ی جایگاه‌های ماسک‌شده را هم‌زمان پیش‌بینی می‌کند و در هر گام مطمئن‌ترین‌ها را ثبت (commit) می‌کند؛ بنابراین تولید یک تصویر حدود 16 گام زمان می‌برد. در این روش، اینپینتینگ رایگان به دست می‌آید، زیرا هدف آموزش دقیقاً پر کردن کدهای ماسک‌شده با تکیه بر سایر کدها است. برای محصولی که هر سه وظیفه (task) را در یک مدل متن‌باز واحد با تاخیر مناسب می‌خواهد، طرح گسسته‌ی ماسک‌شده بهترین گزینه است؛ و اگر کیفیت و وضوح در بالاترین اولویت باشد، طرح پیوسته انتخاب بهتری خواهد بود.

پاسخ کامل

سازوکار دی‌کدینگ گسسته‌ی ماسک‌شده

در فرایند آموزش، یک نرخ ماسک‌کردن به‌صورت یکنواخت نمونه‌برداری می‌شود، آن سهم از کدهای تصویر ماسک می‌شوند و ترنسفورمر برای بازیابی آن‌ها آموزش می‌بیند. این کار تعمیمی از پیش‌بینی توکن بعدی است: در متن فقط جایگاه آخر ماسک می‌شود، اما در تصویر یک زیرمجموعه‌ی تصادفی. در زمان استنتاج، کار با یک شبکه‌ی کاملاً ماسک‌شده شروع می‌شود، همه‌ی جایگاه‌های ماسک‌شده به‌شکل موازی پیش‌بینی می‌شوند، مطمئن‌ترین پیش‌بینی‌ها حفظ می‌شوند، بقیه دوباره ماسک می‌شوند و این روند طبق یک برنامه‌ی زمان‌بندی تکرار می‌شود. یک برنامه‌ی زمان‌بندی کسینوسی (cosine schedule) که نسبت ماسک را برابر با کسینوسِ حاصل‌ضرب عدد پی در گامِ جاری تقسیم بر دو برابر کل گام‌ها تعیین می‌کند، بیشترین پردازش را روی نرخ‌های ماسکِ میانی متمرکز می‌کند؛ یعنی جایی که پیش‌بینی‌ها بیشترین بار اطلاعاتی را دارند.

ماسک اتنشن

توکن‌های متنی علی (causal) هستند. کدهای تصویر به همه‌ی کدهای دیگرِ همان تصویر اتنشن (attention) دارند، بنابراین هر جایگاه ماسک‌شده همه‌ی همسایه‌هایش را می‌بیند. متن به تصاویر پیشین (prior) اتنشن دارد و کدهای تصویر نیز به متن‌های پیشین نگاه می‌کنند.

مقایسه‌ی روش‌ها

طرح تعداد گام به‌ازای هر تصویر توابع زیان قابلیت‌های جانبیِ بی‌دردسر
پیش‌بینی توکن بعدی روی کدها یک گام به‌ازای هر کد، 1024 تا 4096 یک آنتروپی متقاطع ویدیو با یک توکنایزر سه‌بعدی؛ یک پشته‌ی یکپارچه برای همه‌چیز
دیفیوژن پیوسته درون ترنسفورمر حدود 20 آنتروپی متقاطع به‌علاوه‌ی زیان دیفیوژن روی پچ‌ها بالاترین وضوح، بدون نیاز به کوانتایزر
دی‌کدینگ گسسته‌ی ماسک‌شده حدود 16 یک آنتروپی متقاطع روی جایگاه‌های ماسک‌شده اینپینتینگ؛ یک چک‌پوینت (checkpoint) برای پاسخ‌گویی، نوشتن و تولید تصویر

هزینه‌ی هر گام در طرح ماسک‌شده کمتر از دیفیوژن پیوسته است، چون به‌جای رگرسیون پیوسته روی تک‌تک پچ‌ها، لاجیت‌های (logits) گسسته تولید می‌کند.

هزینه‌ها و محدودیت‌های طرح ماسک‌شده

این روش سقف کیفی توکنایزرِ همه‌ی طرح‌های گسسته را به ارث می‌برد: کیفیت تصویر هرگز نمی‌تواند از بازسازیِ کوانتایزر فراتر برود. از سوی دیگر، برداشتن همه‌ی ماسک‌ها در یک گام شکست می‌خورد، زیرا کدها مستقل از هم پیش‌بینی می‌شوند و نتیجه نامنسجم خواهد بود؛ وجود برنامه‌ی زمان‌بندی دقیقاً برای این است که کدهای ثبت‌شده (commitشده)، زمینه‌ی شرطی‌سازی (conditioning) را برای بقیه‌ی کدها بسازند.

اینپینتینگ بدون هزینه‌ی اضافی

کدهای یک ناحیه را ماسک کنید، بقیه‌ی کدها را همراه با یک پرامپت (prompt) متنی به مدل بدهید و کدهای ماسک‌شده را پیش‌بینی کنید. نیازی به هدف آموزشی جدید و هد (head) تازه نیست: وظیفه‌ی آموزش مدل دقیقاً همین بوده است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا مدل نمی‌تواند همه‌چیز را در یک گام از حالت ماسک خارج کند؟ پاسخ مورد انتظار: هر جایگاه ماسک‌شده از یک توزیع حاشیه‌ای پیش‌بینی می‌شود که بقیه‌ی جایگاه‌ها را نادیده می‌گیرد، بنابراین کدهای نمونه‌برداری‌شده با هم هماهنگ نخواهند بود؛ ثبت (commit) کردن کدهای مطمئن در آغاز، زمینه‌ی شرطی‌سازی را برای بقیه فراهم می‌کند.
  • سطح 3: چرا برنامه‌ی زمان‌بندی کسینوسی از برنامه‌ی خطی بهتر عمل می‌کند؟ پاسخ مورد انتظار: گام‌های بیشتری را در نسبت‌های میانی صرف می‌کند؛ یعنی جایی که هر پیش‌بینی بیشترین بار اطلاعاتی را دارد، در حالی که برنامه‌ی خطی خیلی زود وارد حالت یکنواخت (plateau) می‌شود.
  • سطح 4: تفاوت هزینه‌ی هر گام بین مدل گسسته‌ی ماسک‌شده و دیفیوژن پیوسته در چیست؟ پاسخ مورد انتظار: هر دو یک گام کامل ترنسفورمر هستند، اما هد گسسته لاجیت‌ها را روی کتاب کد (codebook) پیش‌بینی می‌کند، در حالی که هد پیوسته یک سرعت (velocity) را برای تک‌تک پچ‌ها رگرس می‌کند؛ بنابراین گام گسسته در هر مرحله ارزان‌تر تمام می‌شود.
  • سطح 4: چه عاملی باعث می‌شود سادگی یک مدل واحد را رها کنید و سراغ مدلی تخصصی بروید؟ پاسخ مورد انتظار: نیاز به کیفیتی فراتر از سقف توکنایزر، یا سقف تاخیری (latency budget) که حتی با 16 گام کامل هم تامین نمی‌شود؛ جایی که یک مدل تولید پیوسته‌ی اختصاصی برنده است.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «دی‌کدینگ ماسک‌شده همان دیفیوژن است، پس به برنامه‌ی زمان‌بندی نویز نیاز دارد.» این روش گسسته است: جایگاه‌ها ماسک می‌شوند، نه نویزی؛ و برنامه‌ی زمان‌بندی مشخص می‌کند در هر گام چه تعداد کد باید ثبت شوند.
  • «پیش‌بینی توکن بعدی سریع‌ترین است چون هر گام آن کوچک است.» هر گام در واقع یک گذر کامل ترنسفورمر روی کل توالی است، و برای هر تصویر هزاران گام از این دست اجرا می‌شود.
  • «اینپینتینگ به مدل جداگانه‌ای نیاز دارد.» هدف آموزش ماسک‌شده همان اینپینتینگ است؛ ماسک کردن یک ناحیه در زمان استنتاج، دقیقاً همان وظیفه‌ای است که مدل رویش آموزش دیده است.

کجای دوره آموزش داده می‌شود

در درس Show-o مباحث دی‌کدینگ ماسک‌شده، برنامه‌ی زمان‌بندی و فهرست وظایف بررسی می‌شود؛ درس Emu3 هزینه‌ی هر کد را تحلیل می‌کند و درس Transfusion گزینه‌ی پیوسته را ارائه می‌دهد.