سؤال مصاحبه

رمزگشای تولید شرح تصویر با ماسک‌های جابه‌جا شده

A caption decoder with its masks swapped

  • سطح ۲: میانی
  • کدخوانی
  • ۱۲ دقیقه

رمزگشای (decoder) تصویر-زبان یکی از هم‌تیمی‌هایتان در مرحله‌ی آموزش به‌خوبی آموزش می‌بیند؛ اما در زمان استنتاج، شرح‌های تولیدشده از توکن دوم به بعد اشتباه از آب درمی‌آیند. علاوه‌بر این، تست مدل با تصویری شامل 197 توکن با خطای ابعاد (shape error) متوقف می‌شود. بلوک کد و حلقه‌ی رمزگشایی را بررسی کنید و اشکالات را بیابید.

def causal_mask(n):
    return torch.tril(torch.ones(n, n, dtype=torch.bool))


class DecoderBlock(nn.Module):
    def forward(self, text, image, mask):
        text = text + self.self_attn(self.ln1(text), mask=None)
        text = text + self.cross_attn(self.ln2(text), image, mask=mask)
        text = text + self.ffn(self.ln3(text))
        return text


def generate(model, image, prompt_ids, steps):
    ids = prompt_ids
    for _ in range(steps):
        memory = model.encode_image(image)
        mask = causal_mask(ids.shape[1])
        logits = model.decode(ids, memory, mask)
        ids = torch.cat([ids, logits[:, -1].argmax(-1, keepdim=True)], dim=1)
    return ids

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

ماسک‌ها جابه‌جا اعمال شده‌اند. خوداتنشن (self-attention) روی متن بدون هیچ ماسکی اجرا می‌شود؛ در نتیجه، در طول آموزش هر جایگاه توکن به آینده دید دارد و مدل به‌جای پیش‌بینی توکن بعدی، صرفاً کپی‌کردن آن را یاد می‌گیرد؛ رفتاری که به‌محض ورود به مرحله‌ی تولید متن از کار می‌افتد. از سوی دیگر، کراس‌اتنشن (cross-attention) ماسک علّی متن را دریافت کرده است؛ ماسکی مربعی بر حسب طول متن که امکان ندارد روی ماتریس امتیازاتی بنشیند که بازه‌ی متن در تصویر را پوشش می‌دهد. خطای ابعاد با 197 توکن تصویر دقیقاً از همین‌جا ناشی می‌شود. حلقه‌ی رمزگشایی هم در هر گام، تصویر را از اول انکود می‌کند؛ در حالی که باید تصویر را فقط یک‌بار انکود کنید، کلیدها و مقدارهای آن را در کش نگه دارید و دوباره از آن‌ها استفاده کنید.

پاسخ کامل

قواعد حاکم بر ماسک‌ها

اتنشن کوئری (Query) کلید (Key) ماسک
خوداتنشن روی متن متن، با طول Nt متن، با طول Nt علّی (causal)، مثلثی پایینی از ابعاد Nt در Nt
کراس‌اتنشن به درون تصویر متن، با طول Nt تصویر، با طول Nv بدون ماسک

متن در فرایند خودبازگشتی (autoregression) نباید به آینده نگاه کند. تصویر پیش از وجود هرگونه متنی به‌طور کامل مشاهده شده است و پچ‌های (patches) آن ترتیب خاصی ندارند؛ بنابراین هر جایگاه متن اجازه دارد به همه‌ی پچ‌های تصویر اتنشن داشته باشد.

باگ 1: نبود ماسک روی خوداتنشن

وقتی mask=None باشد، جایگاه i به جایگاه‌های بعد از خود نیز اتنشن می‌زند. در روش وادارسازی معلم (teacher forcing)، هدفِ جایگاه i همان توکنِ جایگاه i به‌علاوه‌ی 1 است که حالا به‌راحتی دیده می‌شود؛ بنابراین تابع زیان (loss) خیلی سریع پایین می‌آید و مدل صرفاً یاد می‌گیرد مقدار بعدی را بازخوانی کند. در زمان استنتاج دیگر آینده‌ای وجود ندارد و از توکن دوم به بعد، شرح‌ها کاملاً به هم می‌ریزند. این دقیقاً همان نشانه‌ای است که در گزارش آمده بود.

باگ 2: اعمال ماسک علّی روی کراس‌اتنشن

امتیازات کراس‌اتنشن ابعادی برابر با Nt در Nv دارند. یک ماسک علّی با ابعاد Nt در Nt فقط زمانی اندازه می‌شود که Nv مساوی Nt باشد، که در این حالت هم بی‌سر‌و‌صدا بخشی از تصویر را از چشم توکن‌های اولیه‌ی متن پنهان می‌کند. با یک حافظه‌ی تصویری 197 توکنی و متنی کوتاه‌تر، ابعاد قابلیت همه‌پخشی (broadcast) ندارند و گذر رو به جلو (forward pass) خطا پرتاب می‌کند. پروژه‌ی پایانی یک تابع اعتبارسنجی ابعاد اضافه می‌کند تا این اشتباه به‌جای خراب‌کردن نمودار تابع زیان، با خطایی واضح متوقف شود.

مشاهده‌ی 3: نبود کش برای کلیدها و مقدارها

تصویر در طول فرایند رمزگشایی تغییر نمی‌کند. اگر در هر گام آن را انکود کنید و تصویرِ کلیدها و مقدارهایش را دوباره به دست آورید، هزینه‌ی سنگین انکودر را در تعداد توکن‌های تولیدشده ضرب کرده‌اید. تصویر را فقط یک‌بار انکود و تصویرسازی کنید، کلیدها و مقدارها را ذخیره کرده و به هر گام بفرستید. پروژه‌ی پایانی بررسی می‌کند که آیا مسیرهای همراه با کش و بدون کش، لاجیت‌های (logits) یکسانی تولید می‌کنند یا خیر.

بلوک اصلاح‌شده

def forward(self, text, image_kv, text_mask):
    text = text + self.self_attn(self.ln1(text), mask=text_mask)
    text = text + self.cross_attn(self.ln2(text), image_kv, mask=None)
    text = text + self.ffn(self.ln3(text))
    return text
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا با وجود باگ اول، تابع زیان در مرحله‌ی آموزش خوب به نظر می‌رسد؟ پاسخ مورد انتظار: وادارسازی معلم، توکن هدف را یک جایگاه جلوتر در ورودی می‌گذارد و اتنشنِ بدون ماسک می‌تواند آن را بخواند؛ تابع زیان صرفاً یک بازخوانی را اندازه می‌گیرد، نه پیش‌بینی را.
  • سطح 2: کراس‌اتنشن چه زمانی به ماسک نیاز دارد؟ پاسخ مورد انتظار: زمانی که چند تصویر و بخش متنی به‌صورت درهم‌آمیخته (interleaved) باشند، به‌طوری که هر بخش متنی فقط باید تصویرهای قبل از خودش را ببیند؛ برای سناریوی یک تصویر و یک شرح، به هیچ ماسکی نیاز نیست.
  • سطح 3: گیت برگرفته از طراحی Flamingo چه چیزی به این بلوک اضافه می‌کند و چرا؟ پاسخ مورد انتظار: یک اسکالرِ قابل‌یادگیری که از طریق تانژانت هذلولوی (tanh) روی مقدار باقیمانده‌ی (residual) کراس‌اتنشن اعمال می‌شود و مقدار اولیه‌اش صفر است؛ تا مدل زبانی فریز‌شده رفتار متنی خود را در مقداردهی اولیه حفظ کند و تصویر را رفته‌رفته وارد محاسبات کند.
  • سطح 3: مسیر پردازش کش را چطور تست می‌کنید؟ پاسخ مورد انتظار: یک پرامپت (prompt) یکسان را یک‌بار با کش و یک‌بار بدون کش اجرا کنید و با یک خطای اعشاری مجاز، برابری لاجیت‌ها را بررسی (assert) کنید؛ پروژه‌ی پایانی این تست را همراه خود دارد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «برای احتیاط، روی هر دو اتنشن از ماسک علّی استفاده کنید.» امتیازات کراس‌اتنشن بر حسب متن در تصویر هستند؛ بنابراین ماسک مربعی متن یا خطا می‌دهد یا بخشی از تصویر را پنهان می‌کند؛ تصویر نیازی به ماسک ندارد.
  • «شرح‌ها اشتباه هستند چون انکودر تصویر ضعیف است.» مدلی که توکن اول را درست بگوید و از توکن دوم به بعد به خطا برود، در زمان آموزش اطلاعات آینده را لو داده است؛ علت اصلی همان ماسک است.
  • «محاسبه‌ی مجدد تصویر در هر گام مشکلی ندارد، چون انکودر کوچک است.» انکودر در هر بار فراخوانی سنگین‌ترین بخش پردازش است و تصویر هم هرگز تغییر نمی‌کند؛ استفاده از کش است که تولید شرح را سریع می‌کند.

کجای دوره آموزش داده می‌شود

پروژه‌ی پایانی ترکیب کراس‌اتنشن ابعاد ماسک و کش کلید و مقدار را تنظیم می‌کند، و درس معماری Flamingo گیت و ماسک داده‌های درهم‌آمیخته را اضافه می‌کند.