سؤال مصاحبه

دو تابع زیان، یک ترنسفورمر، یک گام گرادیان

Two losses, one transformer, one gradient step

  • سطح ۴: استف
  • مفهومی
  • ۱۵ دقیقه

توضیح دهید چگونه یک ترنسفورمر منفرد می‌تواند هدف متنیِ پیش‌بینی توکن بعدی (next-token prediction) را در کنار تابع زیان حذف نویز (denoising loss) روی تصاویر، در قالب یک گام گرادیان آموزش دهد. نحوه‌ی بازنمایی ورودی، ماسک اتنشن، شیوه‌ی مسیریابی تابع زیان به ازای هر موقعیت، و مسئله‌ی ایجاد تعادل پس از آن را پوشش دهید. سپس بگویید معماری هم‌خانواده‌ی آن چه تغییراتی ایجاد کرده است.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

متن به‌صورت توکن‌های گسسته از جدول امبدینگ (embedding) وارد می‌شود؛ تصویر به‌شکل پچ‌های پیوسته‌ی 16 در 16 پیکسل از طریق یک تصویرسازی خطی (linear projection) وارد شده و میان تگ‌های شروع و پایان تصویر قرار می‌گیرد. یک گذر رو به جلو (forward pass) روی دنباله‌ی ترکیبی اجرا می‌شود و تابع زیان برای هر موقعیت به‌طور مجزا تعیین خواهد شد: آنتروپی متقاطع (cross-entropy) روی هد واژگان برای موقعیت‌های متنی، و رگرسیون تطبیق جریان (flow-matching) برای پچ‌های تصویر که بردار سرعت را از پچ نویزدار به سمت پچ تمیز در یک زمان نمونه‌برداری‌شده پیش‌بینی می‌کند. ماسک به‌صورت بلوکی-مثلثی است؛ روی متن به‌شکل علّی (causal) و میان پچ‌های یک تصویر، دوطرفه عمل می‌کند؛ به این ترتیب که متن به تصاویری که پیش از آن بسته‌ شده‌اند اتنشن دارد و پچ‌ها به متنِ قبل از خود نگاه می‌کنند. هر دو تابع زیان از میان وزن‌های مشترک پس‌انتشار (backpropagate) می‌یابند، بنابراین بزرگی نسبی آن‌ها را باید به‌صورت دستی متعادل کرد؛ معماری هم‌خانواده اتنشن مشترک را حفظ می‌کند، ولی در هر بلوک وزن‌های اختصاصی خود را به متن و تصویر می‌دهد.

پاسخ کامل

ورودی

در این دنباله دو نوع موقعیت داریم: موقعیت متنی که شامل شناسه‌ی توکن است و از جدول امبدینگ عبور می‌کند؛ موقعیت تصویری که حاوی یک بردار پچ با مقادیر حقیقی است و توسط یک لایه‌ی خطی به بعد پنهان تصویر می‌شود—دقیقاً همان روشی که ترنسفورمر بینایی (Vision Transformer) ورودی‌اش را امبد می‌کند. تگ‌ها نیز نقطه‌ی شروع و پایان تصویر را مشخص می‌کنند.

ماسک

M[i, j] = 1 if
  i and j are text and j <= i                        causal text
  or i and j are patches of the same image           bidirectional inside an image
  or i is text, j is a patch, and that image closed before i
  or i is a patch, j is text, and j precedes the image start

وادارسازی معلم (teacher forcing) روی متن نیازمند بخش علّی است. تصویر یک اسنپ‌شات (snapshot) واحد به‌شمار می‌رود، بنابراین همه‌ی پچ‌های آن می‌توانند یکدیگر را ببینند.

تابع زیان به ازای هر موقعیت

  • متن: آنتروپی متقاطع هد واژگان در برابر توکن بعدی.
  • تصویر: نمونه‌برداری از زمان t، درونیابی میان پچ تمیز و نویز با وزن t، خوراندن پچ نویزدار به مدل، و رگرسیون بردار سرعت (یعنی نویز منهای پچ تمیز) با میانگین مربعات خطا (Mean Squared Error).

هر دو عبارت در قالب یک تابع زیان با هم جمع می‌شوند و یک گام رو به عقب (backward pass) را شکل می‌دهند؛ بنابراین بدنه‌ی مشترک مدل هر دو گرادیان را دریافت می‌کند.

تولید

رمزگشایی متن به‌صورت توکن‌به‌توکن انجام می‌شود. وقتی مدل تگ شروع تصویر را تولید کرد، فرایند تولید به یک حلقه‌ی حذف نویز روی پچ‌های تصویر (مشروط به متنِ تولیدشده تا آن لحظه) تغییر حالت می‌دهد؛ چند ده گام پیش می‌رود و سپس دوباره به تولید متن بازمی‌گردد.

مسئله‌ی برقراری تعادل

دو تابع زیان در مقیاس‌های متفاوتی قرار دارند. تمرین این درس سناریویی با ترکیب 70 درصد موقعیت متنی و 30 درصد موقعیت تصویری را مطرح می‌کند که در آن بزرگیِ تابع زیان تصویر حدوداً ده برابر تابع زیان متن است؛ بدون وزن‌دهی مناسب، یک هد بر کل گرادیان مشترک چیره می‌شود. تعیین این وزن‌ها و ناهماهنگی در برنامه‌ی زمانی (schedule) این دو هدف، فرایند جست‌وجوی مجزایی می‌طلبد که بهای حذف کوانتیزه‌ساز است. پاداش این کار، دستیابی به کیفیت تصویری بالاتر از یک مدل گسسته با همان ابعاد است؛ یعنی 3 تا 5 امتیاز بالاتر در معیارهای استاندارد تصویر که در مقاله گزارش شده است.

معماری هم‌خانواده

ترنسفورمر انتشار چندوجهی که در ساختار یک مدل نام‌آشنای تولید تصویر به کار رفته، اتنشن مشترک میان مودالیته‌ها را حفظ می‌کند؛ اما در هر بلوک وزن‌های جداگانه‌ای برای کوئری، کلید، مقدار و MLP به متن و تصویر اختصاص می‌دهد. این مدل با جریان تصحیح‌شده (Rectified Flow) آموزش می‌بیند و در نسخه‌های 2B و 8B پارامتری عرضه شده است. وزن‌های مجزا بخشی از فشارِ برقراری تعادل را به بهای افزایش تعداد پارامترها کاهش می‌دهند.

جایگاه این روش

معماری‌های مبتنی بر کدهای گسسته، این جزئیات فنی پیچیده را فدای داشتن یک تابع زیان واحد و البته محدودیت‌های سقف دقت توکنایزر می‌کنند؛ معماری گسسته‌ی ماسک‌شده نیز یک تابع زیان و رمزگشایی موازی (parallel decoding) را حفظ می‌کند. اگر کیفیت و وفاداری به تصویر اولویت اصلی باشد و فرمول دوگانه‌ی تابع زیان را بپذیرید، این طراحی بهترین گزینه است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا پچ‌های تصویر می‌توانند اتنشن دوطرفه داشته باشند ولی متن نمی‌تواند؟ پاسخ مورد انتظار: متن تحت وادارسازی معلم از چپ به راست تولید می‌شود، پس هیچ توکنی نباید هدف خود را ببیند؛ اما تصویر در قالب یک اسنپ‌شات واحد ساخته می‌شود و پچ‌های آن ترتیب خاصی ندارند.
  • سطح 4: وزن‌های تابع زیان را چگونه تنظیم می‌کنید؟ پاسخ مورد انتظار: مقدار و نُرم گرادیان (gradient norm) هر تابع زیان را روی یک دسته‌ی نگه‌داشته‌شده (held-out batch) اندازه بگیرید، آن‌ها را طوری مقیاس‌بندی کنید که سهم برابری داشته باشند، و سپس با ارزیابی هم‌زمان متن و تصویر تنظیمات دقیق را انجام دهید؛ چرا که ممکن است یکی بهبود یابد و دیگری دچار افت کیفیت شود.
  • سطح 4: متغیر زمان نمونه‌برداری‌شده‌ی t در تابع زیان آموزش چه نقشی دارد؟ پاسخ مورد انتظار: تعیین می‌کند پچ چه میزان نویز به همراه داشته باشد تا مدل بتواند کل مسیر از نویز تا تصویر تمیز را بیاموزد؛ در زمان تولید، هر گام روی همین مسیر حرکت می‌کند.
  • سطح 4: مجموعه‌وزن‌های مجزا برای هر مودالیته در معماری هم‌خانواده چه هزینه و چه مزایایی دارد؟ پاسخ مورد انتظار: هزینه‌ی آن افزایش پارامترها به ازای هر بلوک است؛ در مقابل، ظرفیت محاسباتی مجزایی برای ویژگی‌های آماری بسیار متفاوت این دو ورودی فراهم می‌کند و برقراری تعادل را آسان‌تر می‌سازد، در حالی که اتنشن مشترک همچنان به مودالیته‌ها امکان شرطی‌سازی متقابل را می‌دهد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «یک ترنسفورمر فقط می‌تواند یک تابع زیان داشته باشد.» تابع زیان تابعی از خروجی‌های هر موقعیت است؛ هدایت تابع زیان‌های متفاوت به موقعیت‌های مختلف در قالب یک تابع هدف جمع‌بندی‌شده و با یک گام رو به عقب پیاده می‌شود.
  • «برای سادگی در همه‌جا از ماسک علّی استفاده کنید.» اتنشن علّی درون یک تصویر، بخشی از آن را از دید پچ‌های خودش پنهان می‌کند و به کیفیت خروجی آسیب می‌زند؛ ماسک درون یک بلوک تصویر باید دوطرفه باشد.
  • «دو تابع زیان خودبه‌خود متعادل می‌شوند چون وزن‌های مشترکی دارند.» وزن‌های مشترک دقیقاً ریشه‌ی مسئله هستند: تابع زیان بزرگ‌تر بر گرادیان مشترک چیره می‌شود، مگر اینکه به آن‌ها وزن دستی بدهید.

کجای دوره آموزش داده می‌شود

در درس Transfusion سازوکار آموزش با دو تابع زیان و ماسک مربوطه پیاده‌سازی شده و معماری هم‌خانواده‌ی آن معرفی می‌شود؛ و در درس Show-o این روش در مقایسه با طراحی‌های گسسته بررسی می‌شود.