در خانوادهی مدلهای تولید یکپارچه، گفته میشود کیفیت تصویر تولیدشده نه توسط ترنسفورمر (transformer)، بلکه توسط توکنایزر (tokenizer) محدود میشود. دلیل این موضوع را توضیح دهید، نشان دهید چه عاملی این سقف را بین دو نسل از مدلها جابهجا کرد، و بگویید کدام معماری این سقف را کاملاً دور میزند و این کار چه هزینهای دارد.
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
یک توکنایزر گسستهی تصویر، اتلافی (lossy) است: دیکودر (decoder) فقط میتواند چیزهایی را بازسازی و رندر کند که کدها با خود حمل میکنند؛ بنابراین بهترین تصویری که مدل در ایدهآلترین حالت ممکن تولید میکند، صرفاً بازسازیِ خود توکنایزر از یک تصویر واقعی است. اولین مدل با واژگان مشترک، بهازای هر تصویر 512 در 512 از 1024 کد برآمده از یک کتاب کد (codebook) با ظرفیت 8192 استفاده میکرد و تصویر را با کیفیتی در حدود 26 تا 28 dB بازسازی میکرد؛ نسل بعدی از چهار برابر کد، یعنی 4096، و کتاب کدی چهار برابر بزرگتر با ظرفیت 32768 استفاده کرد و به 30.5 dB رسید که به کیفیت 32 dB در دیفیوژن نهان (latent diffusion) پیوسته نزدیک است. معماریای که این سقف را کاملاً دور میزند، پچهای (patch) تصویر را پیوسته نگه میدارد و یک تابع زیان دیفیوژن (diffusion loss) را در کنار تابع زیان متن، روی یک ترنسفورمر واحد آموزش میدهد؛ این روش، کوانتایزر (quantizer) را حذف میکند و به وفاداری بصری بالاتری میرسد، اما هزینهاش برقراری تعادل میان دو تابع زیان با مقیاسهای متفاوت و یک حلقهی نمونهبرداری در زمان تولید تصویر است.
پاسخ کامل
چرا این سقف وجود دارد
ترنسفورمر کدها را پیشبینی میکند. دیکودر نیز بدون هیچ ورودی دیگری، این کدها را به پیکسل تبدیل میکند. جزئیاتی که کوانتایزر در زمان انکود کردن دور ریخته است، دیگر بازنمیگردند: حتی یک ترنسفورمر بینقص که دقیقاً کدهای یک تصویر واقعی را پیشبینی کند، در نهایت فقط بازسازی توکنایزر از آن تصویر را رندر میکند و نه چیزی بهتر از آن. بنابراین، کیفیت بازسازی در واقع یک حد بالا (upper bound) برای وفاداری به تصویر واقعی محسوب میشود؛ یعنی همان چیزی که ارقام dB در جدول زیر اندازه میگیرند. معیارهای توزیعی، ویژگی متفاوتی را میسنجند و مشمول این حد بالا نمیشوند.
چه عاملی سقف را جابهجا کرد
| نسل مدل | کدها بهازای هر تصویر 512 در 512 | کتاب کد | بازسازی |
|---|---|---|---|
| اولین مدل با واژگان مشترک | 1024 | 8192 | حدود 26 تا 28 dB |
| مدل مبتنی بر پیشبینی توکن بعدی | 4096 | 32768 | 30.5 dB |
| دیفیوژن نهان پیوسته (جهت مقایسه) | پیوسته | ندارد | حدود 32 dB |
تعداد کدِ چهار برابری، چهار برابر جزئیات مکانی بیشتری را حمل میکند، و کتاب کدی که چهار برابر بزرگتر است، مقادیر دقیقتری را بهازای هر کد نگه میدارد. برگ برندهی مدل جدیدتر در واقع یک توکنایزر بهتر بود؛ بهکمک همین توکنایزر، روش پیشبینی توکن بعدی (next-token prediction) توانست در بنچمارک تولید تصویر با یک مدل دیفیوژن برابری کند.
هزینهی کدهای بیشتر
در روش استاندارد پیشبینی توکن بعدی، هر کد نیازمند یک گام رمزگشایی (decode pass) است؛ بنابراین چهار برابر کد بیشتر یعنی چهار برابر زمان بیشتر برای تولید تصویر. روش رمزگشایی موازی (parallel decoding) ماسکشده، کدها را گسسته نگه میدارد و تمام موقعیتهای ماسکشده را بهطور همزمان در حدود 16 گام پیشبینی میکند؛ اینگونه هزینهی شبکهی بزرگتر جبران میشود.
معماری بدون سقف
تصویر را پیوسته نگه دارید. پچها را مانند کاری که یک ترنسفورمر بینایی (vision transformer) در ورودی خود انجام میدهد با یک لایهی خطی نگاشت کنید (project)، و یک ترنسفورمر واحد را با دو تابع زیان آموزش دهید: آنتروپی متقاطع (cross-entropy) روی توکنهای متنی و یک تابع زیان تطبیق جریان (flow-matching loss) روی پچهای نویزدار تصویر. در اینجا هیچ کوانتایزری وجود ندارد که جزئیات را محدود کند. مقالهی این روش گزارش میدهد که امتیاز تصویر در این حالت، 3 تا 5 نمره بهتر از یک مدل گسسته با همان اندازه است. بهای این کیفیت: دو تابع زیان با بزرگیهای متفاوت که وزنهای آنها نیازمند تنظیم دقیق است، یک ماسک اتنشن (attention mask) مثلثی-بلوکی، و یک حلقهی حذف نویز با چند ده مرحله بهازای هر تصویر در زمان تولید.
کدام را باید انتخاب کرد
وقتی یک پشتهی یکپارچهی مبتنی بر پیشبینی توکن بعدی قرار است فهم و تولید تصویر و ویدیو را همگی با یک تابع زیان واحد مدیریت کند و سقف کیفی توکنایزر را میپذیرید، کدهای گسسته را انتخاب کنید. اگر وفاداری تصویر اولویت اصلی است و دردسرهای فنیِ هماهنگکردن دو تابع زیان مختلف را میپذیرید، پچهای پیوسته گزینهی مناسبی هستند.
سؤالهای تکمیلی مصاحبهگر
- سطح 3: چرا امتیاز بازسازی توکنایزر دقیقاً همان عددی است که باید پیش از آموزش ترنسفورمر بررسی کرد؟ پاسخ مورد انتظار: این عدد همان سقف کیفیت است؛ هیچ میزانی از افزایش مقیاس ترنسفورمر نمیتواند تصویر تولیدشده را فراتر از آنچه دیکودر قادر است از روی کدها رندر کند، ببرد.
- سطح 3: چه عامل دیگری بهجز کتاب کد و تعداد کدها کیفیت توکنایزر را ارتقا میدهد؟ پاسخ مورد انتظار: طراحی کوانتایزر؛ مدلهای جدیدتر از خانوادهی کوانتایزرهای با گلوگاه معکوس (inverse-bottleneck) استفاده میکنند که از کتاب کدِ بزرگتر به شکلی بهینه بهره میبرند، در حالی که در یک طراحی ساده، بخش زیادی از کدهای یک کتاب کد بزرگ بلااستفاده میماند.
- سطح 4: ماسک اتنشن در معماری پیوسته چه تفاوتی دارد؟ پاسخ مورد انتظار: برای توکنهای متنی بهصورت علی (causal) است، میان پچهای یک تصویر واحد بهصورت دوطرفه عمل میکند، متن به تصاویری که پیش از آن بسته شدهاند اتنشن دارد، و پچهای تصویر به متنِ ماقبل خود اتنشن دارند؛ یعنی یک ماسک مثلثی-بلوکی (block-triangular mask).
- سطح 4: معماری گسستهی ماسکشده در کجای این مصالحه (trade-off) قرار میگیرد؟ پاسخ مورد انتظار: در سمت مدلهای گسسته، با همان سقف کیفی توکنایزر، اما با رمزگشایی موازی در چند گام اندک؛ این روش وفاداری دیفیوژن پیوسته را فدای آموزش سادهتر و نمونهبرداری سریعتر میکند.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «مقیاس ترنسفورمر را بزرگتر کنید تا تصاویر واضحتر شوند.» ترنسفورمر فقط کدها را پیشبینی میکند؛ وضوحی فراتر از بازسازیِ خود توکنایزر اصلاً در این کدها وجود ندارد که مدل بخواهد آن را پیشبینی کند.
- «کتاب کدِ بزرگتر بهتنهایی کافی است.» تعداد کدها جزئیات مکانی را تعیین میکند و کتاب کد جزئیات مقادیر را؛ توکنایزر جدیدتر هر دوی اینها را ارتقا داد، و این طراحی کوانتایزر است که تعیین میکند آیا واقعاً از ظرفیت یک کتاب کد بزرگ استفاده میشود یا خیر.
- «پچهای پیوسته قطعاً بهتر هستند، پس کدهای گسسته منسوخ شدهاند.» پچهای پیوسته هزینهی متوازنسازیِ دو تابع زیان و یک حلقهی حذف نویز بهازای هر تصویر را تحمیل میکنند؛ خانوادهی گسسته یک تابع زیان و یک دیکودر واحد را برای تمام مدالیتهها حفظ میکند، و به همین دلیل هر دو روش کماکان پابرجا هستند.
کجای دوره آموزش داده میشود
درس Chameleon توکنایزر را بهعنوان سقف بازسازی معرفی میکند، درس Emu3 نشان میدهد که چگونه یک توکنایزر بهتر این سقف را جابهجا کرد، و درس Transfusion معماری پیوسته و هزینههای آن را شرح میدهد.