یک مدل یکپارچهی مبتنی بر پیشبینی توکن بعدی (next-token)، تصویری با ابعاد 512 در 512 را بهصورت دنبالهای از کدهای گسسته تولید میکند. تخمین بزنید که با یک سرعت رمزگشایی معمول، تولید یک تصویر چقدر زمان میبرد، آن را با یک مدل دیفیوژن مقایسه کنید و بگویید یک کلیپ ویدیویی 4 ثانیهای با رزولوشن پایین چقدر کد مصرف میکند. در پایان، اهرمهایی را نام ببرید که این محاسبات را تغییر میدهند.
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
توکنایزر مدل مرجع هر 8 در 8 پیکسل را به یک کد کاهش میدهد؛ بنابراین یک تصویر 512 در 512 معادل 4096 کد است. با سرعت حدود 30 کد در ثانیه، تولید هر تصویر حدود 2 دقیقه طول میکشد؛ در حالی که یک مدل دیفیوژن در همان ردهی کیفی تنها به 2 تا 5 ثانیه زمان نیاز دارد. یک کلیپ 4 ثانیهای با نرخ 8 فریم در ثانیه شامل 32 فریم است؛ با همان کاهش ابعادی 8 برابری در فضا و کاهش 4 فریمی در زمان، یک کلیپ 256 در 256 به 32 در 32 در 8، یعنی 8192 کد نیاز دارد. اهرمهای تغییردهندهی این معادله عبارتاند از: تعداد کدهای هر تصویر، سرعت رمزگشایی بهکمک دیکودینگ حدسی یا کش کلید-مقدار (KV cache)، و بهکارگیری یک طرح رمزگشایی متفاوت مثل رمزگشایی موازی با ماسک (masked parallel decoding) که بهجای یک گذر بهازای هر کد، فقط به حدود 16 گذر نیاز دارد.
پاسخ کامل
تصویر
512 / 8 = 64 codes per side
64 x 64 = 4096 codes per image
4096 codes at about 30 per second = about 2 minutes
یک مدل دیفیوژن متغیر نهان پیوسته را طی چند ده مرحله نمونهبرداری میکند و کارش در 2 تا 5 ثانیه تمام میشود. اما تولید خودبازگشتی (autoregressive) تصویر از نظر ساختاری بسیار سنگین است: یک گذر بهازای هر کد.
ویدیو
توکنایزر ویدیو سهبعدی است: هر کد ابعادی معادل 4 فریم در 8 در 8 پیکسل را پوشش میدهد.
frames: 4 s x 8 per second = 32
codes: (256 / 8) x (256 / 8) x (32 / 4) = 32 x 32 x 8 = 8,192
چرا مدل چنین هزینهای میدهد؟
همان وزنهای مدل، همزمان تولید تصویر، فهم تصویر و پردازش ویدیو را با یک تابع زیان (loss) واحدِ پیشبینی توکن بعدی انجام میدهند؛ بدون نیاز به زمانبندی دیفیوژن (diffusion schedule) و بدون انکودر متنی مجزا. سقف کیفیت مدل را توکنایزر تعیین میکند: طبق گزارش مدل مرجع، کیفیت بازسازی 30.5 دسیبل است (در مقایسه با حدود 32 دسیبل برای یک فضای نهان پیوسته)، آن هم با 4 برابر کد بیشتر و کتاب کد (codebook) 4 برابر بزرگتر نسبت به مدل اولیهی ادغام زودهنگام (early-fusion).
اهرمهای تنظیم در زمان استنتاج
- هدایت بدون طبقهبند (Classifier-free guidance): تولید تصویر با کپشن و بدون کپشن، و ترکیب لاجیتها با یک وزن مشخص که معمولاً بین 3.0 تا 7.0 است؛ این کار تعداد گذرهای رو به جلو (forward passes) بهازای هر کد را 2 برابر میکند.
- دما (Temperature): در دستورالعمل مدل مرجع، این مقدار برای تولید تصویر 0.8 و برای فهم تصویر 1.0 است.
- دیکودینگ حدسی فاصلهی سرعت با دیفیوژن را کمتر میکند و کش کلید-مقدار هم همین کار را انجام میدهد، اما هیچکدام این شکاف را کاملاً پر نمیکنند.
یک طرح رمزگشایی متفاوت
رمزگشایی موازی با ماسک، کدهای گسسته را حفظ میکند اما تمام موقعیتهای ماسکشده را یکباره پیشبینی کرده و مطمئنترینها را commit میکند. این روش برای یک تصویر به حدود 16 گذر نیاز دارد؛ در مقایسه با حدود 20 گذر برای دیفیوژن پیوسته و یک گذر بهازای هر کد در روش معمولی پیشبینی توکن بعدی.
سؤالهای تکمیلی مصاحبهگر
- سطح 2: چرا استفاده از guidance هزینه را دوبرابر میکند؟ پاسخ مورد انتظار: هر مرحله برای ترکیب خروجیها به دو گذر رو به جلو نیاز دارد؛ یکی شرطی (conditional) و دیگری بدون شرط (unconditional).
- سطح 2: برای ابعاد 1024 در 1024 چه تغییری در زمان تولید هر تصویر رخ میدهد؟ پاسخ مورد انتظار: با همان نسبت کاهش ابعاد، تعداد کدها 4 برابر میشود و در نتیجه زمان رمزگشایی هم تقریباً 4 برابر خواهد شد؛ تمرین این درس دقیقاً همین شمارش را میخواهد.
- سطح 3: سقف کیفیت این مدل کجاست و چه چیزی آن را نسبت به نخستین مدل با واژگان مشترک ارتقا داد؟ پاسخ مورد انتظار: در بازسازی توکنایزر نهفته است؛ 4 برابر کد بیشتر بهازای هر تصویر و یک کتاب کد 4 برابر بزرگتر، کیفیت بازسازی را به 30.5 دسیبل رساند.
- سطح 3: چه زمانی باز هم این روش را به یک مدل دیفیوژن ترجیح میدهید؟ پاسخ مورد انتظار: زمانی که یک مدل واحد باید بتواند تصویر، ویدیو و متن را با یک تابع زیان بفهمد و تولید کند، و سقف تاخیر (latency budget) اجازهی صرف چند دقیقه برای هر تصویر را بدهد یا سیستم بر پایهی یک پایپلاین دستهای (batch) کار کند.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «یک تصویر چند صد توکن بیشتر نیست، درست مثل ورودی یک VLM.» اینها توکنهای تصویرشدهی انکودر برای فهم تصویر هستند؛ در حالی که تولید تصویر به کدهای گسسته با چگالی توکنایزر نیاز دارد که برای این ابعاد تصویر برابر با 4096 کد است.
- «دیفیوژن کندتر است چون فرآیندی تکرارشونده دارد.» دیفیوژن چند ده گذر را همزمان روی تمام پیکسلها اجرا میکند؛ اما تولید بر اساس توکن بعدی، بهازای هر کد یک گذر نیاز دارد که یعنی هزاران گذر برای هر تصویر.
- «کتاب کد بزرگتر سرعت تولید را بالا میبرد.» کتاب کد بزرگتر کیفیت بازسازی را بالا میبرد؛ تعداد گذرها را تعداد کدها تعیین میکند، نه اندازهی کتاب کد.
کجای دوره آموزش داده میشود
درس Emu3 کدهای تصویر و ویدیو را میشمارد و هزینهی رمزگشایی را محاسبه میکند، و درس Show-o تعداد گذرهای این سه طرح رمزگشایی را با هم مقایسه میکند.