تولید تصویر توکنبهتوکن در گذشته بهمعنای پیشبینی کدها یکی پس از دیگری در ترتیب پیمایش سطری (Raster order) بود. اما روشی جدیدتر، شبکههای کامل را با تفکیکپذیری رو به افزایش پیشبینی میکند. توضیح دهید که این روش در هر گام چه چیزی را پیشبینی میکند، چرا ضعف اصلی روش قدیمی را برطرف میسازد و از نظر تعداد گذر رو به جلو در شبکه، چه تفاوتی با مدلهای دیفیوژن (Diffusion) دارد.
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
پیشبینی مقیاس بعدی (Next-scale prediction)، تصویر را به هرمی از شبکهها توکنایز میکند؛ از یک تککد گرفته تا تفکیکپذیری کامل فضای نهان (Latent)، همراه با یک کوانتایزر پسماند (Residual quantizer) تا حاصلجمع مقیاسها تصویر را بازسازی کند. ترنسفورمر بین مقیاسها بهصورت علیّتی (Causal) و درون هر مقیاس بهصورت موازی عمل میکند: با داشتن تمام شبکههای درشتتر، همهی کدهای شبکهی بعدی را در یک گذر پیشبینی میکند. این کار مسئلهی ترتیب پیمایش سطری را حل میکند؛ مشکلی که در آن، کد گوشهی ابتدایی تصویر باید پیش از وجود هرگونه بافتی commit میشد. برای یک تصویر 256 در 256، پیادهسازی مرجع از حدود 10 مقیاس استفاده میکند؛ بنابراین تولید تصویر حدود 10 گذر لازم دارد (در مقایسه با 28 تا 50 گذر در ترنسفورمر دیفیوژن) و تمام کدهای یک مقیاس همزمان به دست میآیند.
پاسخ کامل
توکنایزر
یک کوانتایزر پسماند چندمقیاسی: تصویر را به یک متغیر نهان انکود کنید و با یک کتاب کد مشترک، آن را ابتدا در ابعاد 1 در 1، سپس 2 در 2، بعد 4 در 4 و همینطور تا رسیدن به شبکهی نهان کامل کوانتایز نمایید. هر مقیاس مواردی را انکود میکند که مقیاسهای درشتتر جا انداختهاند و دکودر حاصلجمع تمام امبدینگهای بیشنمونهبرداریشدهی (Upsampled) مقیاسها را دریافت میکند. کتاب کد معمولاً 4096 تا 16384 درایه دارد. آن را یک بار آموزش میدهید و سپس فریز میکنید.
مدل
ورودی مقیاس 1 یک توکن شروع است. ورودی هر مقیاس بعدی k شبکهای است که صرفاً از مقیاسهای درشتتر ساخته شده و به ابعاد مقیاس k بیشنمونهبرداری شده است. کدهای مقیاس k، مقادیر هدف در همان موقعیتها هستند و تنها برای مقیاسهای پس از k وارد ورودی میشوند. امبدینگهای موقعیت، شاخص مقیاس و موقعیت درون مقیاس را منتقل میکنند. ماسک اتنشن بهصورت علیّتی بلوکی (Block-causal) است: یک کد در مقیاس k به تمام کدهای مقیاسهای 1 تا k اتنشن دارد (از جمله تمام موقعیتهای مقیاس خودش) و به هیچ مقیاس ریزتری اتنشن ندارد. آموزش مدل با استفاده از آنتروپی متقاطع روی کدهای هر مقیاس به شرطِ داشتن مقیاسهای درشتتر انجام میشود.
چرا ترتیب پیمایش سطری را شکست میدهد
- حرکت از درشت به ریز با آمارههای تصویر همخوانی دارد: ساختار فرکانس پایین پایدار و قابل پیشبینی است و جزئیات بر آن شرطی میشوند.
- موازیسازی درون هر مقیاس: طول فرایند تولید تصویر بهجای خطی بودن، نسبت به تعداد پیکسلها لگاریتمی است.
- نبود سوگیری ترتیبی: درون یک مقیاس هیچ بخشی سمت چپ یا بالای بخش دیگری نیست؛ بنابراین هیچ کد اولیهای پیش از شکلگیری بافتهای بعدی commit نمیشود.
نتیجهی مقیاسپذیری
این مقاله از یک قانون توانی بین کیفیت تصویر و توان محاسباتی گزارش میدهد؛ درست مانند مقیاسپذیری پرپلکسیتی در مدلهای زبانی. همچنین در توان محاسباتی یکسان در یک بنچمارک شرطیشده بر کلاس، کیفیتی بهتر از ترنسفورمر دیفیوژن ثبت میکند.
ارتباط با دیفیوژن
هر دو روش، فرایند تولید را به گامهای شرطی سادهتر خرد میکنند. دیفیوژن نویز اضافه میکند و یاد میگیرد در هر مرحله مقداری از آن را حذف کند؛ پیشبینی مقیاس بعدی تفکیکپذیری را بالا میبرد و یاد میگیرد یک مقیاس دیگر را پیشبینی کند. روش بر پایهی مقیاس به گذر رو به جلوی کمتری نیاز دارد و درون هر گذر همهچیز را موازی میکند؛ در زمان نگارش این درس، نسخههای شرطیشده بر متن همچنان یک حوزهی پژوهشی باز بودند.
سؤالهای تکمیلی مصاحبهگر
- سطح 2: چرا ساختار پسماند برای توکنایزر اهمیت دارد؟ پاسخ مورد انتظار: هر مقیاس فقط چیزهایی را انکود میکند که مقیاسهای درشتتر از دست دادهاند؛ در نتیجه حاصلجمع آنها متغیر نهان را بازسازی میکند و مقیاسها تکراری و افزوده نیستند.
- سطح 2: یک کد در مقیاس k چه چیزهایی را میبیند و مجاز به دیدن چه چیزهایی نیست؟ پاسخ مورد انتظار: تمام کدهای مقیاسهای 1 تا k، از جمله موقعیتهای مقیاس خودش را میبیند، اما هیچکدام از کدهای مقیاسهای ریزتر را نمیبیند.
- سطح 3: با افزودن مقیاسها چه تغییری در کیفیت و هزینه رخ میدهد؟ پاسخ مورد انتظار: پسماندهای ریزتر و بازسازی بهتر، به بهای یک گذر اضافه بهازای هر مقیاس؛ تمرین این درس بازهی 4 تا 10 مقیاس را بررسی میکند تا نقطهی زانویی (Knee point) یا همان نقطهی بهینه را پیدا کند.
- سطح 3: شرطیسازی متنی را چگونه پیاده میکنید؟ پاسخ مورد انتظار: با ارسال یک امبدینگ متنی تجمیعشده (Pooled) از طریق نرمالسازی انطباقی (مشابه نسخهی ترکیبی در این درس) و سنجش میزان بهبود روی نمونههای منطبق با متن.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «این همان دیفیوژن است با نامی دیگر.» دیفیوژن روی سطوح نویز در متغیرهای نهان پیوسته تکرار میشود؛ اما این روش روی تفکیکپذیری کدهای گسسته گام برمیدارد و در هر گذر یک شبکهی کامل را پیشبینی میکند.
- «درون یک مقیاس، کدها همچنان یکی پس از دیگری پیش میروند.» ماسک درون یک مقیاس دوطرفه است؛ بنابراین یک گذر رو به جلو کل شبکه را تولید میکند.
- «ترتیب پیمایش سطری فقط سرعت را کم میکند.» این ترتیب به فرایند تولید سوگیری هم میدهد: کد اولیه پیش از ایجاد بافتی که باید روی آن شرطی شود commit میشود؛ موضوعی که باعث میشد سقف کیفیت این روشها در توان محاسباتی برابر، پایینتر از دیفیوژن بماند.
کجای دوره آموزش داده میشود
درس خودبازگشتی بصری توکنایزر چندمقیاسی و ماسک با ترتیب مقیاسی را پیادهسازی میکند.