یک ابزار طراحی قصد دارد مدلی با وزنهای متنباز و قابل میزبانی ارائه دهد که به پرسشهای مربوط به تصویر کاربر پاسخ دهد، بخشی از آن را طبق درخواست ویرایش کند و از روی متن، تصویر جدیدی بسازد. تاخیر پردازش برای هر تصویر باید در حد چند ثانیه بماند، نه چند دقیقه. خانوادههای مدلی را که در نظر میگیرید مشخص کنید، یکی را برگزینید و آزمونی را شرح دهید که در صورت رد شدن، انتخابتان را تغییر دهد.
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
سه خانوادهی متنباز وجود دارند که درک و تولید تصویر را در قالب یک مدل پوشش میدهند: پیشبینی توکن بعدی (Next-Token Prediction) روی کدهای گسسته، که همهچیز را با یک تابع زیان (loss) انجام میدهد اما به ازای هر کد یک گذر پردازشی میخواهد و برای هر تصویر چند دقیقه زمان میبرد؛ پچهای پیوسته همراه با تابع زیان دیفیوژن در کنار تابع زیان متن، که بالاترین وفاداری تصویر را در حدود 20 گذر ارائه میدهد اما دو تابع زیان را آموزش میدهد؛ و رمزگشایی گسستهی ماسکشده (masked discrete decoding)، که ساختار تکزیانی را حفظ میکند، یک تصویر را در حدود 16 گذر کامل میسازد و به لطف هدف ماسکگذاریاش، ویرایش موضعی را رایگان در اختیارتان میگذارد. برای ابزاری که به ویرایش موضعی و تاخیر در حد چند ثانیه با وزنهای متنباز نیاز دارد، کار را با خانوادهی گسستهی ماسکشده شروع کنید. اگر ارزیابی وفاداری تصویر روی پرامپتهای اختصاصی شما نشان داد که سقف کیفی کوانتایزر به خروجی آسیب میزند، یا اگر سقف تاخیر (latency budget) اجازهی اجرای 16 گذر کامل را نمیدهد، انتخابتان را تغییر دهید؛ در این صورت، خانوادهی پیوسته با دو تابع زیان جایگزین میشود و ویرایش از طریق حذف نویز شرطی روی همان ناحیه انجام خواهد گرفت.
پاسخ کامل
تطبیق نیازمندیها
| نیازمندی | پیشبینی توکن بعدی روی کدها | دو تابع زیان پیوسته | گسستهی ماسکشده |
|---|---|---|---|
| پاسخگویی به پرسشهای تصویری | بله | بله | بله |
| ویرایش موضعی | ممکن ولی کند: بازتولید توالی کدها | ممکن از طریق حذف نویز شرطی | بومی مدل: ماسک کردن کدهای آن ناحیه |
| تبدیل متن به تصویر | بله، چند دقیقه برای هر تصویر | بله، حدود 20 گذر | بله، حدود 16 گذر |
| آموزش | یک تابع زیان | دو تابع زیان که باید متوازن شوند | یک آنتروپی متقاطع (Cross-Entropy) روی موقعیتهای ماسکشده |
| سقف وفاداری تصویر | کوانتایزر، 30.5 dB در بهترین مرجع | بدون کوانتایزر، حدود 32 dB و بالاتر | کوانتایزر |
| وزنهای متنباز برای میزبانی | بله | بله | بله |
چرا مدل گسستهی ماسکشده انتخاب اول است؟
ویرایش همان قابلیتی است که این محصول را متمایز میکند، و هدف ماسکگذاری اساساً همان ویرایش است: یک ناحیه را ماسک کنید، بقیه را نگه دارید، پرامپت را اضافه کنید و خروجی را پیشبینی کنید. تاخیری در محدودهی ده الی بیست گذر، با سقف زمانی چندثانیهای جور درمیآید. وجود یک تابع زیان یعنی برای اجرا فقط با یک دستورالعمل آموزشی سر و کار دارید. مدل مرجع متنباز، تولید متن، پاسخگویی به پرسشها، تبدیل متن به تصویر و اینپینتینگ (Inpainting) را همگی از یک چکپوینت (Checkpoint) ارائه میدهد.
چرا دو گزینهی دیگر انتخاب اول نیستند؟
پیشبینی توکن بعدی روی کدها هزاران گذر پردازشی برای هر تصویر نیاز دارد؛ در پیادهسازی مرجع، تولید یک تصویر 512 در 512 با نرخ رمزگشایی معمول حدود 2 دقیقه طول میکشد و ویرایش یک ناحیه یعنی بازتولید ترتیبی کدها. معماری پیوسته بهترین وفاداری را دارد و به سقف کیفی کوانتایزر محدود نمیشود، اما ترکیب دو تابع زیان در مقیاسهای متفاوت نیازمند جستجوی وزن مناسب برای توازن است، و ویرایش نیز به یک نمونهگیر (Sampler) حذف نویز شرطی نیاز دارد که باید خودتان آن را بسازید.
آزمون تعیینکننده برای انتخاب نهایی
- وفاداری تصویر: مجموعهی پرامپتهای خودتان را در تعداد گذرهای برابر با مرجع پیوسته مقایسه کنید؛ اگر سقف کیفی کوانتایزر خود را بهشکل از دست رفتن بافتهای ظریف یا متنهای ناخوانا در تصاویر نشان داد، تصمیم تغییر میکند.
- کیفیت ویرایش: کیفیت مرزهای ویرایش و میزان پایبندی به پرامپت را در ویرایش نواحی ماسکشده بسنجید.
- تاخیر در وضوح تصویر و تعداد گذرهای مدنظر روی سختافزار خودتان؛ 16 گذر کامل در یک ترنسفورمر (Transformer) بزرگ همچنان ممکن است از سقف تاخیر فراتر برود.
- درک تصویر: همان آزمون ارزیابی پاسخگویی به پرسشها که تا الان اجرا میکردید؛ زیرا مدل یکپارچه نباید از مدل تطبیقدهندهای (Adapter) که جایش را میگیرد ضعیفتر عمل کند.
نکات عملیاتی
توکنایزر را ثابت نگه دارید و نسخهی آن را همراه با مدل ثبت کنید؛ تغییر توکنایزر تمام کدهای ذخیرهشده را بیاعتبار میکند. زمانبندی ماسک و تعداد گذرها را بهعنوان پارامترهای استقرار ثبت کنید؛ چرا که این پارامترها به شما اجازه میدهند در زمان سرویسدهی و بدون نیاز به آموزش مجدد، بین تاخیر و کیفیت تعادل برقرار کنید.
سؤالهای تکمیلی مصاحبهگر
- سطح 3: هدف آموزشی ماسکگذاری کدامیک از این سه وظیفه (task) را رایگان فراهم میکند و چرا؟ پاسخ مورد انتظار: ویرایش موضعی؛ فرایند آموزش، کدهای ماسکشده را از روی باقی تصویر پیشبینی میکند و این دقیقاً همان چیزی است که یک درخواست ویرایش میخواهد.
- سطح 4: در معماری پیوسته ویرایش موضعی را چگونه انجام میدهید؟ پاسخ مورد انتظار: پچهای بیرون از ناحیهی مدنظر را در تمام مراحل حذف نویز ثابت نگه میدارید و فقط نویز همان ناحیه را با شرط متن و بافت زمینه حذف میکنید؛ این روش کار میکند، اما نمونهگیری است که خودتان باید بنویسید، نه یک هدف آموزشی در مرحلهی آموزش.
- سطح 4: چرا تعداد گذرها در معماری ماسکشده به یک پارامتر زمان سرویسدهی تبدیل میشود؟ پاسخ مورد انتظار: گذرهای بیشتر در هر مرحله کدهای کمتری را commit میکنند و کیفیت را بالا میبرند، درحالیکه گذرهای کمتر تاخیر را کاهش میدهند؛ از آنجا که این زمانبندی در مرحلهی استنتاج تنظیم میشود، محصول میتواند بهازای هر درخواست بین آنها تعادل برقرار کند.
- سطح 4: چه سنجهی واحدی نشان میدهد که کوانتایزر گلوگاه سیستم است؟ پاسخ مورد انتظار: کیفیت بازسازی توکنایزر روی تصاویر واقعی شما؛ اگر بازسازی اولیهی توکنایزر جزئیاتی را که کاربران به آن اهمیت میدهند از بین ببرد، هیچ مدل تولیدکنندهای نمیتواند آن جزئیات را از روی آن کدها بازیابی کند.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «مدل مبتنی بر پیشبینی توکن بعدی را مستقر کنید؛ یک تابع زیان، یک پشتهی یکپارچه و بدون هیچ سازشی.» چند دقیقه زمان برای هر تصویر با نرخ رمزگشایی مرجع، شرط سقف تاخیر را نقض میکند و ویرایش موضعی نیز نیازمند بازتولید ترتیبی کدهاست.
- «معیار اصلی وفاداری تصویر است، پس باید به سراغ معماری پیوسته رفت.» وفاداری تنها یکی از نیازمندیهاست؛ سهولت ویرایش و سادگی عملیاتی، اولویت را به معماری ماسکشده میدهند، مگر اینکه نتایج ارزیابی نشان دهد سقف کوانتایزر واقعاً مشکلساز است.
- «مدلی را بردارید که بالاترین امتیاز بنچمارک را دارد.» این محصول به سه وظیفهی همزمان، سازوکار ویرایش و رعایت سقف تاخیر نیاز دارد؛ درحالیکه یک بنچمارک در بهترین حالت فقط یکی از این موارد را میسنجد.
کجای دوره آموزش داده میشود
در درس Show-o جایگاه این سه خانواده و وظایف تحت پوشش یک چکپوینت بررسی شده است، در درس Transfusion معماری پیوسته شرح داده شده و در درس Emu3 هزینهی پردازشی به ازای هر کد در روش پیشبینی توکن بعدی محاسبه شده است.