یک محصول به مدلی نیاز دارد که در حال حاضر اسکرینشاتها را بخواند و به پرسشها پاسخ دهد، و شاید در آینده لازم باشد دیاگرام هم رسم کند. دو طرح روی میز است: یک مدل بر پایهی تطبیقدهنده (adapter)، که در آن یک انکودر بینایی توکنهای تصویرشده را به یک دیکودرِ فقط-متنی میفرستد؛ و مدلی که تصاویر را به کدهای گسسته در همان دایرهی واژگانِ متن تبدیل میکند و یک تابع زیان (loss) توکن بعدیِ واحد را روی توالیهای درهمتنیده آموزش میدهد. این دو رویکرد را با هم مقایسه کنید و گزینهی مناسب این محصول را برگزینید.
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
طرح مبتنی بر تطبیقدهنده از نوع ادغام دیرهنگام (Late Fusion) است: تصاویر در قالب توکنهای پیوستهی تصویرشده یا از طریق کراساتنشن (Cross-Attention) وارد میشوند، دیکودر از تمام پیشآموزش متنی خود دوباره استفاده میکند، و خروجی فقط متن است. طرح مبتنی بر دایرهی واژگان مشترک (Shared Vocabulary) از نوع ادغام زودهنگام (Early Fusion) است: یک کوانتایزر تصویر را به کدهای گسسته مینگارد، ترنسفورمر (Transformer) یک تابع زیان واحد را روی کدهای متنی و تصویری آموزش میبیند و میتواند کدهای تصویر تولید کند؛ بنابراین توانایی تولید تصویر را دارد. برای محصولی که در حال حاضر صرفاً باید اسکرینشاتها را بخواند، مدل تطبیقدهنده را انتخاب کنید: این مدل بخش بیشتری از محاسبات پیشآموزشدیده را بازاستفاده میکند، برای فهم تصویر با سقف کیفی کوانتایزر روبهرو نیست، و هزینهی سرویسدهی آن کمتر است. مدل ادغام زودهنگام را فقط زمانی اضافه کنید که رسم تصویر به یک نیاز واقعی تبدیل شود؛ چرا که کیفیت تصویر آن با کوانتایزر محدود شده و هر تصویر تولیدی به یک دور اجرای دیکودر روی هزار کد یا بیشتر نیاز دارد.
پاسخ کامل
دو مسیر برای ورود به مدل
| ادغام دیرهنگام، تطبیقدهنده | ادغام زودهنگام، دایرهی واژگان مشترک | |
|---|---|---|
| ورودی تصویر | ویژگیهای انکودر که به فضای امبدینگ (embedding) تصویر شدهاند، یا از طریق کراساتنشن خوانده میشوند | کدهای گسسته از یک کوانتایزرِ آموزشدیده، که مثل توکنهای متنی بازخوانی میشوند |
| تابع زیان (loss) | تابع زیان مدلسازی زبان روی متن | یک تابع زیان واحد برای پیشبینی توکن بعدی روی کدهای متن و تصویر با هم |
| خروجی | فقط متن | متن و تصویر، درهمتنیده به انتخاب مدل |
| بازاستفاده از LLM پیشآموزشدیده | کامل | مدل از همان ابتدا روی جریان دادهی ترکیبی آموزش میبیند |
| سقف کیفی برای درک تصویر | انکودر | بازسازیِ کوانتایزر |
| هزینهی سرویسدهی به ازای هر پاسخ | یک گام دیکودر به ازای هر توکن متنی تولیدشده | یک گام دیکودر به ازای هر توکن متنی تولیدشده، بهعلاوهی 1024 گام رمزگشایی (decode) متوالی به ازای هر تصویر تولیدی (یکی به ازای هر کد)، و سپس یک دور اجرای دیکودر برای تولید پیکسلها |
دستاوردهای ادغام زودهنگام
یک توالی، یک تابع زیان، و خروجی با مودالیتههای ترکیبی. کوانتایزرِ مدل مرجع (reference model) یک تصویر 512 در 512 را به 1024 کد از یک کتاب کد (codebook) با 8192 عضو مینگارد؛ همگی درون یک دایرهی واژگان واحد با 65536 مدخل که توکنهای متنی و جداکنندهها را هم در خود جای داده است. وقتی مدل جداکنندهی شروع تصویر را تولید میکند، 1024 کد بعدی برای ساخت پیکسلها به دیکودر فرستاده میشوند.
هزینههای آن
- سقف کیفی: کوانتایزر اتلافی (lossy) است؛ با این اندازه از کتاب کد و تعداد کد، کیفیت بازسازی در حدود 26 تا 28 dB متوقف میشود که پایینتر از 32 dB و بالاتر در مدلهای دیفیوژن نهان (Latent Diffusion) پیوسته است. کوانتایزر بهتر این سقف را بالا میبرد، اما در هر صورت سقف کار را خودِ کوانتایزر تعیین میکند.
- پایداری آموزش: آموزش ادغام زودهنگام در مقیاس بزرگ، بدون نرمالسازی کوئریها و کلیدهای اتنشن (attention)، دراپاوت (dropout) بعد از هر اتصال باقیمانده (residual)، و یک نرمالسازی اضافی روی آخرین بلوک واگرا شد.
- هزینهی محاسباتی: هر تصویر تولیدی به معنای یک دور اجرای دیکودر روی تمام کدهای آن است.
دستاوردهای ادغام دیرهنگام
این مدل به هر دیکودر پیشآموزشدیدهای متصل میشود، جریان متن را دستنخورده نگه میدارد تا توانایی متنی حفظ شود، و پردازش تصویر را تنها یکبار انجام میدهد؛ در صورت استفاده از کراساتنشن، کلیدها و مقادیر تصویر در تمام گامهای رمزگشایی کَش میشوند. این معماری نمیتواند تصویر تولید کند.
انتخاب نهایی
خواندن اسکرینشات از جنس درک و فهم است، و امروزه مدل تطبیقدهنده ابزار سادهتر و قدرتمندتری برای این کار بهشمار میرود. زمانی که نیاز به رسم تصویر پیش آمد، قبل از اینکه کل پشتهی فنی را به سمت ادغام زودهنگام ببرید، بررسی کنید که آیا استفاده از یک مدل تولید تصویرِ جداگانه در قالب یک فراخوانی ابزار (tool call) نیازتان را برطرف میکند یا خیر.
سؤالهای تکمیلی مصاحبهگر
- سطح 2: چرا مدل تطبیقدهنده نمیتواند تصویر تولید کند؟ پاسخ مورد انتظار: هد (head) خروجی آن فقط دایرهی واژگان متن را پوشش میدهد؛ تصاویر بهصورت امبدینگ وارد میشوند و هیچوقت در قالب توکنهایی که مدل بتواند پیشبینیشان کند وجود ندارند.
- سطح 2: دایرهی واژگان مشترک از چه اجزایی تشکیل شده است؟ پاسخ مورد انتظار: توکنهای متن، کدهای تصویر و جداکنندههای مودالیتهها همگی در یک فضای شناسهی واحد؛ بهطوریکه یک جدول امبدینگ و یک تصویر خروجیِ واحد همهی آنها را پوشش میدهد.
- سطح 3: سقف کیفی مدل ادغام زودهنگام از کجا ناشی میشود و چه چیزی آن را تغییر میدهد؟ پاسخ مورد انتظار: بازسازی کوانتایزر؛ کتاب کد بزرگتر و کدهای بیشتر به ازای هر تصویر این سقف را بالا میبرند، همانطور که در نسل بعدی توکنایزرها دیده شد.
- سطح 3: یک مدل پیوندی (hybrid) تصاویر را پیوسته نگه میدارد و در کنار تابع زیان متن، یک تابع زیان دیفیوژن را روی پچها (patch) آموزش میدهد. این رویکرد چه هزینهها و مزایایی دارد؟ پاسخ مورد انتظار: حذف کوانتایزر و رسیدن به وفاداریِ بالاتر تصویر، در ازای چالش متوازنسازیِ دو تابع زیان با مقیاسهای متفاوت و اجرای یک حلقهی نمونهبرداری دیفیوژن در زمان تولید تصویر.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «ادغام زودهنگام آیندهی کار است، پس از همینجا شروع کنید.» برای صرفاً درک و فهم، این روش بخش کمتری از محاسبات پیشآموزشدیده را بازاستفاده میکند و کیفیت آن هم به کوانتایزر محدود میشود؛ تا زمانی که نیازی به تولید تصویر نباشد، تطبیقدهنده گزینهی سادهتر و قویتری است.
- «مدل تطبیقدهنده با اضافهکردن یک هدِ دیکودر میتواند نقاشی بکشد.» تصاویر در این ساختار هیچوقت بهشکل توکنهای قابلپیشبینی وجود ندارند؛ رسم تصویر یا به کدهای تصویری در دایرهی واژگان نیاز دارد یا به یک مدل تولیدی جداگانه.
- «کوانتایزر یک بخش جزئی است؛ کار اصلی را ترنسفورمر انجام میدهد.» در خانوادهی ادغام زودهنگام، سقف کیفی تمام تصاویر تولیدی مدل را کوانتایزر تعیین میکند.
کجای دوره آموزش داده میشود
در درس Chameleon به مبانی ادغام زودهنگام و هزینههای آن پرداخته شده است، در پروژهی نهایی ادغام با کراساتنشن مسیر ادغام دیرهنگام پیادهسازی میشود، و در درس Emu3 میبینید که یک کوانتایزر بهتر چه تغییراتی ایجاد میکند.