رده‌بندی و تاریخچه مدل‌های زایشی: از VAE تا دیفیوژن و فلو مچینگ

ورود به دنیای مدل‌های زایشی (Generative Models) با بمبارانی از معماری‌ها و مقاله‌های متنوع همراه است؛ از GAN و VAE گرفته تا مدل‌های دیفیوژن و روش‌های نوین تطبیق جریان (Flow Matching). بدون داشتن یک نقشه‌ی ذهنی دقیق، درک شباهت‌ها و تفاوت‌های ریاضی این مدل‌ها سردرگم‌کننده خواهد بود. این درس دقیقاً همین مشکل را حل می‌کند: پنج خانواده‌ی اصلی مدل‌های زایشی را دسته‌بندی کرده و نشان می‌دهد هرکدام چه بده‌بستانی میان دقت آماری و سرعت محاسباتی انجام می‌دهند.

فهم این رده‌بندی برای هر مهندسی که قصد دارد سیستم‌های زایشی را در محیط عملیاتی پیاده‌سازی کند ضروری است. با تحلیل رفتار استنتاج و هزینه‌های محاسباتی هر خانواده، متوجه خواهید شد که چرا در حوزه‌هایی مانند تولید تصویر عمومی، ویدیو یا شبیه‌سازی بلادرنگ، انتخاب معماری نادرست به معنای هدررفت سنگین منابع پردازشی است.

تمام مدل‌های تصویر، متن، ویدیو و سه‌بعدی در یکی از این پنج دسته جا می‌گیرند. اگر دسته‌ی اشتباه را انتخاب کنید، هفته‌ها با ریاضیات سرشاخ خواهید شد؛ اما دسته‌ی درست را برگزینید تا پیشرفت‌های دوازده سال گذشته‌ی این حوزه خیلی تر‌و‌تمیز در ذهنتان بنشیند.

صورت مسئله

یک مدل زایشی (generative model) تنها یک وظیفه دارد: گرفتن نمونه‌های آموزشی از یک توزیع نامشخص $p_{\text{data}}(x)$ و تولید نمونه‌های جدیدی که به نظر برسد از همان توزیع آمده‌اند. چهره‌ها، جملات، فایل‌های MIDI، ساختارهای پروتئینی — اگر از دور نگاه کنید، همگی یک مسئله‌اند.

چالش کار اینجاست: $p_{\text{data}}$ در فضایی با میلیون‌ها بُعد زندگی می‌کند (یک تصویر رنگی 512x512 حدود 786 هزار بُعد دارد)، نمونه‌ها روی یک خمینه‌ی (manifold) باریک درون این فضا می‌نشینند، و شما شاید نهایتاً 10 میلیون نمونه داشته باشید. تخمین مستقیم چگالی با روش‌های جست‌وجوی جامع (brute-force) محال است. هر مدل زایشی نوعی مصالحه است؛ یک مسئله‌ی سخت را فدا می‌کند تا مسئله‌ای با درجه‌ی سختی کمی پایین‌تر را حل کند.

در دوازده سال گذشته پنج خانواده از مدل‌ها دوام آورده‌اند. وقتی بدانید هر خانواده چه مصالحه‌ای انجام داده، متوجه می‌شوید چرا در بعضی کارها پیروز میدان است و در بعضی دیگر به بن‌بست می‌خورد.

مفهوم

1. چگالی صریح، محاسبه‌پذیر. رابطه‌ی $\log p(x)$ را طوری می‌نویسید که واقعاً قابل محاسبه باشد. مدل‌های خودبازگشتی (autoregressive) مانند PixelCNN، WaveNet و GPT توزیع را به صورت $p(x) = \prod_i p(x_i \mid x_{<i})$ فاکتور می‌گیرند. جریان‌های نرمال‌سازی (normalizing flows) نظیر RealNVP و Glow رابطه‌ی $p(x)$ را به صورت تبدیل معکوس‌پذیرِ یک توزیع پایه‌ی ساده می‌سازند. مزیت: درست‌نمایی (likelihood) دقیق، تابع زیان (loss) تمیز در آموزش. عیب: استنتاج در مدل‌های خودبازگشتی ترتیبی است (برای توالی‌های طولانی کُند می‌شود) و جریان‌ها به معماری‌های معکوس‌پذیر نیاز دارند (محدودیت شدید در طراحی معماری).

2. چگالی صریح، تقریبی. برای $\log p(x)$ یک کران پایین شواهد (ELBO) تعیین کرده و همان کران را بهینه می‌کنند. مدل‌های VAE (کینگما، 2013) از یک انکودر-دیکودر با پسین (posterior) متغیر استفاده می‌کنند. مدل‌های دیفیوژن (Diffusion Models نظیر DDPM، هو، 2020) یک حذف‌کننده‌ی نویز (denoiser) را آموزش می‌دهند که به‌طور ضمنی یک ELBO وزن‌دار را بهینه می‌کند. در سال 2026، دیفیوژن همچنان بک‌بون (backbone) اصلی تصویر، ویدیو و مدل‌های سه‌بعدی است.

3. چگالی ضمنی. تخمین چگالی را کلاً دور بیندازید؛ در عوض یک مولد $G(z)$ یاد بگیرید که نمونه بسازد و یک تمایزگر $D(x)$ که داده‌ی واقعی را از ساختگی تشخیص دهد. یعنی همان شبکه‌های GAN (گودفلو، 2014). زمان استنتاج فوق‌العاده سریع است (فقط یک گذر رو به جلو یا forward pass)، اما ناپایداری آن‌ها هنگام آموزش زبانزد است. با این حال StyleGAN 1/2/3 حتی در سال 2026 نیز برای تصاویر واقع‌گرایانه‌ی دامنه‌های خاص (مانند چهره یا اتاق خواب) در لبه‌ی فناوری قرار دارند.

4. مبتنی بر اسکور / زمان‌پیوسته. گرادیانِ (gradient) لگاریتم چگالی $\nabla_x \log p(x)$ (اسکور) را مستقیماً یاد می‌گیرند. سانگ و ارمون (2019) نشان دادند تطبیق اسکور (score matching)، دیفیوژن را به یک معادله دیفرانسیل تصادفی (SDE) تعمیم می‌دهد. تطبیق جریان (flow matching) معرفی‌شده توسط لیپمن (2023) برگ برنده و موضوع داغ سال‌های 2024 تا 2026 است: آموزش بدون نیاز به شبیه‌سازی، مسیرهای مستقیم‌تر و 4 تا 10 برابر نمونه‌گیری سریع‌تر نسبت به DDPM. مدل‌های Stable Diffusion 3، Flux و AudioCraft 2 همگی از تطبیق جریان استفاده می‌کنند.

5. خودبازگشتیِ توکن‌محور روی کدهای گسسته. داده‌های با ابعاد بالا را به کمک VQ-VAE یا یک کوانتایزر پسماند (residual quantizer) به توالی کوتاهی از توکن‌های گسسته فشرده می‌کنند، سپس از یک ترنسفورمر (Transformer) برای مدل‌سازی این توالی توکن‌ها بهره می‌گیرند. مدل‌های Parti، MuseNet، AudioLM، VALL-E و توکنایزر پچ در Sora همگی از این رویکرد استفاده می‌کنند. این در واقع همان دسته‌ی اول است، منتها همراه با یک توکنایزر یادگرفته‌شده.

مروری کوتاه بر تاریخچه

تریاژ پنج‌سوالی

هنگامی که مقاله‌ی جدیدی در حوزه‌ی مدل‌های زایشی منتشر می‌شود، پیش از خواندن بخش روش‌شناسی، به این پنج پرسش پاسخ دهید:

1. چه چیزی مدل می‌شود؟ پیکسل‌ها، متغیرهای نهان، توکن‌های گسسته، پاشش‌های گوسی سه‌بعدی (Gaussian Splatting)، مش‌ها یا شکل موج صوتی؟
2. چگالی صریح است یا ضمنی؟ آیا اصلاً فرمولی برای $\log p(x)$ می‌نویسند؟
3. نمونه‌گیری: تک‌مرحله‌ای است یا تکرارشونده؟ تکرارشونده یعنی استنتاج کُندتر؛ تک‌مرحله‌ای معمولاً نشانه‌ی رویکردهای رقابتی یا تقطیرشده است.
4. شرطی‌سازی: بدون شرط، بر اساس کلاس، متن، تصویر یا وضعیت بدنی (pose)؟ این مورد نوع تابع زیان و معماری پشتیبان را تعیین می‌کند.
5. ارزیابی: FID، امتیاز CLIP، امتیاز IS، ترجیح انسانی یا دقت تسک؟ هر کدام نقاط ضعف شناخته‌شده‌ای دارند (درس 14 را ببینید).

در طول این فصل برای هر درس به این پنج سوال پاسخ خواهید داد؛ طوری که تا پایان، این بررسی به یک واکنش ناخودآگاه تبدیل شود.

پیاده‌سازی از صفر

کد این درس یک بصری‌سازی سبک است: برازش یک توزیع ترکیبی گوسی یک‌بعدی از روی نمونه‌ها با سه رویکرد ساده (برآورد چگالی کرنل یا Kernel density، هیستوگرام گسسته و یک مولد شبه‌GAN بر اساس نزدیک‌ترین نمونه). هدف این است که تفاوت چگالی صریح در برابر ضمنی را در مسئله‌ای ببینید که خروجی‌اش روی یک صفحه جا می‌شود.

فایل code/main.py را اجرا کنید. این کد 2000 نمونه از یک ترکیب گوسی دوحالته می‌کشد و سپس چاپ می‌کند:

explicit density (histogram): p(x in [-0.5, 0.5]) ≈ 0.38
approximate density (KDE):     p(x in [-0.5, 0.5]) ≈ 0.41
implicit (nearest-sample gen): 20 new samples printed, no p(x)

دقت کنید: دو روش اول به شما اجازه می‌دهند بپرسید «این نقطه چقدر محتمل است؟» سومی نمی‌تواند. این همان تمایز صریح در برابر ضمنی است که در تمامی درس‌های آینده تعیین‌کننده خواهد بود.

استفاده از ابزارهای واقعی

در سال 2026، کدام خانواده برای کدام تسک مناسب است؟

خروجی این درس

خروجی را در مسیر outputs/skill-model-chooser.md ذخیره کنید.

این مهارت شرح یک تسک را دریافت کرده و این موارد را خروجی می‌دهد: (1) کدام خانواده باید استفاده شود، (2) فهرستی اولویت‌بندی‌شده از سه گزینه‌ی متن‌باز و سه سرویس میزبانی‌شده، (3) حالت شکست یا خطای احتمالی که باید حواستان به آن باشد، و (4) بودجه‌ی زمانی و توان پردازشی مورد نیاز.

تمرین‌ها

1. ساده. برای هر یک از این پنج محصول، خانواده‌ی مدل و بک‌بون آن را مشخص کنید: بخش تصویر ChatGPT، مدل Midjourney v7، Sora، Runway Gen-3 و ElevenLabs. شواهد (evidence) باید برگرفته از گزارش‌های فنی عمومی باشد.
2. متوسط. مقاله‌ای که فردا می‌خوانید ادعا می‌کند نمونه‌گیری را 100 برابر سریع‌تر از دیفیوژن انجام می‌دهد. سه پرسش بنویسید تا بررسی کنید آیا این افزایش سرعت، در صورت اعمال شرطی‌سازی و رزولوشن بالا همچنان برقرار می‌ماند یا خیر.
3. سخت. یک حوزه که برایتان اهمیت دارد را انتخاب کنید (مثلاً ساختار پروتئین، CAD، مولکول‌ها، مسیر حرکت اشیاء). برای مدل پیشتاز (SOTA) کنونی در آن حوزه، به تریاژ پنج‌سوالی پاسخ دهید و طرح کلی تغییراتی را رسم کنید که در صورت ساخت یک مدل بهتر پیاده می‌کردید.

اصطلاحات کلیدی

نکته‌ی پروداکشن: پنج خانواده، پنج رفتار در استنتاج

هر خانواده منحنی هزینه‌ی متفاوتی روی سرورهای استنتاج دارد. در ادبیات استنتاج محیط پروداکشن، استنتاج مدل‌های زبانی به دو بخش پیش‌تکمیل (prefill) و رمزگشایی (decode) تقسیم می‌شود؛ همین تفکیک در اینجا هم برقرار است:

• مدل‌های خودبازگشتی (دسته‌های 1 و 5). رمزگشایی ترتیبی بخش اصلی تاخیر (latency) را رقم می‌زند؛ کش کلید-مقدار (KV-cache)، دسته‌بندی پیوسته (continuous batching) و رمزگشایی گمانه‌زن (speculative decoding) همگی مستقیماً در اینجا کاربرد دارند.
• مدل‌های VAE / دیفیوژن / تطبیق جریان (دسته‌های 2 و 4). در اینجا چیزی به نام Decode با تعریف رایج در مدل‌های زبانی وجود ندارد. هزینه برابر است با num_steps × step_cost؛ که در آن step_cost یک گذر رو به جلو در ترنسفورمر یا U-Net با رزولوشن کامل متغیر نهان است. اهرم‌های تنظیم عملکرد در محیط پروداکشن عبارتند از تعداد گام‌ها (با کمک روش‌هایی مثل DDIM ،DPM-Solver یا تقطیر دانش)، اندازه‌ی دسته (batch size) و دقت (precision نظیر bf16 / fp8 / int4).
• مدل‌های GAN (دسته‌ی 3). یک گذر رو به جلو. نه زمان‌بندی گام‌به‌گامی در کار است و نه KV-cache. زمان تا اولین توکن (TTFT) تقریباً با کل تاخیر سیستم برابر است. به همین دلیل StyleGAN هنوز هم در تجربه‌ی کاربریِ تسک‌های با دامنه‌ی محدود برنده است.

وقتی در چکیده‌ی مقاله‌ای عبارت «سریع‌تر از دیفیوژن» را دیدید، آن را به «تعداد گام‌های کمتر × همان هزینه‌ی هر گام» یا «تعداد گام یکسان × هزینه‌ی کمتر برای هر گام» ترجمه کنید. غیر از این هرچه باشد صرفاً بازاریابی است.

برای مطالعه‌ی بیشتر

• Goodfellow et al. (2014). Generative Adversarial Nets — مقاله‌ی اصلی GAN.
• Kingma & Welling (2013). Auto-Encoding Variational Bayes — مقاله‌ی اصلی VAE.
• Ho, Jain, Abbeel (2020). Denoising Diffusion Probabilistic Models — مقاله‌ی اصلی DDPM.
• Song et al. (2021). Score-Based Generative Modeling through SDEs — مدل‌های دیفیوژن در قالب معادلات دیفرانسیل تصادفی (SDE).
• Lipman et al. (2023). Flow Matching for Generative Modeling — مقاله‌ی تطبیق جریان.
• Esser et al. (2024). Scaling Rectified Flow Transformers for High-Resolution Image Synthesis — مقاله‌ی Stable Diffusion 3.