معماری‌های مدل زبانی-تصویری (VLM)

vision_tokens = self.vit(image)                           # (B, N_patches, d_vit)
vision_embeds = self.projector(vision_tokens)             # (B, N_patches, d_llm)
text_embeds = self.llm.get_input_embeddings()(input_ids)  # (B, M, d_llm)
out = text_embeds.clone()                                 # ابتدا کپی، سپس پر کردن
for b in range(input_ids.size(0)):                        # یک نمونه در هر نوبت
    positions = (input_ids[b] == self.image_token_id).nonzero(as_tuple=True)[0]
    out[b, positions] = vision_embeds[b]                  # جایگاه‌های <image> تصویر دریافت می‌کنند

cfg = AlignConfig()        # 768 -> 1024 -> 512، 200 گام
encoder = VisionEncoder(encoder_cfg).eval()
freeze(encoder)            # requires_grad_(False)
projector = MLPProjector(cfg.vision_hidden, cfg.projection_hidden, cfg.text_hidden)
with torch.no_grad():
    _, cls = encoder(img)  # پولینگ CLS، بدون گرادیان‌های انکودر
    text_emb = text(ids)   # ‏MockTextEmbedding منجمد
image_emb = projector(cls)
loss = cosine_alignment_loss(image_emb, text_emb)