ساخت یک VLM از صفر

cfg = ViTConfig()                         # 224، 16، 768، عمق 12، 12 هد
encoder = VisionEncoder(cfg).eval()       # فرانت‌اند به‌همراه استک ViT
img = synthesize_image(seed=0)            # (1, 3, 224, 224) in [0, 1]
tokens, cls = encoder(img)                # (1, 197, 768) and (1, 768)
pos = sinusoidal_2d(grid_h, grid_w, dim)  # dim بخش‌پذیر بر 4
ref = unfold_then_linear(img, weight, bias, cfg.patch_size)
nn.Conv2d(cfg.in_channels, cfg.hidden,
          kernel_size=cfg.patch_size, stride=cfg.patch_size)
x = x + self.attn(self.ln1(x))            # باقیمانده‌ی پیش‌نرمال‌سازی لایه‌ای (pre-LN residual)
x = x + self.ffn(self.ln2(x))             # GELU MLP، با عرض 4x

projector = MLPProjector(cfg.vision_hidden, cfg.projection_hidden, cfg.text_hidden)
freeze(encoder)                                     # requires_grad_(False)
loss = cosine_alignment_loss(image_emb, text_emb)   # mean of 1 - cos
mask = causal_mask(10)                              # (10, 10) lower triangle
logits = decoder(text_ids, memory, use_cache=True)  # کش شدن K و V تصویر
contrast, sim = info_nce_loss(image_emb, text_emb, self.log_tau)
lm = lm_loss(logits, targets, padding_id=PAD_ID)    # مقدار PAD_ID برابر 0 است
total = contrast + cfg.lm_weight * lm