بینایی خودنظارتی، CLIP و بازیابی

def info_nce(z1, z2, tau=0.1):                                       # z1 و z2 نرمال‌شده با L2
    N, D = z1.shape
    z = torch.cat([z1, z2], dim=0)               # (2N, D)
    sim = z @ z.T / tau                          # (2N, 2N)
    mask = torch.eye(2 * N, dtype=torch.bool, device=z.device)
    sim = sim.masked_fill(mask, float("-inf"))                       # بدون تطابق با خود
    targets = torch.cat([torch.arange(N, 2 * N), torch.arange(0, N)]).to(z.device)
    return F.cross_entropy(sim, targets)
num_patches = 196
visible, masked = random_mask_indices(num_patches, mask_ratio=0.75)  # نگه‌داشتن 25٪

sim = logit_scale * image_emb @ text_emb.T       # (N, N)
targets = torch.arange(N, device=sim.device)  # تطابق روی قطر
l_i = F.cross_entropy(sim, targets)           # تصویر به متن
l_t = F.cross_entropy(sim.T, targets)         # متن به تصویر
loss = (l_i + l_t) / 2                        # مقداردهی تصادفی اولیه: نزدیک به log(N)
i = F.normalize(model.image_proj(image_feats), dim=-1)
t = F.normalize(model.text_proj(class_text_feats), dim=-1)
pred = (i @ t.T).argmax(dim=-1)               # یک کلاس به‌ازای هر تصویر

def triplet_loss(anchor, positive, negative, margin=0.2):
    d_ap = F.pairwise_distance(anchor, positive, p=2)
    d_an = F.pairwise_distance(anchor, negative, p=2)
    return F.relu(d_ap - d_an + margin).mean()
pos_idx, neg_idx = semi_hard_negatives(emb, y)  # دشوارترین مثبت، منفی نیمه‌دشوار
loss = triplet_loss(emb, emb[pos_idx], emb[neg_idx])
sim = query_emb @ gallery_emb.T                 # کوسینوس روی بردارهای یکه
_, top_k = sim.topk(k, dim=-1)
matches = (gallery_labels[top_k] == query_labels[:, None]).any(dim=-1)
matches.float().mean().item()                   # بازخوانی در K