ترنسفورمرهای بینایی و توکن‌های وصله‌ای

vit = ViT(image_size=64, patch_size=16, num_classes=10, dim=192, depth=6, num_heads=3)
x = self.patch(x)                                 # (N, 16, 192)
cls = self.cls_token.expand(x.size(0), -1, -1)
x = torch.cat([cls, x], dim=1)                    # (N, 17, 192)
x = x + self.pos_embed              # یادگرفته‌شده، trunc_normal std=0.02
for blk in self.blocks:
    x = blk(x)                      # اتنشن با پیش‌نرمال‌سازی لایه‌ای، سپس MLP
return self.head(self.ln(x[:, 0]))  # طبقه‌بندی فقط از روی [CLS]

cfg = ViTConfig()                                # 224، 16، وضعیت پنهان 768، عمق 12، 12 هد
qkv = self.qkv(x).reshape(b, n, 3, h, hd).permute(2, 0, 3, 1, 4)
q, k, v = qkv[0], qkv[1], qkv[2]
scores = (q @ k.transpose(-2, -1)) * self.scale  # scale = 1 / sqrt(head_dim)
attn = F.softmax(scores, dim=-1)                 # بدون ماسک. انکودر دوطرفه است
x = x + self.attn(self.ln1(x), store_attn=store_attn)
x = x + self.ffn(self.ln2(x))                    # hidden به 4 * hidden و سپس به hidden
tokens, cls = encoder(img)                       # (1, 197, 768) و (1, 768)