معماری‌های CNN و یادگیری انتقالی

self.conv1 = nn.Conv2d(in_c, out_c, kernel_size=3, stride=stride, padding=1, bias=False)  # پارامتر beta در BN بایاس را نگه می‌دارد
self.conv2 = nn.Conv2d(out_c, out_c, kernel_size=3, stride=1, padding=1, bias=False)
if stride != 1 or in_c != out_c:
    self.shortcut = nn.Sequential(
        nn.Conv2d(in_c, out_c, kernel_size=1, stride=stride, bias=False),
        nn.BatchNorm2d(out_c))                                                            # کانولوشن 1x1 ابعاد را هم‌اندازه می‌کند
else:
    self.shortcut = nn.Identity()                                                         # اتصال جهشی بدون عملگر (no-op)
out = F.relu(self.bn1(self.conv1(x)))
out = self.bn2(self.conv2(out))                                                           # بدون ReLU قبل از جمع
out = out + self.shortcut(x)                 # F(x) + x
return F.relu(out)

model = resnet18(weights=ResNet18_Weights.IMAGENET1K_V1)
model.fc = nn.Linear(model.fc.in_features, 10)  # هد جدید
groups = discriminative_param_groups(model, base_lr=1e-3, decay=0.3)
optimizer = SGD(groups, momentum=0.9, weight_decay=1e-4, nesterov=True)
scheduler = CosineAnnealingLR(optimizer, T_max=epochs)
for epoch in range(epochs):
    model.train()
    if freeze_bn:
        freeze_bn_stats(model)                  # بعد از model.train()
start, unfreeze = progressive_unfreeze_schedule(model)
start()                                         # فقط fc آموزش می‌بیند
unfreeze(epoch)                                 # اول layer4، بعد layer3

conv = nn.Conv2d(in_channels=3, out_channels=64, kernel_size=3, stride=1, padding=1)
tuple(conv.weight.shape)               # (C_out, C_in, K, K)
sum(p.numel() for p in conv.parameters())   # 64 * 3 * 3 * 3 + 64 = 1,792
y = conv(torch.randn(8, 3, 224, 224))  # مقدار padding=0 خروجی 222x222 می‌دهد