مفاهیم ضروری PyTorch

criterion = nn.CrossEntropyLoss()  # لاجیت‌های خام را می‌گیرد
optimizer = torch.optim.Adam(model.parameters(), lr=1e-3)
for epoch in range(num_epochs):
    model.train()                  # دراپ‌اوت و نرمال‌سازی دسته روشن است
    for inputs, targets in train_loader:
        inputs, targets = inputs.to(device), targets.to(device)
        optimizer.zero_grad()      # گرادیان‌ها جمع می‌شوند
        outputs = model(inputs)    # گذر رو به جلو
        loss = criterion(outputs, targets)
        loss.backward()            # محاسبه گرادیان‌ها
        optimizer.step()           # به‌روزرسانی وزن‌ها
model.eval()                       # حالت ارزیابی (eval) برای تست
with torch.no_grad():              # بدون گراف، حافظه کمتر
    outputs = model(images)

class MNISTDataset(Dataset):
    def __len__(self):
        return len(self.labels)         # تعداد نمونه‌ها
    def __getitem__(self, idx):
        return self.images[idx], self.labels[idx] # one sample
loader = DataLoader(dataset, batch_size=64, shuffle=True, num_workers=4)
scaler = GradScaler()                   # از torch.amp
for inputs, targets in loader:
    with autocast(device_type="cuda"):  # گذر رو به جلو با float16
        outputs = model(inputs)
        loss = criterion(outputs, targets)
    scaler.scale(loss).backward()       # پس‌انتشار مقیاس‌شده
    scaler.step(optimizer)
    scaler.update()
    optimizer.zero_grad()