مبانی شبکه عصبی

out = Value(self.data + other.data, (self, other), '+')
self.grad += out.grad               # عملگر add گرادیان را عبور می‌دهد
other.grad += out.grad
out = Value(self.data * other.data, (self, other), '*')
self.grad += other.data * out.grad  # عملگر mul ورودی‌ها را جابه‌جا می‌کند
other.grad += self.data * out.grad
self.grad += (s * (1 - s)) * out.grad # sigmoid reuses s
build_topo(self)                    # مرتب‌سازی توپولوژیک گراف
self.grad = 1.0                     # dL/dL = 1
for v in reversed(topo):
    v._backward()                   # ارسال (push) گرادیان‌ها به فرزندان

model = Sequential(Linear(2, 16), ReLU(), Linear(16, 16), ReLU(),
                   Linear(16, 8), ReLU(), Linear(8, 1), Sigmoid())
criterion = BCELoss()
optimizer = Adam(model.parameters(), lr=0.01)
model.train()                        # روشن بودن دراپ‌اوت و آمارهای دسته
for batch_inputs, batch_targets in loader:
    for x, t in zip(batch_inputs, batch_targets):
        pred = model.forward(x)
        loss = criterion(pred, t)
        optimizer.zero_grad()
        grad = criterion.backward()  # dL/dpred
        model.backward(grad)         # ماژول‌ها به ترتیب معکوس
        optimizer.step()
model.eval()                         # آمارهای جاری، بدون دراپ‌اوت