ریاضی برای یادگیری ماشین

x = torch.tensor(2.0, requires_grad=True)   # ثبت عملیات روی x
y = x ** 2 + 3 * x + 1                      # گراف را می‌سازد
y.backward()                                # پیمایش حالت معکوس
print(x.grad)                              # 7.0 = 2*x + 3
def __mul__(self, other):
    out = Value(self.data * other.data, (self, other), '*')
    def _backward():
        self.grad += other.data * out.grad  # گرادیان محلی ضربدر بالادست
        other.grad += self.data * out.grad  # علامت =+ روی تمام موارد استفاده جمع می‌زند
    out._backward = _backward
    return out
self.grad = 1.0                             # مقداردهی اولیه dy/dy = 1
for v in reversed(topo):                    # از خروجی به ورودی‌ها
    v._backward()                           # قاعده‌ی زنجیره‌ای در هر گره

def softmax_stable(logits):
    max_logit = max(logits)                           # ابتدا بیشینه را کم کنید
    exps = [math.exp(z - max_logit) for z in logits]  # بزرگ‌ترین مقدار 1 می‌شود
    total = sum(exps)
    return [e / total for e in exps]
def cross_entropy_stable(true_class, logits):
    max_logit = max(logits)
    shifted = [z - max_logit for z in logits]
    log_sum_exp = math.log(sum(math.exp(s) for s in shifted))
    log_prob = shifted[true_class] - log_sum_exp      # ماندن در فضای لگاریتمی
    return -log_prob