آموزش و بارگذاری یک GPT از صفر

ref_model = GPTModel(GPTConfig())               # مرجع 124M
count_parameters(ref_model)                     # پارامترهای منحصربه‌فرد، یک‌بار مشترک‌شده
GPTModel(GPTConfig(weight_tying=False))         # vocab_size * d_model را اضافه می‌کند
self.lm_head.weight = self.tok_embed.weight     # به‌اشتراک بگذارید، هرگز کپی نکنید
generate(tiny_model, prompt, max_new_tokens=12,
         temperature=0.8, top_k=20, seed=42)    # دما (temperature) باید مثبت باشد
top_k_filter(logits, top_k)                     # بقیه به -inf
window = tokens[:, -model.cfg.context_length:]  # پنجره‌ی لغزان

optimizer = torch.optim.AdamW(
    build_param_groups(model, cfg.weight_decay),    # تفکیک کاهش وزن (decay)
    lr=cfg.max_lr, betas=(0.9, 0.95))
for step in range(cfg.num_steps):
    lr = cosine_with_warmup(step, cfg.warmup_steps, cfg.num_steps, cfg.max_lr, cfg.min_lr)
    for group in optimizer.param_groups:
        group["lr"] = lr
    inputs, targets = next(train_loader)
    optimizer.zero_grad(set_to_none=True)
    loss = calc_loss_batch(model, inputs, targets)  # انتروپی متقاطع مسطح
    loss.backward()
    torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=cfg.grad_clip)
    optimizer.step()

make_stub_safetensors(STUB_PATH, cfg, seed=42)                        # مجموعه‌داده‌ی نمونه آفلاین
model = GPTModel(cfg)
report = load_safetensors(model, STUB_PATH, verbose=False)
report.summary()                                                      # loaded= missing= unexpected= shape_mismatch=
report.ok()                                                           # بدون missing، بدون shape_mismatch
model.lm_head.weight.data_ptr() == model.tok_embed.weight.data_ptr()  # مشترک (tied)