توکن‌سازی و BPE

tokenizer.initialize(specials)        # 256 بایت، سپس شناسه‌های ویژه
units = _build_initial_units(corpus)  # تاپل بایت -> تعداد تکرار کلمه
while tokenizer.vocab_size < target_vocab_size:
    pairs = _count_pairs(units)       # وزن‌دهی‌شده با تعداد تکرار کلمه
    max_count = max(pairs.values())
    candidates = sorted(p for p, c in pairs.items() if c == max_count)
    best = candidates[0]              # حل تساوی روی جفت
    if pairs[best] < 2:
        break                         # عدم تکرار جفت‌ها
    new_id = tokenizer._add_token(
        tokenizer.vocab[best[0]] + tokenizer.vocab[best[1]]
    )                                 # شناسه‌ی آزاد بعدی
    tokenizer.merges[best] = new_id   # ترتیب همان رتبه است
    units = _apply_merge_to_corpus(units, best, new_id)

usable = num_ids - (context_length + 1)         # count_windows
return 1 + usable // stride                     # 0 وقتی usable < 0 باشد
start = index * self.stride                     # __getitem__
end = start + self.context_length + 1           # T+1 شناسه
window = self.ids[start:end]
return window[:-1].clone(), window[1:].clone()  # ورودی، هدف
generator = torch.Generator()
generator.manual_seed(base_seed + epoch)        # ترتیب یکسان در اجرای مجدد
inputs, targets = next(iter(loader))            # (B, T) و (B, T)