پایپ‌لاین‌های داده‌ی پیش‌آموزش

def clean_text(text):
    text = re.sub(r"<[^>]+>", "", text)         # حذف تگ‌های HTML
    text = re.sub(r"http\S+", "", text)         # حذف نشانی‌های وب
    text = re.sub(r"[^\x20-\x7E\n]", "", text)  # فقط کاراکترهای اسکی قابل چاپ
    text = re.sub(r"\n{3,}", "\n\n", text)      # ادغام خطوط خالی
    text = re.sub(r" {2,}", " ", text)          # ادغام فاصله‌ها
    return text.strip()

def quality_filter(text, min_words=50, max_ratio_caps=0.3, max_ratio_special=0.1):
    ...                                         # خروجی False برای استاب‌ها، هرزنامه‌های تمام‌بزرگ، نویز نمادها

ds = SlidingWindowDataset(ids, context_length=16, stride=8)          # مقدار None برای استراید یعنی context_length
SlidingWindowDataset.count_windows(num_ids, context_length, stride)  # 1 + usable // stride
x, y = ds[0]                                                         # window[:-1], window[1:]
loader = make_dataloader(ds, batch_size=4, base_seed=7, epoch=0)
generator.manual_seed(base_seed + epoch)                             # سید یکسان، ترتیب یکسان