OCR و درک سند

vocab = ["_"] + list("0123456789abcdefghijklmnopqrstuvwxyz")  # نماد blank در شاخص 0
model = TinyCRNN(vocab_size=len(vocab))
opt = torch.optim.Adam(model.parameters(), lr=1e-3)
imgs, targets, target_lens = build_batch(strings, vocab)      # ارتفاع 32
log_probs = model(imgs)                                       # (W', N, vocab)
input_lens = torch.full((8,), log_probs.size(0), dtype=torch.long)
loss = F.ctc_loss(log_probs, targets, input_lens, target_lens,
                  blank=0, reduction="mean", zero_infinity=True)
opt.zero_grad(); loss.backward(); opt.step()                  # از حدود 3 تا حدود 0.2 در 200 گام

def maxsim(query_tokens, patches):
    s = 0.0
    for q in query_tokens:                         # یک بردار به‌ازای هر توکن پرامپت
        best = max(cosine(q, p) for p in patches)  # بهترین پچ صفحه
        s += best                                  # مجموع روی توکن‌های پرامپت
    return s
scored = [(p.doc_id, maxsim(query.tokens, p.patches)) for p in pages]
scored.sort(key=lambda x: -x[1])                   # صفحات برتر (top-k)
idx = build_index(prune=True)                      # با فعال بودن DocPruner، حذف 50٪ پچ‌ها
hits = idx.retrieve(q, k=3)