تولید مبتنی بر بازیابی (RAG)

retriever = HybridRetriever()                      # BM25Index + DenseIndex
for d in CORPUS:
    retriever.add(d)                               # هر دو مدالیته را ایندکس می‌کند
result = retriever.search(q, k_each=5, k_out=5)
result["bm25"], result["dense"], result["fused"]   # سه فهرست رتبه‌بندی‌شده
bm25 = BM25Index(k1=1.5, b=0.75)                   # توکن‌های عنوان 3 بار شمرده می‌شوند
idf = math.log((n - df + 0.5) / (df + 0.5) + 1.0)  # مثبت می‌ماند
score[doc.doc_id] += w * (1.0 / (k + rank + 1))    # رتبه از 0 شروع می‌شود

p = Pipeline()                      # قطعه‌بندی متن، ایندکس، بازنویسنده، بازرتبه‌بند
p.ingest(CORPUS)                    # تقسیم بازگشتی، هدف 400
p.train_reranker_on(TRAIN_TRIPLES)  # مناسب برای کراس‌ان‌کودر کوچک
result = p.query("<question>")
result.answer                       # جملات به همراه ارجاع‌ها
result.citations                    # فهرستی از doc_id:chunk_index
result.rewriter_strategy            # hyde، multiquery یا decompose
result.latency_ms                   # بازنویسی، بازیابی، بازرتبه‌بندی، تولید