سؤال مصاحبه

تحلیل تابع ادغام رتبه‌ها

Read the rank fusion function

  • سطح ۲: میانی
  • کدخوانی
  • ۸ دقیقه

این تابع ادغام (fusion function) را از درس RAG پیشرفته بخوانید. دلیل وجود + 1 در مخرج را توضیح دهید، بگویید تابع عمداً چه چیزی را نادیده می‌گیرد، و شرح دهید چه بر سر سندی می‌آید که فقط در یکی از فهرست‌ها آمده است.

def reciprocal_rank_fusion(ranked_lists, k=60):
    scores = {}
    for ranked_list in ranked_lists:
        for rank, (doc_id, _) in enumerate(ranked_list):
            if doc_id not in scores:
                scores[doc_id] = 0.0
            scores[doc_id] += 1.0 / (k + rank + 1)
    fused = sorted(scores.items(), key=lambda x: x[1], reverse=True)
    return fused

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

تابع enumerate شمارش را از صفر شروع می‌کند؛ بنابراین + 1 این اندیس را به رتبه‌ای تبدیل می‌کند که از یک آغاز می‌شود، و سند برتر همان‌طور که در فرمول منتشرشده آمده، امتیاز 1/61 را می‌گیرد. این تابع امتیازی را که همراه هر سند آمده کنار می‌گذارد؛ زیرا رتبه‌ها تنها واحد قابل‌مقایسه میان بازیاب‌های (retrievers) مختلف هستند. سندی که فقط در یک فهرست حضور دارد، سهم امتیازش را از همان فهرست می‌گیرد و بابت غیبت در دیگری جریمه نمی‌شود؛ بنابراین اگر در همان فهرستی که ظاهر شده رتبه‌ی بالایی داشته باشد، باز هم می‌تواند جایگاه خوبی به دست آورد.

پاسخ کامل

گام‌به‌گام با حلقه‌ها

  1. حلقه‌ی بیرونی سراغ تک‌تک فهرست‌های رتبه‌بندی‌شده می‌رود؛ مثلاً فهرست برداری و فهرست BM25.
  2. حلقه‌ی درونی هر ورودی را به‌صورت یک جفت می‌خواند و عنصر دوم، یعنی همان امتیاز اختصاصیِ بازیاب را نادیده می‌گیرد.
  3. سهم امتیازی سندی با اندیس صفر-محور rank برابر با 1.0 / (k + rank + 1) است؛ یعنی یک تقسیم بر k به‌علاوه‌ی رتبه‌ی یک-محور.
  4. این سهم‌ها به‌ازای هر شناسه‌ی سند، در تمام فهرست‌ها با هم جمع می‌شوند.
  5. در نهایت، خروجی بر اساس مجموع امتیازها، از بیشترین به کمترین مرتب می‌شود.

کاری که بخش فراخواننده انجام می‌دهد

جستجوی ترکیبی (Hybrid search) در همان درس، از هر بازیاب سه‌برابرِ top k نهایی را درخواست می‌کند، دو فهرست را ادغام کرده و top k اولِ نتیجه‌ی ادغام‌شده را برمی‌گرداند. این فهرست‌های عمیق‌تر از کاندیداها به سندی که در هر دو بازیاب عملکرد خوبی داشته فرصت می‌دهند به فهرست نهایی راه پیدا کند، حتی اگر در هیچ‌کدام رتبه‌ی اول را نیاورده باشد.

نسخه‌ی پروژه‌ی پایانی

درس بازیابی ترکیبی (Hybrid Retrieval) فهرستی از وزن‌ها (weights) با یک ضریب برای هر فهرست رتبه‌بندی‌شده اضافه می‌کند که روی سهم هر رتبه اعمال می‌شود، و اگر تعداد وزن‌ها با تعداد فهرست‌ها یکی نباشد، خطا می‌دهد. این نسخه همچنین نگاشتی از شناسه‌ی سند به خود سند نگه می‌دارد تا بتواند به‌جای شناسه، خودِ اسناد را برگرداند.

کلید ادغام

ادغام بر اساس شناسه‌ی سند انجام می‌شود. دو تکه (chunk) از یک سند، دو کلید مجزا به حساب می‌آیند. درس پروژه‌ی پایانی پیشنهاد می‌کند که یکتاپذیری (de-duplication) بر اساس سند انجام شود؛ زیرا اصطلاحی که خارج از دایره‌ی واژگان BM25 باشد امتیاز صفر می‌گیرد و بازیاب متراکم (dense retriever) همچنان نویز برمی‌گرداند؛ ادغامِ سند-محور این اثر نامطلوب را تعدیل می‌کند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: اگر + 1 را حذف کنید چه تغییری رخ می‌دهد؟ پاسخ مورد انتظار: سند اول به‌جای 1/61 امتیاز 1/60 می‌گیرد، منحنی کمی جابه‌جا می‌شود و مقدار ثابت دیگر با تعریف منتشرشده در مقاله‌ها هم‌خوانی نخواهد داشت.
  • سطح 2: چرا فراخواننده از هر بازیاب سه‌برابرِ k نهایی را می‌گیرد؟ پاسخ مورد انتظار: یک فهرست عمیق‌تر به سندی که در هر دو بازیاب رتبه‌ی مناسبی دارد فرصت می‌دهد به top k ادغام‌شده برسد، حتی اگر در هیچ‌یک از آن‌ها رتبه‌ی اول نباشد.
  • سطح 3: نسخه‌ی پروژه‌ی پایانی چطور امکان ترجیح دادن یک بازیاب را فراهم می‌کند؟ پاسخ مورد انتظار: با تعریف یک فهرست وزن‌ها شامل یک ضریب برای هر فهرست رتبه‌بندی‌شده که روی سهم رتبه اعمال می‌شود، همراه با ایجاد خطا در صورت برابر نبودن طول فهرست‌ها.
  • سطح 3: کلید ادغام چیست و چرا برای تکه‌ها اهمیت دارد؟ پاسخ مورد انتظار: شناسه‌ی سند؛ تکه‌های یک سند کلیدهای جداگانه‌ای هستند، مگر اینکه طبق توصیه‌ی درس، بر اساس کل سند یکتاپذیری کنید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «این تابع میانگین دو امتیاز را حساب می‌کند.» این تابع اصلاً امتیازها را نمی‌خواند؛ بلکه تابعی از رتبه‌ها را با هم جمع می‌زند.
  • «سندی که در یکی از فهرست‌ها نباشد جریمه می‌شود.» هیچ سهمی از آن فهرست دریافت نمی‌کند، که این به معنای جریمه نیست؛ اگر در فهرست دیگر اول شده باشد، همچنان می‌تواند رتبه‌ی اول کل شود.
  • «پارامتر k تعداد نتایجی است که باید نگه داریم.» خیر، k ثابت کاهش (decay constant) در مخرج است؛ بخش فراخواننده است که فهرست ادغام‌شده را برش می‌زند تا به top k نهایی برسد.

کجای دوره آموزش داده می‌شود

درس RAG پیشرفته این تابع و کد فراخواننده‌ی آن را ارائه می‌دهد، و درس بازیابی ترکیبی وزن‌ها و نکات مربوط به یکتاپذیری را به آن اضافه می‌کند.