فرض کنید برای یک پرسوجو، دو لیست رتبهبندیشده دارید: یکی از BM25 و دیگری از جستجوی برداری (Vector search). یکی از مهندسان پیشنهاد میکند این دو را اینطور merge کنیم: آلفا ضربدر امتیاز BM25 بهعلاوهی (یک منهای آلفا) ضربدر شباهت کسینوسی. ایراد این کار کجاست و بهجای آن باید چه کرد؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
امتیازهای BM25 بیکران هستند و با تغییر پیکره متنی تغییر میکنند، در حالی که شباهت کسینوسی بین -1 و 1 قرار دارد؛ بنابراین مجموع وزندار با هر بار ایندکس مجدد، نیازمند یک آلفای تازه است. در عوض، روش «ادغام معکوس رتبهها» (Reciprocal Rank Fusion یا RRF) بر اساس رتبه عمل merge را انجام میدهد: هر سند مجموعِ مقادیر یک بر روی (k بهعلاوهی رتبهاش در هر لیست) را میگیرد، که k معمولاً 60 تعیین میشود. رتبهها بین هر دو بازیابی قابلمقایسهاند، بنابراین هیچ نیازی به کالیبراسیون نیست.
پاسخ کامل
فرمول و یک مثال عددی
سندی با رتبهی 1 در لیست برداری و رتبهی 5 در لیست BM25، امتیازی معادل 1/(60+1) + 1/(60+5) = 0.0164 + 0.0154 = 0.0318 میگیرد. سند دیگری با رتبهی 3 و رتبهی 2 امتیازی برابر با 1/(60+3) + 1/(60+2) = 0.0159 + 0.0161 = 0.0320 دریافت میکند. سند دوم با اختلافی بسیار اندک برنده میشود: سندی که در هر دو لیست جایگاه خوبی دارد، سندی را که در یک لیست اول شده اما در دیگری رتبهی پایینی دارد شکست میدهد.
نقش پارامتر k
وقتی k برابر با 60 باشد، رتبهی 1 سهمی معادل 1/61 و رتبهی 10 سهمی معادل 1/70 دارد. این سهم بهآرامی افت میکند، بنابراین کاندیداهای پایینتر هم همچنان حق رأی دارند. مقدار کوچکترِ k باعث برتری نتایج برتر میشود، و مقدار بزرگترِ k منحنی را مسطحتر میکند.
چرا رتبه و نه امتیاز؟
ترکیب خطیِ امتیازها به آلفایی نیاز دارد که برای هر پیکره متنی جداگانه تنظیم شود، و با هر بار ایندکس مجدد هم خراب میشود، چون بازهی پراکندگی امتیازهای BM25 تغییر میکند. رتبهها مقیاس ندارند. درس پروژه نهایی اشاره میکند که از سال 2010 به بعد، خط مبنای مبتنی بر رتبه در تمامی رقابتهای عمومی TREC از درونیابی امتیازها بهتر عمل کرده است، و موتورهای جستجوی محیط عملیاتی (Production) هم در مستندات بازیابی ترکیبی خود دقیقاً به همین نتیجه رسیدهاند.
دستگیرهای برای تنظیم دقیق بدون برهمزدن ماهیت روش
اگر شواهدی دارید که نشان میدهد روی دادههای شما یک بازیابی بهتر از دیگری عمل میکند، سهم رتبهی آن را در یک ضریب وزنی ضرب کنید. شکل افت رتبه دستنخورده باقی میماند و این روش همچنان مستقل از مقیاس میماند.
سؤالهای تکمیلی مصاحبهگر
- سطح 2: مقدار ثابت k چه چیزی را کنترل میکند؟ انتظار میرود: سرعت افت سهم رتبه همراه با افزایش آن؛ وقتی مقدار 60 باشد، رتبهی 1 سهم 1/61 و رتبهی 10 سهم 1/70 میگیرد، بنابراین کاندیداهای پایینتر هم همچنان شمرده میشوند.
- سطح 2: چه زمانی مقدار k را کاهش میدهید؟ انتظار میرود: وقتی نتیجهی برتر هر لیست باید بر ترتیب نهایی حاصل از ادغام مسلط باشد.
- سطح 3: میدانید که BM25 روی پیکره متنی شما بهتر کار میکند؛ این موضوع را چطور نشان میدهید؟ انتظار میرود: یک وزن به ازای هر لیست که سهم رتبهی لیست BM25 را در خود ضرب کند؛ هم شکل افت رتبه و هم خاصیت مستقل از مقیاس بودن حفظ میشوند.
- سطح 3: چرا روش مبتنی بر رتبه بعد از ایندکس مجدد دوام میآورد اما مجموع وزندار خراب میشود؟ انتظار میرود: رتبهها هنگام تغییر پیکره متنی معنای خود را حفظ میکنند، در حالی که امتیازهای BM25 و پراکندگی آنها جابهجا میشوند، بنابراین آلفای تنظیمشده دیگر تطابق نخواهد داشت.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «هر دو امتیاز را به بازهی صفر تا یک نرمالسازی میکنیم و آنها را جمع میزنیم.» توزیع آماری دو روش باز هم به ازای هر پرسوجو و هر پیکره متنی فرق میکند، بنابراین تعادلِ تنظیمشده بعد از ایندکس مجدد دچار دریفت میشود.
- «سندی را که بیشترین امتیاز را در هر کدام از دو لیست دارد برمیداریم.» در این حالت، یک امتیاز بیکران BM25 روی تمام پرسوجوها سایه میاندازد؛ واحد قابلمقایسه رتبه است.
- «ادغام صرفاً یک تصمیمگیرنده برای حل موارد تساوی (Tie-breaker) بین دو لیست است.» در این سناریو، فرایند ادغام رتبهی نخست را برای تمام دستههای پرسوجو تعیین میکند؛ سندی که در هر دو لیست خوب باشد، سندی را که تنها در یکی از لیستها اول شده شکست میدهد.
کجای دوره آموزش داده میشود
درس بازیابی ترکیبی فرمول رسمی، نقش k و استدلالهای مخالف درونیابی امتیازها را ارائه میکند، و در درس RAG پیشرفته مثال دو سندی بررسی شده است.