سؤال مصاحبه

تحلیل چهار خط امتیازدهی به واژه‌ها در الگوریتم BM25

Read the four lines that score a BM25 term

  • سطح ۳: ارشد
  • کدخوانی
  • ۱۰ دقیقه

این چهار خط از کد امتیازدهی BM25 را که در درس بازیابی پیشرفته آمده است بخوانید. دلیل وجود + 1 درون لگاریتم را توضیح دهید، بگویید پارامترهای k1 و b چه چیزی را کنترل می‌کنند و شرح دهید چه بر سر واژه‌ای می‌آید که در بیش از نیمی از اسناد آمده است.

idf = math.log((self.n_docs - df + 0.5) / (df + 0.5) + 1)
numerator = tf * (self.k1 + 1)
denominator = tf + self.k1 * (1 - self.b + self.b * doc_len / self.avg_dl)
score += idf * numerator / denominator

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

عبارت + 1 درون لگاریتم، همان معکوس فراوانی سند (Inverse Document Frequency یا IDF) هموارشده است: بدون این عبارت، واژه‌ای که در اکثر اسناد وجود دارد وزنی منفی می‌گیرد، اما با وجود آن، وزن همواره مثبت می‌ماند. پارامتر k1 مشخص می‌کند تکرار یک واژه با چه سرعتی دیگر به امتیاز اضافه نمی‌کند و b تعیین می‌کند که اسناد طولانی چقدر جریمه شوند. واژه‌ای که در بیشتر اسناد آمده باشد وزنی نزدیک به صفر می‌گیرد؛ رفتاری کاملاً مناسب برای کلمات توقف (Stop Words).

پاسخ کامل

معکوس فراوانی سند

نسبت داخل لگاریتم برابر است با تعداد اسنادِ فاقد واژه به‌علاوه‌ی نیم، تقسیم بر تعداد اسنادِ دارای واژه به‌علاوه‌ی نیم. وقتی تعداد اسناد دارای واژه کمتر از اسناد فاقد آن باشد، این نسبت بزرگ‌تر از یک است و لگاریتم مثبت می‌شود. اما به‌محض اینکه واژه از مرز نیمی از پیکره متنی (Corpus) عبور کند، این نسبت به زیر یک می‌رسد و لگاریتم به‌تنهایی منفی می‌شود. در اینجا عبارت + 1 آن را مثبت نگه می‌دارد. در درس پروژه پایانی اشاره شده که این موضوع برای کلمات توقف (که در بیشتر اسناد ظاهر می‌شوند) و همچنین در پیکره‌های متنی کوچک (که یک واژه‌ی رایج می‌تواند به‌راحتی از این مرز رد شود) اهمیت دارد.

اشباع بسامد واژه (Term Frequency Saturation)

ضریب بسامد واژه برابر است با tf * (k1 + 1) تقسیم بر tf + k1 * (...). با افزایش tf، این ضریب به سمت k1 + 1 میل می‌کند؛ بنابراین سندی که یک واژه در آن 50 بار تکرار شده، 50 برابر مرتبط‌تر از سندی نیست که آن واژه را فقط یک بار دارد. درس RAG پیشرفته مقدار پیش‌فرض k1 را 1.2 می‌گذارد؛ درس پروژه پایانی از مقدار 1.5 استفاده می‌کند و آن را توصیه‌ی منتشرشده در مقالات می‌داند، با این تذکر که بدون بنچمارک نباید تغییرش داد.

نرمال‌سازی طول سند

پارامتر b ضریب طول سند را مقیاس‌بندی می‌کند. اگر b صفر باشد، طول سند نادیده گرفته می‌شود. با مقدار یک برای b، جریمه‌ی طول سند کامل اعمال می‌شود. هر دو درس مقدار پیش‌فرض را 0.75 می‌گذارند: اسناد طولانی‌تر جریمه می‌شوند، اما نه به‌صورت خطی.

وزن‌دهی به فیلدها (Field Weighting)

پروژه پایانی، وزن‌دهی به فیلدها را در زمان نمایه‌سازی (Index time) به‌شکل اعمال یک ضریب روی شمارش واژه‌ها پیاده می‌کند؛ مثلاً تکرار نام نماد (Symbol Name) در بالای متن بدنه. با این کار، کد امتیازدهی بدون تغییر باقی می‌ماند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: وزن واژه‌ای که در تمام اسناد تکرار شده چقدر است؟ انتظار می‌رود: مقدار df برابر با تعداد کل اسناد می‌شود، نسبت درون لگاریتم نزدیک به صفر خواهد بود، لگاریتمِ عددِ نزدیک به یک تقریباً صفر می‌شود و در نتیجه این واژه عملاً هیچ امتیازی اضافه نمی‌کند.
  • سطح 3: یک سند واژه‌ی جست‌وجو را 50 بار تکرار کرده است. امتیاز آن در مقایسه با سندی که فقط یک بار آن را دارد چطور خواهد بود؟ انتظار می‌رود: امتیاز آن 50 برابر نخواهد بود؛ چون ضریب بسامد واژه به سمت k1 به‌علاوه‌ی یک اشباع می‌شود.
  • سطح 4: چه زمانی مقدار b را تغییر می‌دهید؟ انتظار می‌رود: وقتی اسناد طولانی واقعاً اطلاعات کمتری در ازای هر کلمه دارند آن را بالا می‌برید، و زمانی که طول سند هیچ ربطی به موضوع ندارد آن را به سمت صفر کاهش می‌دهید.
  • سطح 4: این دو درس مقادیر پیش‌فرض متفاوتی برای k1 دارند. چه کار می‌کنید؟ انتظار می‌رود: مقدار پیش‌فرض منتشرشده را حفظ کنید، مگر اینکه بنچمارک روی پیکره متنی خودتان چیز دیگری بگوید؛ همچنین k1 و b را به‌جای تکیه بر حدس و شهود، با اجرای مجدد بستر ارزیابی (Eval Harness) تنظیم کنید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «عبارت +1 جلوی لگاریتمِ صفر را می‌گیرد.» به‌دلیل وجود نیم در صورت کسر، این نسبت هرگز صفر نمی‌شود؛ این +1 مانع منفی شدن وزن در زمانی می‌شود که واژه از نیمی از پیکره متنی بگذرد.
  • «پارامتر k1 تعداد نتایجی است که نگه می‌داریم.» خیر، k1 ثابت اشباع بسامد واژه است.
  • «مقدار بالاتر برای b به نفع اسناد طولانی است.» مقدار بالاتر b جریمه‌ی طول را بیشتر می‌کند؛ مقدار صفر برای b طول سند را به‌کلی نادیده می‌گیرد.

کجای دوره آموزش داده می‌شود

تابع امتیازدهی در درس RAG پیشرفته پیاده شده و درس بازیابی ترکیبی به توضیح IDF هموارشده، مقادیر پیش‌فرض و وزن‌دهی به فیلدها پرداخته است.