سؤال مصاحبه

جستجوی برداری مقاله‌ای را که دقیقاً حاوی کد خطاست پیدا نمی‌کند

Vector search misses the article with the exact error code

  • سطح ۲: میانی
  • اشکال‌یابی
  • ۸ دقیقه

کارشناسان پشتیبانی پایگاه دانش را با کد خطای دقیق یک تیکت (مثلاً E-4021) جستجو می‌کنند. جستجوی برداری مقالاتی کلی درباره‌ی مدیریت خطا برمی‌گرداند و دقیقاً همان یک مقاله‌ای را که حاوی این کد است جا می‌اندازد. چه اتفاقی افتاده است و چه چیزی باید اضافه کنید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

مدل امبدینگ (Embedding) با کدهای کمیاب مثل نویز برخورد می‌کند؛ بنابراین بردار پرس‌وجو به‌جای قرار گرفتن کنار آن یک تطابق دقیق (Exact Match)، در نزدیکی مقالات عمومی مربوط به خطاها می‌نشیند. در کنار ایندکس برداری، یک ایندکس واژگانی با BM25 اضافه کنید، هر دو را برای هر پرس‌وجو اجرا کنید و دو فهرست رتبه‌بندی‌شده را با ادغام رتبه متقابل (Reciprocal Rank Fusion یا RRF) با هم merge کنید. توکن دقیق در BM25 برنده می‌شود و فهرست تلفیقی، همان مقاله را در رتبه‌ی اول قرار می‌دهد.

پاسخ کامل

دو بازیاب، دو نقطه‌ی قوت

جستجوی معنایی (Semantic Search) مفهوم را می‌فهمد. عبارت «چطور اشتراکم را لغو کنم» با «مراحل خاتمه دادن به پلن کاربری» بدون هیچ کلمه‌ی مشترکی تطبیق داده می‌شود. اما این روش تطابق‌های دقیق را از دست می‌دهد؛ چون کدی مثل E-4021 هیچ بار معنایی خاصی برای امبدینگ مدل ندارد.

جستجوی واژگانی (Lexical Search) دقیقاً برعکس عمل می‌کند. الگوریتم BM25 امتیاز سند را از طریق جمع زدن روی کلمات پرس‌وجو حساب می‌کند؛ یعنی حاصل‌ضرب فاکتور معکوس فراوانی سند (IDF) در یک فاکتور اشباع‌شونده‌ی فراوانی کلمه به همراه اصلاح طول سند. کلمه‌ای که در اسناد کمتری بیاید بیشترین وزن را می‌گیرد؛ بنابراین یک کد کمیاب دقیقاً همان چیزی است که BM25 در آن بهترین عملکرد را دارد. نقطه‌ی ضعف آن هم زمانی است که پرس‌وجو و سند هیچ کلمه‌ی مشترکی نداشته باشند.

هر دو بازیاب را به‌صورت موازی اجرا کنید و نتایج را بر اساس رتبه (Rank) ادغام نمایید: هر سند امتیازی برابر با مجموع یک تقسیم بر (k به‌علاوه‌ی رتبه‌اش در هر فهرست) می‌گیرد که k برابر با 60 است. دموی نهایی پروژه هر سه حالت را نشان می‌دهد. پرس‌وجوی نمادین و دقیق در رتبه‌ی 1 بازیاب BM25 و رتبه‌ی 4 بازیاب متراکم (Dense) قرار می‌گیرد و پس از ادغام، به رتبه‌ی 1 می‌رسد. پرس‌وجوی بازنویسی‌شده در رتبه‌ی 6 بازیاب BM25 و رتبه‌ی 1 بازیاب متراکم می‌نشیند و بعد از تلفیق، رتبه‌ی 1 را کسب می‌کند. این ادغام در هر دو دسته‌ی پرس‌وجوها موفق می‌شود؛ یعنی اصلاح عملکرد برای کدهای خطا، به قیمت افت کیفیت پرس‌وجوهای بازنویسی‌شده تمام نمی‌شود.

دو نکته‌ی مهم

  • وزن‌دهی به فیلدها (Field Weighting): اگر کدها در فیلد عنوان یا نماد قرار دارند، آن توکن‌ها را هنگام ایندکس‌گذاری تکرار کنید تا تطابق عنوان وزن بیشتری نسبت به تطابق متن پیدا کند. پایه‌ی محاسبات ریاضی تغییری نمی‌کند.
  • کدهای خارج از دایره‌ی واژگان (Out-of-Vocabulary): کدی که در تیکت آمده اما در هیچ مقاله‌ای نیست، از BM25 امتیاز صفر می‌گیرد؛ چون فراوانی سندی آن صفر است، در حالی که بخش متراکم همچنان همسایه‌هایی به‌ظاهر موجه برمی‌گرداند. اسناد را بر اساس شناسه سند یکتا کنید (De-duplicate) تا سمت واژگانیِ خالی، سهم رتبه‌ای پرت و اضافه تولید نکند. ادغام رتبه‌ها همچنان به اسنادی که فقط از سمت متراکم آمده‌اند امتیاز می‌دهد؛ بنابراین آن‌ها در فهرست تلفیقی می‌مانند و می‌توانند اول شوند. حتماً بررسی کنید که آیا مقاله‌ی بازیابی‌شده واقعاً شامل آن کد هست یا نه؛ اگر هیچ مقاله‌ای آن را نداشت، به‌جای پاسخ دادن بر اساس همسایه‌ها، صراحتاً اعلام کنید هیچ مقاله‌ی بازیابی‌شده‌ای حاوی این کد نیست.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا BM25 وزن خیلی زیادی به یک کد کمیاب می‌دهد؟ انتظار می‌رود: فاکتور فراوانی معکوس سند (IDF)؛ کلمه‌ای که در اسناد کمی آمده امتیاز بالایی می‌گیرد و کلمه‌ای که در بیشتر اسناد هست امتیاز پایینی می‌آورد.
  • سطح 2: کد در تیکت آمده ولی در هیچ مقاله‌ای وجود ندارد. هر بازیاب چه پاسخی برمی‌گرداند؟ انتظار می‌رود: BM25 برای آن کلمه هیچ امتیازی در نظر نمی‌گیرد، اما بازیاب متراکم همچنان همسایه‌هایی را می‌آورد که به‌ظاهر موجه ولی غلط هستند و ادغام رتبه‌ها هم آن‌ها را نگه می‌دارد؛ باید بررسی کنید که مقاله‌ی بازیابی‌شده شامل آن کد هست یا نه، و وقتی هیچ مقاله‌ای حاوی آن نبود، اعلام کنید هیچ مقاله‌ی بازیابی‌شده‌ای این کد را ندارد.
  • سطح 3: بعد از اضافه کردن ایندکس واژگانی، وضعیت پرس‌وجوهای بازنویسی‌شده چطور خواهد بود؟ انتظار می‌رود: آن‌ها همچنان رتبه‌ی برتر را حفظ می‌کنند، چون ادغام بر اساس رتبه است؛ در دمو، پرس‌وجوی بازنویسی‌شده در رتبه‌ی 6 ایندکس BM25 و رتبه‌ی 1 بازیاب متراکم بود و بعد از تلفیق، رتبه‌ی 1 شد.
  • سطح 3: کدها در فیلد کوتاه عنوان قرار دارند و متن اصلی متنی طولانی است. چه چیزی را تنظیم می‌کنید؟ انتظار می‌رود: وزن‌دهی به فیلدها، که توکن‌های عنوان را در زمان ایندکس تکرار می‌کند تا تطابق در عنوان اثر بیشتری داشته باشد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «سراغ مدل امبدینگ بهتری بروید.» یک کد کمیاب بار معنایی ندارد که مدل آن را یاد بگیرد؛ راه‌حل افزودن یک سیگنال واژگانی در کنار سیگنال معنایی است.
  • «آستانه‌ی (Threshold) شباهت را پایین بیاورید تا مقالات بیشتری برگردند.» آوردن همسایه‌های بیشتر با موضوع اشتباه، آن یک مقاله‌ی منطبق دقیق را به نتیجه اضافه نمی‌کند.
  • «جستجوی برداری را کلاً با BM25 جایگزین کنید.» در این صورت پرس‌وجوهایی که کلمات مشترکی با مقاله ندارند با خطا مواجه می‌شوند؛ باید هر دو را اجرا و نتایج را merge کنید.

کجای دوره آموزش داده می‌شود

درس RAG پیشرفته تفاوت‌های این دو بازیاب را بررسی می‌کند و درس بازیابی ترکیبی سه دسته‌ی پرس‌وجوها، وزن‌دهی به فیلدها و حالت کدهای خارج از دایره‌ی واژگان را نشان می‌دهد.