سؤال مصاحبه

فیلتر روی متاداده پیش از جست‌وجوی برداری

Filter on metadata ahead of the vector search

  • سطح ۲: میانی
  • طراحی
  • ۸ دقیقه

کاربری می‌پرسد ماه گذشته چه تغییراتی در خط‌مشی امنیتی ایجاد شده است. جست‌وجوی برداری شما سندی امنیتی مربوط به دو سال پیش را برمی‌گرداند، صرفاً چون از نظر معنایی به پرسش نزدیک است. مرحله‌ی بازیابی (Retrieval) را طوری طراحی کنید که چنین اتفاقی نیفتد، و بگویید همین سازوکار در استقرارهای دارای الزامات قانونی چه مزایای دیگری به همراه دارد.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

متاداده‌هایی مانند منبع، تاریخ ایجاد، دسته‌بندی، نویسنده و نسخه را همراه هر تکه متن (Chunk) ذخیره کنید و پیش از اجرای جست‌وجوی شباهت، فیلتر را روی آن‌ها اعمال کنید. برای این پرسش، فیلتر شامل دسته‌بندی امنیتی و 30 روز گذشته است؛ در نتیجه سند قدیمی اصلاً وارد گزینه‌های نامزد نمی‌شود. در محیط‌های قانون‌مند، همین پیش‌فیلتر برچسب‌های نقش و برچسب‌های حوزه‌ی قضایی (Jurisdiction Tag) را هم در بر می‌گیرد تا کاربر فقط تکه‌هایی را بازیابی کند که اجازه‌ی دیدنشان را دارد.

پاسخ کامل

پیش‌فیلتر، نه پس‌فیلتر

اگر فیلتر را بعد از مشخص شدن top k اعمال کنید، ممکن است چیزی باقی نماند: اگر تمام جایگاه‌های (Slot) لیست top k به اسناد قدیمی اختصاص یافته باشند، سند درست اصلاً فرصت رقابت پیدا نمی‌کند. فیلتری که پیش از جست‌وجو اعمال می‌شود، فضایی را که جست‌وجوی شباهت روی آن اجرا می‌شود کوچک‌تر می‌کند؛ موضوعی که در درس RAG پیشرفته، برای کارایی سیستم در مقیاس بالا حیاتی دانسته شده است. علاوه بر این، سندی که کنار گذاشته شده دیگر نمی‌تواند جایگاهی را پر کند. پایگاه‌های داده‌ی برداری از این قابلیت تحت عنوان پیش‌فیلتر متاداده (Metadata Pre-filtering) پشتیبانی می‌کنند.

چه داده‌هایی را ذخیره کنیم؟

فیلد کاربرد
سند منبع ارجاعات و حذف تکراری‌ها در سطح هر سند
تاریخ ایجاد و نسخه بازه‌های زمانی و مدیریت اسناد منسوخ
دسته‌بندی دامنه (Scope)، مانند امنیت یا صورت‌حساب
نویسنده منشأ و سندیت (Provenance)
برچسب نقش چه کسی اجازه‌ی دیدن این تکه را دارد
برچسب حوزه‌ی قضایی این تکه به کدام دامنه‌ی نظارتی تعلق دارد

پایپ‌لاین در محیط‌های قانون‌مند

پروژه‌ی پایانی محیط عملیاتی (Production)، سمت پرسش را با این ترتیب سازمان‌دهی می‌کند: ابتدا فیلتر بر اساس نقش و حوزه‌ی قضایی، سپس بازیابی متراکم (Dense) و BM25 به‌صورت موازی، بعد ترکیب رتبه‌ها (Rank Fusion)، سپس ارسال 20 نتیجه‌ی برتر به بازرتبه‌بند (Reranker)، و در نهایت ارسال 5 نتیجه‌ی برتر به تولیدکننده. این برچسب‌ها در زمان ورود داده (Ingestion) و در کنار خلاصه‌ی تکه‌ها تولید می‌شوند؛ بنابراین هیچ بخشی در ادامه‌ی پایپ‌لاین نیازی به حدس زدن آن‌ها ندارد.

راستی‌آزمایی عملی

کنترل دسترسی بدون آزمون ارزیابی، صرفاً یک آرزوست. پروژه‌ی پایانی، پیش از انتشار یک تیم سرخ (Red Team) با آزمون‌های ارزیابی نشت میان‌حوزه‌ای اجرا می‌کند؛ تمرین این بخش نیز برش دومی از پیکره متنی (Corpus) را ذیل یک حوزه‌ی قضایی دیگر می‌سازد و یک آزمون ارزیابی 20 سؤالی میان‌حوزه‌ای را اجرا می‌کند که خروجی آن به‌صورت قبولی یا رد ثبت می‌شود.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا باید فیلتر را قبل از جست‌وجو اعمال کرد و نه بعد از آن؟ انتظار می‌رود بگویید: فضای جست‌وجو کوچک‌تر می‌شود که در مقیاس بالا به کارایی کمک می‌کند، و سندِ کنارگذاشته‌شده هرگز نمی‌تواند جایگاهی را در لیست top k بگیرد.
  • سطح 2: چه فیلدهایی را همراه هر تکه ذخیره می‌کنید؟ انتظار می‌رود بگویید: منبع، تاریخ، دسته‌بندی، نویسنده و نسخه، به‌همراه برچسب‌های نقش و حوزه‌ی قضایی در محیط‌های قانون‌مند.
  • سطح 3: چطور مطمئن می‌شوید فیلتر نقش پایدار می‌ماند و کار می‌کند؟ انتظار می‌رود بگویید: با مجموعه‌ای از پروب‌ها با پرسش‌های میان‌حوزه‌ای؛ پروژه‌ی پایانی این کار را با یک بررسی 20 سؤالی انجام می‌دهد که نتیجه‌اش قبولی یا رد است.
  • سطح 3: جایگاه فیلتر نسبت به بازرتبه‌بند و تولیدکننده کجاست؟ انتظار می‌رود بگویید: پیش از بازیابی؛ پروژه‌ی پایانی ابتدا فیلتر را اعمال می‌کند، سپس بازیابی ترکیبی (Hybrid Retrieval) را اجرا می‌کند، بعد 20 نتیجه‌ی برتر به بازرتبه‌بند و در نهایت 5 نتیجه‌ی برتر به تولیدکننده داده می‌شوند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «تاریخ را داخل متن پرامپت یا پرسش بگذارید تا امبدینگ (Embedding) آن را بازتاب دهد.» امبدینگ تاریخ را تضمین و اعمال نمی‌کند؛ یک سند قدیمی که شباهت معنایی بالایی دارد همچنان امتیاز بالایی می‌گیرد.
  • «نتایج را بعد از بازگشت top k فیلتر کنید.» اگر تمام اسناد top k قدیمی باشند، بعد از فیلتر چیزی باقی نمی‌ماند و سند درست اصلاً شانس حضور پیدا نکرده است.
  • «به مدل بگویید از اسنادِ حوزه‌ی قضاییِ دیگر استفاده نکند.» کنترل دسترسی باید در مرحله‌ی بازیابی اتفاق بیفتد، پیش از آن‌که متن به پرامپت (Prompt) برسد.

کجای دوره آموزش داده می‌شود

درس RAG پیشرفته پیش‌فیلتر متاداده را توضیح می‌دهد، و پروژه‌ی پایانی RAG در محیط عملیاتی فیلترهای دسترسی را پیش از بازیابی اعمال کرده و آن‌ها را در تیم سرخ ارزیابی می‌کند.