یک دستیار هوشمند در حوزهای با قوانین نظارتی سختگیرانه، با استفاده از یک ایندکس واحد به تحلیلگران در دو حوزهی قضایی مختلف خدمترسانی میکند. در یک پروب تیم سرخ (red team)، پرسشی که ذیل یک حوزهی قضایی مطرح شده بود، بندی از یک قرارداد را برگرداند که به حوزهی قضایی دیگر تعلق داشت. بازرتبهبند (Reranker) و مدل مولد دقیقاً طبق طراحی کار میکنند. نشتی کجاست، چطور جلوی آن را میگیرید و چگونه اثبات (Proof) میکنید که بسته باقی میماند؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
نشتی در مرحلهی بازیابی (Retrieval) است: برچسب حوزهی قضایی (Jurisdiction Tag) پیش از جستجوی شباهت بهعنوان پیشفیلتر اِعمال نشده است؛ بنابراین، یک تکهمتن (Chunk) از نظر معنایی نزدیک از حوزهی دیگر وارد مجموعهی نامزدها شده و هیچ مرحلهای در ادامه برای حذف آن طراحی نشده است. برای بستن این رخنه، هنگام بارگذاری دادهها (Ingestion) به هر تکهمتن برچسب نقش و برچسب حوزهی قضایی بزنید و پیش از اجرای بازیابی ترکیبی (Hybrid Retrieval)، بر اساس هر دو فیلتر کنید. برای اثبات آن، یک مجموعهپروب بینحوزهای در مجموعهی آزمون تیم سرخ تعریف کنید، نتیجه را بهصورت قبولی یا رد همراه با سطح شدت بسنجید و پیش از هر بار انتشار آن را اجرا کنید.
پاسخ کامل
چرا مراحل پسین نمیتوانند نجاتبخش باشند
بازرتبهبند فقط نامزدهای دریافتی را بر اساس میزان ارتباط مرتب میکند، و بند نشتکرده اتفاقاً با پرسش مرتبط است. مدل مولد نیز به هر متنی که تحویل داده شود استناد میکند. گاردریل خروجی هم دادههای شخصی را پاکسازی کرده و موضوعات ممنوعه را مسدود میسازد؛ این گاردریل نمیداند هر بند به کدام حوزهی قضایی تعلق دارد. کنترل دسترسی باید پیش از رسیدن متن به پرامپت (Prompt) انجام شود، و تنها مرحلهای که کل پیکره متنی (Corpus) را میبیند، مرحلهی بازیابی است.
ترتیب مراحل در پروژهی پایانی
ابتدا بر اساس نقش و حوزهی قضایی فیلتر کنید. سپس بازیابی متراکم (Dense) و BM25 را بهصورت موازی اجرا کنید، نتایج را بر اساس رتبه (Rank) تلفیق نمایید، 20 نتیجهی برتر را به بازرتبهبند بفرستید، 5 نتیجهی اول را به مدل مولد تحویل دهید، سپس گاردریلها را اِعمال کنید و در نهایت با ذکر منبع پاسخ را برگردانید. این برچسبها در مرحلهی بارگذاری دادهها ساخته میشوند؛ جایی که هر تکهمتن یک خلاصهسازی، یک برچسب نقش و یک برچسب حوزهی قضایی دریافت میکند.
بستن رخنه
- در مرحلهی بارگذاری برچسب بزنید و فرآیند بارگذاری را طوری تنظیم کنید که از پذیرش تکهمتنهای بدون برچسب خودداری کند.
- فیلتر را پیش از بازیابی اِعمال کنید، نه روی k نتیجهی برتر پس از آن؛ پسفیلتر میتواند نتیجه را کاملاً خالی کند و با این حال به تکهمتنهای بدون برچسب اجازهی عبور بدهد.
- با حوزهی قضایی کاربر مانند یک پارامتر صریح درخواست رفتار کنید، هرگز آن را در قالب یک راهنمایی درون پرامپت نیاورید.
اثبات بسته ماندن رخنه
پروژهی پایانی یک ارزیابی تیم سرخِ پیش از انتشار شامل 50 پرامپت خصمانه را اجرا میکند که نشتیهای بینحوزهای را پوشش میدهند و نتیجه بهصورت قبولی یا رد همراه با درجهی شدت مشخص میشود. تمرین این بخش، برش دومی از پیکره متنی را ذیل حوزهی قضایی دیگری اضافه میکند و یک آزمون ارزیابی (Probe) بیستسوالی بینحوزهای را اجرا میکند. این آزمون ارزیابی را به درگاه انتشار (Release gate) برای تکتک تغییرات در بخش بارگذاری یا بازیابی تبدیل کنید و تعداد نشتیها را در داشبورد دریفت (Drift) روی عدد صفر قطعی نگه دارید.
سؤالهای تکمیلی مصاحبهگر
- سطح 3: چرا بازرتبهبند نمیتواند بند نشتکرده را شناسایی و حذف کند؟ پاسخ مورد انتظار: این بخش فقط نامزدهایی را که دریافت کرده مرتب میکند، و بندی از حوزهی قضایی اشتباه همچنان با پرسش مرتبط است.
- سطح 3: چرا گاردریل خروجی راهحل این مسئله نیست؟ پاسخ مورد انتظار: گاردریل دادههای شخصی را پاک و موضوعات ممنوعه را مسدود میکند؛ اما نمیتواند تشخیص دهد یک بند به کدام حوزهی قضایی تعلق دارد.
- سطح 4: برچسبها وجود دارند اما نشتی همچنان ادامه دارد. چه چیزی را بررسی میکنید؟ پاسخ مورد انتظار: اینکه آیا فیلتر پیش از بازیابی اجرا میشود یا بعد از آن روی k نتیجهی اول اِعمال میگردد، و اینکه آیا فرآیند بارگذاری به تکهمتنهای بدون برچسب اجازهی ورود داده است یا خیر.
- سطح 4: چگونه اثباتِ راهحل را بهروز نگه میدارید؟ پاسخ مورد انتظار: مجموعهپروبها (Probes) را در تیم سرخ با هر تغییری در بارگذاری یا بازیابی اجرا کنید، و آمار نشتی را در داشبورد دریفت با آستانهی (Threshold) صفر نمایش دهید.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «یک جمله دربارهی حوزهی قضایی کاربر به پرامپت سیستم اضافه کنید.» مدل نمیتواند بررسی کند که تکهمتن به کدام حوزهی قضایی تعلق دارد؛ کنترل دسترسی باید در مرحلهی بازیابی انجام شود.
- «ایندکسهای جداگانه مسئله را حل میکنند و نیازی به برچسب نیست.» فیلتر کردن بر اساس نقش همچنان به برچسب نیاز دارد، اسناد مشترک کپی میشوند و همچنان برای اثبات اینکه جداسازی برقرار مانده به آزمون ارزیابی نیاز دارید.
- «تیم سرخ یک بار تأیید شده، پس رخنه بسته است.» یک بار قبولی فقط یک بیلد را اثبات میکند؛ این آزمون ارزیابی باید با هر تغییر در بارگذاری یا بازیابی اجرا شود.
کجای دوره آموزش داده میشود
پروژهی پایانی RAG در محیط عملیاتی فیلتر دسترسی خود را پیش از مرحلهی بازیابی اِعمال کرده و آن را در آزمونهای تیم سرخ بررسی میکند، و درس RAG پیشرفته پیشفیلتر کردن بر اساس متادیتا را آموزش میدهد.