سؤال مصاحبه

طراحی سرویس پرسش و پاسخ روی اسناد سازمانی

Design a question answering service over company documents

  • سطح ۳: ارشد
  • طراحی
  • ۳۰ دقیقه

سرویس پرسش و پاسخی برای اسناد داخلی یک شرکت طراحی کنید: شامل صفحات ویکی، خط‌مشی‌ها، قراردادها و مقالات پشتیبانی در ابعاد چند صد هزار صفحه، با به‌روزرسانی هفتگی. کاربران، کارمندانی با سطوح دسترسی متفاوت هستند. مراحل پایپ‌لاین، روند ارزیابی و سه مورد اولی را که در محیط عملیاتی اندازه می‌گیرید، شرح دهید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

سیستم را در دو بخش بسازید: بخش درج داده (ingestion) و بخش پرس‌وجو (query). در بخش درج داده، هر سند را پارس کنید، متن هر سند را با یک تقسیم‌کننده‌ی آگاه به ساختار سند (structure-aware splitter) تکه‌تکه (chunk) کنید، تکه‌ها را به بردار تعبیه تبدیل کرده و بردارهای متراکم (dense vectors) را در کنار یک نمایه (index) از نوع BM25 با متاداده و برچسب‌های دسترسی برای هر تکه ذخیره کنید. در بخش پرس‌وجو، ابتدا نتایج را بر اساس دسترسی فیلتر کنید، بازیابی ترکیبی (hybrid retrieval) را همراه با ادغام رتبه‌ها اجرا کنید، با یک کراس‌ان‌کودر (cross-encoder) مجموعه‌ی نامزدهای اولیه را بازرتبه‌بندی (reranking) کنید و در نهایت، پاسخی مستند به ارجاعات همراه با مسیر رد پاسخ (refuse path) بسازید. کارکرد سیستم را با یک مجموعه‌ی طلایی (golden set) که متخصصان موضوعی برچسب‌گذاری کرده‌اند و ارزیابی بازیابی که بازخوانی در k (یا recall at k) را به تفکیک دسته‌ی پرس‌وجو گزارش می‌دهد بسنجید؛ سپس در محیط عملیاتی، کیفیت بازیابی را به‌صورت هفتگی، وفاداری (faithfulness) و صحت ارجاعات را در هر نوبت گفت‌وگو (turn)، و هزینه به ازای هر پرس‌وجو را اندازه بگیرید.

پاسخ کامل

ابتدا نیازمندی‌ها

  • تازگی داده‌ها (Freshness): به‌روزرسانی هفتگی یعنی نمایه‌سازی مجدد اسناد تغییریافته، نه بازآموزی مدل.
  • دسترسی (Access): تفاوت در سطوح دسترسی یعنی قرار دادن برچسب روی هر تکه و اعمال فیلتر قبل از بازیابی.
  • وارسی‌پذیری (Audit): پاسخ‌ها حتماً باید به همان بخش‌هایی از متن ارجاع دهند که پاسخ از آن‌ها استخراج شده است.
  • مقیاس (Scale): چند صد هزار صفحه در هیچ پرامپتی جا نمی‌شوند؛ مرحله‌ی بازیابی تعیین می‌کند مدل چه چیزهایی را ببیند.

درج داده

  1. هر سند را به متن و ساختار خام پارس کنید.
  2. تکه‌تکه کردن را به ازای هر سند به‌طور جداگانه انجام دهید. کار را با تقسیم بازگشتی (recursive split) در 512 توکن و بدون همپوشانی (overlap) شروع کنید؛ برای Markdown از تقسیم‌کننده‌ی مبتنی بر تیترها (header splitter) استفاده کنید؛ اندازه‌ی هر تکه را با یک حداقل و حداکثر مهار کنید؛ هرگز اجازه ندهید یک تکه میان دو سند مختلف کشیده شود.
  3. متاداده‌ها را اضافه کنید: منبع، تاریخ، نسخه، دسته‌بندی، نویسنده، برچسب نقش، حوزه قضایی یا برچسب واحد تجاری.
  4. برای هر تکه، بردار متراکم بسازید و بردار را همراه با داده‌های پیوست (payload) آن ذخیره کنید. در کنار آن، یک نمایه BM25 با وزن‌دهی به فیلدها بسازید تا تطابق در عنوان یا کد، امتیازی بیشتر از تطابق در متن اصلی داشته باشد.

پرس‌وجو

  1. قبل از هرگونه جستجو، فضای تکه‌های نامزد را بر اساس برچسب‌های نقش کاربر فیلتر کنید.
  2. بازیابی متراکم و BM25 را به‌صورت موازی اجرا کنید و نتایج را بر اساس رتبه ادغام نمایید.
  3. 20 نتیجه‌ی برتر را به یک کراس‌ان‌کودر بفرستید و 5 مورد اول را نگه دارید؛ این همان قیفی است که در پروژه‌ی پایانی محیط عملیاتی به کار می‌رود.
  4. پرامپت را بسازید و بخش‌های ثابت را اول بیاورید: ابتدا پرامپت سیستم و خط‌مشی‌های ثابت، سپس زمینه‌ی بازرتبه‌بندی‌شده و در آخر خود پرسش. پروژه‌ی پایانی نرخ اصابت (hit rate) کش بین 60 تا 80 درصد را روی این پیشوند هدف می‌گیرد که هزینه به ازای هر پرس‌وجو را 3 تا 5 برابر کاهش می‌دهد.
  5. پاسخ را با این دستورالعمل تولید کنید: برای هر ادعا ارجاع بیاورد و اگر تکه‌ها پاسخی ندارند، از پاسخ‌دادن خودداری کند. قبل از تولید پاسخ، نمره‌ی رتبه‌ی اولِ بازرتبه‌بند (reranker) را اعتبارسنجی کنید و پس از تولید نیز ادعاهای بدون ارجاع را حذف نمایید.

ارزیابی پیش از عرضه

  • یک مجموعه‌ی طلایی شامل 200 جفت پرسش و پاسخ همراه با ارجاع، با برچسب‌گذاری یک متخصص موضوعی، مطابق نیازمندی پروژه‌ی پایانی.
  • داده‌های مرجع ارزیابی (qrels) در سطوح مختلف: یک مجموعه‌ی تست سریع (smoke set) با 20 پرس‌وجو در پایپ‌لاین CI، یک مجموعه‌ی رگرسیون با 200 پرس‌وجو به‌صورت شبانه، و یک مجموعه‌ی عمیق با 2000 پرس‌وجو به‌صورت هفتگی.
  • معیارهای بازیابی به تفکیک دسته‌ی پرس‌وجو: اول بازخوانی در k، بعد MRR، و در صورت درجه‌بندی ارتباط، nDCG.
  • معیارهای پاسخ: وفاداری و مرتبط بودن، با داوریِ مدلی از یک خانواده‌ی دیگر.
  • یک تیم سرخ (red team) با 50 پرامپت خصمانه: مواردی مثل جیل‌بریک (jailbreak)، تلاش برای استخراج داده، پرسش‌های خارج از دامنه و نشت اطلاعات بین واحدها.

سه مورد اولی که در محیط عملیاتی اندازه می‌گیرید

  1. کیفیت بازیابی روی مجموعه‌ی طلایی، به‌صورت هفتگی. پروژه‌ی پایانی برای افت 5 درصدی هشدار تعیین می‌کند. این معیار را به تفکیک نوع سند و واحد تجاری تحلیل کنید.
  2. وفاداری و صحت ارجاعات در هر نوبت گفت‌وگو. این موارد مواردی را کشف می‌کنند که در آن‌ها بازیابی مشکلی ندارد، اما مدل پاسخ ساختگی تولید کرده یا ارجاع اشتباه داده است.
  3. هزینه و تاخیر هر پرس‌وجو به تفکیک مرحله. نرخ اصابت کش، توکن‌ها به ازای هر پرس‌وجو، و تقسیم زمان میان بازیابی (در بازه‌ی 50 تا 200 میلی‌ثانیه‌ی مطرح‌شده در درس) و تولید پاسخ (در بازه‌ی 500 تا 3000 میلی‌ثانیه).
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: کنترل دسترسی در کجای معماری قرار می‌گیرد؟ پاسخ مورد انتظار: در فیلتر بازیابی، به‌صورت برچسب نقش روی تکه‌ها که پیش از جستجوی شباهت اعمال می‌شود؛ هرگز نباید در متن پرامپت قرار گیرد.
  • سطح 3: سندی روز سه‌شنبه تغییر می‌کند. چه چیزی قدیمی می‌شود و تا چه مدت؟ پاسخ مورد انتظار: تکه‌های همان سند، تا زمان نمایه‌سازی مجدد بعدی؛ فقط برای اسناد تغییریافته بردار مجدد بسازید، نسخه را در متاداده ثبت کنید و فاصله‌ی زمانی میان به‌روزرسانی منبع و به‌روزرسانی نمایه را پایش کنید.
  • سطح 4: در این حجم، چطور هزینه‌ی مدل را پایین نگه می‌دارید؟ پاسخ مورد انتظار: با ساخت پرامپت سازگار با کش که پرامپت سیستم و خط‌مشی‌ها را اول، زمینه‌ی بازرتبه‌بندی‌شده را بعد از آن و پرسش را در انتها قرار می‌دهد؛ پروژه‌ی پایانی نرخ اصابت 60 تا 80 درصد و کاهش 3 تا 5 برابری هزینه به ازای هر پرس‌وجو را هدف می‌گیرد.
  • سطح 4: مجموعه‌ی طلایی قبول می‌شود، اما یک دپارتمان همچنان پاسخ‌های نامناسب دریافت می‌کند. چه کار می‌کنید؟ پاسخ مورد انتظار: ارزیابی را به تفکیک نوع سند و دسته‌ی پرس‌وجو تحلیل کنید، پرس‌وجوهای واقعی آن دپارتمان را به qrels اضافه کنید و بررسی نمایید که آیا اسناد آن‌ها با تقسیم‌کننده‌ای متناسب با فرمتشان تکه‌تکه شده است یا خیر.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «همه‌ی اسناد را در یک پرامپت بلند جا بدهید.» صدها هزار صفحه در پرامپت جا نمی‌شوند، و بی‌دلیل نیست که این درس بودجه‌ی 2,500 تا 5,000 توکن از متن بازیابی‌شده را برای هر پرس‌وجو در نظر گرفته است.
  • «مدل را هر هفته روی اسناد فاین‌تیون کنید.» چنین مدلی نمی‌تواند ارجاع دقیق بدهد، داده‌هایش بین دوره‌های آموزش قدیمی می‌شوند و امکان اعمال سطوح دسترسی را هم ندارد.
  • «جستجوی برداری به‌تنهایی کافی است.» شناسه‌های دقیق، کدها و نام‌ها به بخش مبتنی بر واژگان نیاز دارند؛ هر دو را اجرا و نتایج را ترکیب کنید.
  • «بدون مجموعه‌ی برچسب‌گذاری‌شده سیستم را منتشر کنید، همین که دمو کار می‌کند کافی است.» دمو روی ده سند هیچ چیزی درباره‌ی عملکرد روی صدها هزار صفحه نمی‌گوید؛ اول مجموعه‌ی طلایی را برچسب‌گذاری کنید.

کجای دوره آموزش داده می‌شود

درس RAG این دو فاز را می‌سازد، درس RAG پیشرفته جستجوی ترکیبی، بازرتبه‌بندی و فیلترهای متاداده را اضافه می‌کند، درس RAG سرتاسری مراحل را همراه با یک مدل تولیدکننده‌ی دارای ارجاع ترکیب می‌کند، پروژه‌ی پایانی RAG در محیط عملیاتی مجموعه‌ی طلایی، تیم سرخ و اهداف کش را مشخص می‌کند، و درس ارزیابی RAG ساختار سطوح مختلف qrels را آموزش می‌دهد.