سؤال مصاحبه

کدام بازنویس پرسمان برای یک سوال دوموضوعی مناسب است؟

Which query rewriter fits a two-topic question

  • سطح ۲: میانی
  • بده‌بستان
  • ۹ دقیقه

پایپ‌لاین شما سه بازنویس پرسمان (Query Rewriter) در اختیارتان می‌گذارد: نوشتن یک پاسخ فرضی و جست‌وجو بر اساس آن، نوشتن چند پارافریز (Paraphrase) و merge کردن آن‌ها، یا تجزیه‌ی پرسمان به چند زیرسوال و سپس merge کردن نتایج. کاربری می‌پرسد: «وقتی آپلودها با خطا مواجه می‌شوند و بودجه هم تمام شده، تیم ما چه کار می‌کند؟» کدام بازنویس برای این سوال مناسب است و دو گزینه‌ی دیگر در چه شرایطی انتخاب درستی خواهند بود؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

پرسمان را خرد کنید (Split)، چون این سوال دو موضوع مختلف را با حرف ربط به هم وصل کرده است: خطای آپلود و تمام شدن بودجه؛ و هیچ تکه‌متنی (Chunk) به‌تنهایی شامل هر دوی این‌ها نیست. پاسخ فرضی زمانی مناسب است که با سوالی پر از اصطلاحات تخصصی روبه‌رو باشیم که کلماتش با واژگان پیکره متنی (Corpus) همخوانی ندارد. پارافریز هم به درد سوال کوتاهی می‌خورد که می‌توان آن را به چندین شکلِ به همان اندازه خوب مطرح کرد.

پاسخ کامل

مقایسه‌ی رو در روی این سه روش

بازنویس عملکرد زمان موفقیت زمان شکست
پاسخ فرضی مدل متنی با لحن پیکره متنی می‌نویسد؛ امبدینگ (Embedding) آن جایگزین بردار پرسمان می‌شود پرسمان و پیکره متنی از کلمات متفاوتی استفاده کنند مدل شناسه یا نامی ساختگی تولید کند که در ایندکس وجود ندارد
پارافریزها مدل N نگارش مختلف می‌نویسد؛ هر کدام بازیابی می‌شوند؛ لیست‌ها با ترکیب رتبه‌ها (Rank fusion) merge می‌شوند چندین نگارش مختلف وجود داشته باشد که مفهوم را بهتر بیان کنند تمام بازنویسی‌ها همگرا و شبیه هم شوند، طوری که نتیجه‌ی نهایی merge عملاً معادل یک بازیابی باشد
زیرسوال‌ها مدل سوال را تفکیک می‌کند؛ هر بخش بازیابی می‌شود؛ نتایج merge می‌شوند سوال دارای حروف ربط یا دو موضوع نامرتبط باشد سوال تجزیه‌ناپذیر (اتومیک) باشد اما مدل باز هم آن را خرد کند

هزینه‌ها

هر بازنویس پیش از آغاز بازیابی، یک فراخوانی مدل اضافه می‌کند؛ طبق درس RAG پیشرفته، این فراخوانی برای پاسخ فرضی بین 500 تا 2000 میلی‌ثانیه تاخیر (Latency) اضافی دارد. از آنجا که فرآیندهای بازیابیِ بعد از فراخوانی به‌صورت موازی اجرا می‌شوند، زمان فراخوانی مدل کفِ تاخیر خواهد بود. خروجی بازنویس را بر اساس هش پرسمان کش کنید، چرا که خیلی از پرسمان‌ها تکرار می‌شوند.

راهکارهای محافظتی

  • پاسخ فرضی را نهایتاً به دو یا سه جمله محدود کنید؛ جمله‌های طولانی‌تر نویز جمع می‌کنند و جمله‌های کوتاه‌تر نشانه‌های واژگانی را از دست می‌دهند.
  • داخل پرامپت (Prompt) پارافریز، دستور صریحی برای ایجاد تنوع بگذارید و موارد بسیار شبیه به هم را با بررسی همپوشانی (Overlap) ژاکارد حذف کنید.
  • قبل از توزیع موازی (Fan-out)، مطمئن شوید که زیرسوال‌ها از هم متمایز هستند، تا سوال اتومیک بدون تغییر برگردد.

انتخاب راهبرد برای هر پرسمان

درس سرتاسری (End-to-end) راهبرد مناسب را بر اساس قواعد اکتشافی روی طول پرسمان، وجود حروف ربط و نسبت اصطلاحات تخصصی تعیین می‌کند. گزینه‌ی دیگر این است که هر سه حالت را موازی اجرا کنید و سه مجموعه‌ی نتایج را ترکیب کنید؛ هزینه‌ی این کار سه فراخوانی مدل و یک عملیات ترکیب نتایج خواهد بود.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: یک بازنویس چقدر هزینه از نظر تاخیر ایجاد می‌کند؟ انتظار می‌رود: یک فراخوانی مدل پیش از بازیابی، که طبق درس RAG پیشرفته برای پاسخ فرضی 500 تا 2000 میلی‌ثانیه است، و مراحل بازیابی پس از آن به‌صورت موازی انجام می‌شوند.
  • سطح 2: اگر خروجی پارافریزها تقریباً یکسان باشد، چه اتفاقی می‌افتد و چه تغییری ایجاد می‌کنید؟ انتظار می‌رود: لیست merge شده معادل یک بازیابی می‌شود؛ یک دستور تنوع‌بخشی به پرامپت اضافه کنید و موارد دارای همپوشانی نزدیک را با همپوشانی ژاکارد کنار بگذارید.
  • سطح 3: اگر خردکننده یک سوال اتومیک را به سه بخش تفکیک کند، چه آسیبی می‌زند و راهکار محافظتی چیست؟ انتظار می‌رود: همان سند سه بار با رتبه‌ی پایین‌تر می‌آید و خروجی merge ضعیف‌تر می‌شود؛ پیش از توزیع موازی، بررسی کنید که بخش‌ها از هم متمایز باشند.
  • سطح 3: سیستم سرتاسری چطور بدون دخالت انسان تصمیم می‌گیرد؟ انتظار می‌رود: قواعد اکتشافی روی طول پرسمان، حروف ربط و نسبت اصطلاحات تخصصی، یا اجرای هر سه روش و ترکیب نتایج.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «همیشه پاسخ فرضی بنویسید، این قوی‌ترین روش است.» این کار صرفاً شکاف واژگانی را پر می‌کند (نقش رابط را دارد) و برای سوالی با دو موضوع هیچ فایده‌ای ندارد؛ ضمناً شناسه‌ی ساختگی می‌تواند به بخش واژگانی هم ضربه بزند.
  • «بازنویس پرسمان ضعف سیستم بازیابی (Retriever) را برطرف می‌کند.» این کار صرفاً پرسمان را به لحن پیکره متنی نزدیک‌تر می‌کند؛ اگر چانکر، پاسخ را بریده و ناقص کرده باشد، باز هم شکست می‌خورید.
  • «هر پرسمانی را به زیرسوال خرد کنید.» سوالات اتومیک بیش از حد خرد می‌شوند و نتیجه‌ی به‌دست‌آمده از پرسمان اصلی هم بدتر خواهد بود.

کجای دوره آموزش داده می‌شود

درس بازنویسی پرسمان به ساخت این سه بازنویس و حالت‌های شکست (Failure modes) آن‌ها می‌پردازد، و هزینه‌ی تاخیر آن‌ها در درس RAG پیشرفته بررسی شده است.