سؤال مصاحبه

پیاده‌سازی ارزیابی برای انتخاب پیکربندی بازیابی

Build the eval that picks a retrieval configuration

  • سطح ۳: ارشد
  • پروژه‌ی خانگی
  • ۶۰ دقیقه

تکلیف فنی (Take-home). به شما یک پیکره متنی (Corpus) شامل چند صد سند داخلی داده‌اند، همراه با یک پایپ‌لاین بازیابی (Retrieval pipeline) که دو قطعه‌بندی متن (Chunker) و دو بازیاب (Retriever) دارد و با فلگ‌ها جابه‌جا می‌شوند. ارزیابی‌ای بسازید که به تیم بگوید کدام پیکربندی را به محیط عملیاتی بفرستد، و گزارشی بنویسید که معنای این اعداد و ارقام را توضیح دهد. فقط یک عصر تا شب فرصت دارید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

ابتدا یک مجموعه پرسش برچسب‌گذاری‌شده و طبقه‌بندی‌شده بر اساس نوع پرسش بسازید که برای هر پرسش، شناسه‌های اسناد مرجع و متن پاسخ مرجع مشخص باشد. تمام پیکربندی‌ها را روی همین مجموعه یکسان اجرا کنید و بازخوانی (Recall) در 5 را برای هر برش از داده‌ها، به‌همراه MRR و سهم پرسش‌هایی که در 5 نتیجه‌ی برتر آن‌ها قطعه‌ای حاوی متن پاسخ مرجع وجود دارد گزارش دهید، سپس اختلاف میان پیکربندی‌ها را تحلیل کنید. برچسب‌گذاری را در سطح سند انجام دهید تا همین برچسب‌ها تمام قطعه‌بندها را بسنجند؛ اگر در سطح قطعه برچسب‌گذاری کنید، باید نام قطعه‌بند را در داده‌های مرجع ارزیابی (qrels) ثبت کنید و پس از هر بار تغییر قطعه‌بند، دوباره برچسب بزنید.

پاسخ کامل

موارد تحویلی

  1. یک فایل qrels. برای هر پرسش یک رکورد شامل متن پرسش، شناسه‌های اسناد مرجع، نگاشت ارتباط درجه‌بندی‌شده (Graded relevance) و زیررشته‌ی پاسخ مرجع. برچسب‌گذاری را در سطح سند انجام دهید نه در سطح قطعه، تا با تغییر قطعه‌بند برچسب‌ها همچنان معتبر بمانند.
  2. یک مجموعه‌ی طبقه‌بندی‌شده. درس قطعه‌بندی از یک مجموعه‌ی 50 پرسشی استفاده می‌کند که بین پرسش‌های فکت‌محور (Factoid)، تحلیلی و چندگامی (Multi-hop) تقسیم شده است. پرسش‌های چندگامی برندگانی متفاوت از پرسش‌های فکت‌محور را نشان می‌دهند، و یک میانگین کلی دسته‌ی بازنده را پنهان می‌کند.
  3. ماتریس اجرای آزمایش‌ها. دو قطعه‌بند ضربدر دو بازیاب؛ تک‌تک خانه‌ها در برابر همان qrels یکسان و با مقادیر k مشابه ارزیابی شوند.
  4. معیارها. بازخوانی در 5 به‌عنوان عدد اصلی، دقت (Precision) در k در کنار آن، MRR برای جایگاه اولین نتیجه‌ی مرتبط، nDCG در صورت وجود برچسب‌های درجه‌بندی‌شده، و نرخ تطابق پاسخ در 5 (Answer hit at 5) که تنها زمانی پرسش را می‌شمارد که یکی از پنج قطعه‌ی برتر حاوی زیررشته‌ی پاسخ مرجع باشد. بازخوانی در سطح سند نمی‌تواند تفاوت دو قطعه‌بند را نشان دهد، آن هم زمانی که هر دو، قطعاتی از سند مرجع را بازمی‌گردانند اما فقط یکی از آن‌ها قطعه‌ی حاوی پاسخ را آورده است. تطابق پاسخ فقط پوشش دقیق اسپن (Exact-span) را می‌سنجد: پاسخی چندگامی که در چند قطعه پراکنده شده ممکن است در این معیار رد شود، در حالی که پنج نتیجه‌ی برتر در مجموع پاسخ را تأمین می‌کنند؛ بنابراین آن را در کنار بازخوانی بخوانید، نه به‌عنوان امتیاز کامل بازیابی.
  5. گزارش. یک جدول با یک سطر برای هر پیکربندی و یک ستون برای هر برش، سپس توصیه‌ی نهایی به همراه دلیل آن، و در پایان مواردی که در گام بعدی اندازه خواهید گرفت.

چه انتظاری باید داشت

درس مقایسه‌ی قطعه‌بندی الگو را نشان می‌دهد: تفکیک‌کننده‌ی ساختاری مبتنی بر هد (Structural header splitter) روی Markdown برنده می‌شود، خوشه‌بندی معنایی (Semantic clustering) روی متن ساده‌ی پیوسته بهتر عمل می‌کند، و تقسیم بازگشتی (Recursive split) روی یک پیکره متنی ترکیبی جایگاه خود را حفظ می‌کند. بازیاب ترکیبی (Hybrid) نیز از نظر بازخوانی خط مبنای لغوی (Lexical baseline) را پشت سر می‌گذارد. در نهایت، پیکره متنی شما تعیین می‌کند کدام‌یک از این الگوها برقرار باشد.

محافظ‌هایی که مصحح‌ها دنبال آن هستند

  • سطح برچسب‌گذاری در هدِر qrels ثبت شده باشد، و شناسه‌های مرجع در سطح قطعه، نام قطعه‌بندی را که با آن تولید شده‌اند ذکر کنند.
  • داده‌های آموزشی بازرتبه‌بند (Reranker) با پرسش‌های بخش ارزیابی کاملاً مجزا و بدون هم‌پوشانی باشند.
  • نتایج به‌ازای تک‌تک پرسش‌ها ذخیره شوند، نه فقط میانگین‌ها.
  • متن گزارش به مواردی اشاره کند که این ارزیابی نمی‌تواند مشخص کند: کیفیت پاسخ، که نیازمند سنجش وفاداری (Faithfulness) و ارتباط توسط مدلی از خانواده‌ای دیگر یا به‌صورت دستی است.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا باید پرسش‌ها را بر اساس نوع آن‌ها دسته‌بندی کرد؟ پاسخ مورد انتظار: پرسش‌های فکت‌محور و چندگامی برنده‌های متفاوتی را نشان می‌دهند و یک میانگین ساده، دسته‌ای را که شکست خورده پنهان می‌کند.
  • سطح 3: برچسب‌ها با قطعه‌بند A تولید شده‌اند. آیا می‌توان از آن‌ها برای قطعه‌بند B استفاده کرد؟ پاسخ مورد انتظار: فقط در صورتی که برچسب‌ها در سطح سند یا اسپن باشند؛ شناسه‌های قطعه‌ها با جابه‌جایی مرزها تغییر می‌کنند، بنابراین در غیر این صورت باید نام قطعه‌بند را در qrels ثبت کنید و دوباره برچسب بزنید.
  • سطح 4: در گزارش خود چگونه تعداد پرسش‌ها را توجیه می‌کنید؟ پاسخ مورد انتظار: یک مجموعه‌ی طبقه‌بندی‌شده‌ی 50 پرسشی برای اولین تصمیم، و سپس لایه‌های 20 پرسشی در CI، 200 پرسش برای اجراهای شبانه و 2000 پرسش به‌صورت هفتگی، همراه با یادداشتی درباره‌ی اینکه هر لایه چه چیزی را می‌تواند و نمی‌تواند شناسایی کند.
  • سطح 4: بعد از گذشت یک عصر تا شب، از چه نتیجه‌گیری‌هایی خودداری می‌کنید؟ پاسخ مورد انتظار: هرگونه نتیجه‌گیری درباره‌ی کیفیت پاسخ، زیرا این ارزیابی صرفاً بازیابی را می‌سنجد؛ وفاداری و ارتباط به یک داور نیاز دارند، و داوری از همان خانواده‌ی مدل تولیدکننده دچار سوگیری است.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «من خودم ده تا سوال نوشتم و هر پیکربندی را اجرا کردم.» ده سوال از یک نوع نمی‌توانند چهار پیکربندی را از هم تفکیک کنند یا دسته‌ای را که مدام ناموفق است آشکار سازند.
  • «این هم میانگین بازخوانی برای هر پیکربندی.» یک میانگین کلی، برندگان هر برش و دسته‌ای را که ناموفق بوده مخفی می‌کند.
  • «قطعه‌بند را عوض کردم و از همان برچسب‌های سطح قطعه قبلی استفاده کردم.» شناسه‌های قطعات قبلی دیگر با قطعات جدید هم‌خوان نیستند؛ در سطح سند برچسب بزنید، یا دوباره برچسب‌گذاری کنید و نام قطعه‌بند را در هدِر qrels بیاورید.

کجای دوره آموزش داده می‌شود

درس راهبردهای قطعه‌بندی متن مجموعه‌ی طبقه‌بندی‌شده‌ی 50 پرسشی را مشخص می‌کند، درس ارزیابی RAG ساختار qrels و لایه‌بندی‌ها را تعریف می‌کند، و درس مقایسه‌ی قطعه‌بندی نشان می‌دهد کدام تفکیک‌کننده روی چه پیکره متنی برنده می‌شود.