سؤال مصاحبه

پاراگراف ساختگی جست‌وجوی کد را خراب کرد

The invented passage made code search worse

  • سطح ۳: ارشد
  • اشکال‌یابی
  • ۱۰ دقیقه

بازنویس پاسخ فرضی (Hypothetical-answer rewriter) را برای دستیار جست‌وجوی کد فعال کرده‌اید. کیفیت پاسخ‌ها برای یکی از زیرسیستم‌ها بدتر شده است: سند مرجع (Gold document) که قبلاً در رتبه 2 قرار داشت، اکنون در سمت بازیابی لغوی (Lexical) حتی در میان 10 نتیجه‌ی اول هم نیست. پاراگراف‌های فرضی کاملاً روان و معقول به نظر می‌رسند. چه اتفاقی افتاده است و چه تغییری باید ایجاد کنید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

مدل نام تابعی را سرهم کرده که اصلاً در نمایه (Index) وجود ندارد. نماد (Symbol) واقعی که بار تطابق لغوی را به دوش می‌کشید از پرس‌وجوی بازنویسی‌شده حذف شده است؛ ادامه‌ی متن هم نثری عمومی است که در اسناد زیادی امتیاز می‌گیرد، و سمت متراکم (Dense) نیز برای این توکن ساختگی، همسایه‌ای به‌ظاهر موجه برمی‌گرداند. حجم پاسخ فرضی را به دو یا سه جمله محدود کنید، وزن BM25 را در ترکیب نتایج (Fusion) برای پرس‌وجوهای بازنویسی‌شده پایین بیاورید، و پرس‌وجوهایی را که از قبل حاوی یک نماد واقعی هستند اصلاً به بازنویس نفرستید.

پاسخ کامل

چرا بازنویس وجود دارد؟

واژه‌های کاربر با واژه‌های موجود در پیکره متنی (Corpus) فرق دارد. بازنویس از مدل می‌خواهد پاراگرافی بنویسد که با لحن و ادبیات مستندات پروژه به سؤال پاسخ دهد، و سپس به جای خود پرس‌وجو، بردار تعبیه‌شده‌ی (Embedding) آن پاراگراف را می‌سازد. این پاراگراف از نظر محتوایی و فکت‌ها غلط است؛ چون مدل پیکره متنی شما را نمی‌شناسد، اما این موضوع برای سمت متراکم مشکلی ندارد: بازیاب به توزیع توکن‌ها اهمیت می‌دهد، نه به درستی واقعیت‌ها.

چرا این ترفند در اینجا شکست خورد؟

جست‌وجوی کد بدترین سناریو برای این ترفند است. مدل با اعتماد‌به‌نفس تمام شناسه‌ها (Identifiers) را از خودش اختراع می‌کند. در سمت لغوی، این نام ساختگی جایگزین نماد واقعی می‌شود؛ بنابراین، همان تک‌واژه‌ی نادری که می‌توانست سند درست را با امتیاز بالا بالا بیاورد غایب است و نثر عمومی پیرامون آن، امتیاز را میان اسناد بی‌شماری پخش می‌کند. در سمت متراکم نیز توکنی که در هیچ سندی وجود ندارد، همچنان یک بردار به‌ظاهر معقول دریافت می‌کند؛ در نتیجه بازیاب همسایه‌هایی را بازمی‌گرداند که درست به نظر می‌رسند اما کاملاً اشتباه‌اند. مرحله‌ی ترکیب نتایج تنها زمانی می‌تواند این خطا را مهار کند که سمت لغوی رأی درستی داده باشد، در حالی که اینجا دیگر چنین اتفاقی نمی‌افتد.

راهکارها، به ترتیب

  1. پاسخ فرضی را به دو یا سه جمله محدود کنید. متن‌های طولانی‌تر توکن‌های نویز بیشتری جذب می‌کنند؛ متن‌های کوتاه‌تر هم سیگنال لغوی لازم برای این ترفند را از دست می‌دهند.
  2. همان‌طور که درس توصیه می‌کند، هنگام بازنویسی پرس‌وجو، وزن فهرست BM25 را در ترکیب نتایج کمتر در نظر بگیرید.
  3. استراتژی را برای هر پرس‌وجو جداگانه انتخاب کنید. قاعده‌ی سرانگشتی درس این است: بازنویسی‌های پر از اصطلاحات نامفهوم را به سمت پاسخ فرضی بفرستید؛ اما پرس‌وجویی که از قبل حاوی نماد دقیق است، یک پرس‌وجوی لفظی (Literal) به‌شمار می‌رود و بازیاب لغوی بدون هیچ کمکی آن را در رتبه 1 می‌نشاند.
  4. آن را در عمل اثبات کنید. داده‌های ارزیابی را بر اساس دسته‌ی پرس‌وجو تفکیک (Slice) کنید و میزان بازخوانی (Recall) را با و بدون بازنویس در هر بخش مقایسه کنید. بازنویس را فقط در بخش‌هایی روشن نگه دارید که بازخوانی را بالا می‌برد.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا طولانی‌تر بودن پاسخ فرضی اوضاع را بدتر می‌کند؟ پاسخ مورد انتظار: توکن‌های بیشتری جذب می‌کند که در اسناد زیادی امتیاز می‌آورند؛ درس طول آن را به دو یا سه جمله محدود می‌کند.
  • سطح 3: کدام پرس‌وجوها باید بازنویس را دور بزنند؟ پاسخ مورد انتظار: پرس‌وجوهایی که از قبل حاوی یک نماد دقیق هستند، زیرا بازیاب لغوی آن‌ها را بدون هیچ کمکی در رتبه‌ی اول قرار می‌دهد.
  • سطح 4: چطور راهکار خود را به جای بحث نظری، عملاً اثبات می‌کنید؟ پاسخ مورد انتظار: ارزیابی را بر اساس دسته‌ی پرس‌وجو بخش‌بندی می‌کنیم، بازخوانی هر بخش را با و بدون بازنویس مقایسه کرده و آن را فقط در بخش‌هایی فعال می‌کنیم که به بهبود نتیجه کمک می‌کند.
  • سطح 4: چرا سمت متراکم نمی‌تواند پرس‌وجو را نجات دهد؟ پاسخ مورد انتظار: توکن ساختگی همچنان یک بردار به‌ظاهر موجه دریافت می‌کند؛ بنابراین بازیاب متراکم همسایه‌های اشتباهی را برمی‌گرداند که صرفاً موجه به نظر می‌رسند؛ ترکیب نتایج هم فقط در صورتی این ایراد را برطرف می‌کند که سمت لغوی رأی درستی داده باشد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «به مدل بگویید نام‌های من‌درآوردی نسازد.» مدل نمی‌تواند بداند چه نام‌هایی در پیکره متنی شما وجود دارد؛ طبق درس، این پاراگراف ذاتاً و بر اساس طراحی حاوی داده‌های واقعیِ نادرست است.
  • «بازنویس را در همه‌جا خاموش کنید.» این روش برای پرس‌وجوهایی که لحن و نگارش متفاوتی با پیکره متنی دارند برنده است؛ به جای این کار، مسیردهی را بر اساس دسته‌ی پرس‌وجو انجام دهید.
  • «وزن BM25 را بالا ببرید تا سیگنال لغوی برگردد.» سیگنال لغوی دقیقاً همان بخشی است که توکن ساختگی خرابش کرده است؛ درس توصیه می‌کند وزن BM25 را برای پرس‌وجوی بازنویسی‌شده کاهش دهید.

کجای دوره آموزش داده می‌شود

درس بازنویسی پرس‌وجو به مشکل شناسه‌های ساختگی و دو راهکار آن اشاره می‌کند، و درس بازیابی ترکیبی توضیح می‌دهد که هر بازیاب با توکن‌های خارج از دامنه واژگان (Out-of-vocabulary) چه رفتاری دارد.