سؤال مصاحبه

بازبینی انتخاب قطعه‌بندی متن پیش از ساخت اولین ایندکس

Review a chunking choice before the first index build

  • سطح ۲: میانی
  • بده‌بستان
  • ۱۰ دقیقه

تیمی قصد دارد یک پیکره متنی (corpus) از اسناد جدید را ایندکس کند و از شما می‌خواهد روش قطعه‌بندی متن (chunking) آن‌ها را بررسی کنید. آن‌ها تقسیم معنایی (semantic splitting)، اندازه‌ی 1000 توکن برای هر قطعه و 20 درصد همپوشانی (overlap) را انتخاب کرده‌اند، صرفاً چون یک پست وبلاگی آن را پیشنهاد داده بود. به آن‌ها چه می‌گویید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

کار را بر اساس نوع پرسش شروع کنید، نه توصیه‌ی یک پست وبلاگی. پرسش‌های مبتنی بر فکت (factoid) به قطعه‌های 256 تا 512 توکنی نیاز دارند؛ پرسش‌های تحلیلی یا چندگامی (multi-hop) به 512 تا 1024 توکن؛ و پرسش‌های مربوط به درک کل یک بخش به 1024 تا 2048 توکن نیاز دارند. کار را با تقسیم بازگشتی (recursive split) با اندازه‌ی 512 توکن و بدون همپوشانی شروع کنید، سپس قبل از دست زدن به هر متغیری، بازخوانی (recall) در 5 را روی یک مجموعه‌ی 50تایی از پرسش‌ها بسنجید.

پاسخ کامل

چرا اندازه‌ی قطعه تابع نوع پرسش است؟

هر قطعه باید آن‌قدر بزرگ باشد که پاسخ و زمینه (context) محلی‌اش را در بر بگیرد، و آن‌قدر کوچک باشد که نتایج برتر (top k) دقیقاً پاسخ را برگردانند نه داده‌های زائد و نویز را. اگر قطعه خیلی کوچک باشد (مثلاً 64 تا 128 توکن)، با جمله‌ای مثل «در فصل گذشته 15٪ افزایش یافت» مواجه می‌شوید که فاقد نهاد یا موضوع است. اگر خیلی بزرگ باشد (مثلاً 2048 توکن یا بیشتر)، ممکن است 10٪ آن درباره‌ی درآمد و 90٪ درباره‌ی تعداد کارکنان باشد؛ در نتیجه امبدینگ (embedding) آن به هیچ مفهوم مشخصی اشاره نخواهد کرد.

نوع پرسش اندازه‌ی قطعه
مبتنی بر فکت (Factoid) 256 تا 512 توکن
تحلیلی یا چندگامی 512 تا 1024 توکن
درک کل یک بخش (Whole-section comprehension) 1024 تا 2048 توکن

داده‌های تجربی چه می‌گویند؟

  • در پژوهش‌های قطعه‌بندی، تقسیم بازگشتی در 512 توکن با نسبت 69٪ در مقابل 54٪ روش تقسیم معنایی را شکست داد.
  • همپوشانی در بررسی‌های بازیابی تنک (sparse retrieval) هیچ سود قابل سنجشی نشان نداد؛ از طرفی هر توکنِ همپوشان دوباره امبد و ذخیره می‌شود، بنابراین هزینه‌ی ایندکس متناسب با میزان همپوشانی بالا می‌رود.
  • کیفیت پاسخ مدل در محدوده‌ی حدود 2500 توکن زمینه افت شدیدی پیدا می‌کند؛ پس قطعه‌های بزرگ‌تر خیلی زود به بن‌بست می‌خورند.
  • تقسیم معنایی اگر بدون حداقل اندازه تنظیم شود، قطعه‌های شکسته‌ی 40 توکنی تولید می‌کند که به عملکرد بازیابی (retrieval) ضربه می‌زنند.

انتخاب گزینه‌ی پیش‌فرض بدون بنچمارک

سه ویژگی تعیین می‌کنند که اولین روش قطعه‌بندی متن چه باشد: نوع سند، طول پاراگراف‌ها، و اینکه آیا فرمت فایل حامل ساختار است یا خیر. متن معمولی بدون ساختار، تقسیم بازگشتی می‌خواهد. فایل‌های Markdown و مستندات API با تقسیم‌کننده‌ی مبتنی بر هدر خرد می‌شوند. برای کدها باید از تقسیم‌کننده‌ی آگاه به نحو زبان استفاده کرد. اگر شک دارید، تقسیم بازگشتی قوی‌ترین خط مبنا (baseline) تکی است.

سپس اندازه‌گیری کنید

یک مجموعه‌ی ارزیابی 50تایی از پرسش‌ها به‌صورت لایه‌بندی‌شده بر اساس نوع پرسش بسازید و بازخوانی در 5 را برای هر روش اندازه بگیرید. برای همه‌ی روش‌های قطعه‌بندی کف و سقف اندازه (حداقل و حداکثر) بگذارید. هرگز اجازه ندهید یک قطعه اسپن (span) بین دو سند تشکیل دهد یا هم‌زمان دو سند را در بر بگیرد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا اندازه‌ی قطعه به نوع پرسش بستگی دارد؟ پاسخ مورد انتظار: قطعه باید هم پاسخ و زمینه‌ی کافی برای آن را داشته باشد و هم آن‌قدر کوچک باشد که top k روی همان پاسخ متمرکز شود، نه نویز متن‌های اطراف.
  • سطح 2: پیکره متنی شامل مستندات API با فرمت Markdown است. ابتدا چه گزینه‌ای را امتحان می‌کنید؟ پاسخ مورد انتظار: تقسیم‌کننده‌ی ساختاری بر اساس هدر؛ چون فرمت فایل ساختار صریحی دارد؛ ضمناً قطعه‌هایی را که فقط شامل هدر هستند حذف یا merge کنید.
  • سطح 3: صرف‌نظر از استراتژی انتخابی، کدام دو محافظ باید روی هر قطعه‌بندی اعمال شوند؟ پاسخ مورد انتظار: حداقل و حداکثر اندازه؛ چون قطعه‌های 5 توکنی یا 5000 توکنی هر دو به بازیابی آسیب می‌زنند.
  • سطح 3: اگر بعداً مدل امبدینگ را تغییر دهید، چه آزمونی را باید دوباره اجرا کنید؟ پاسخ مورد انتظار: ارزیابی قطعه‌بندی متن؛ زیرا گزینه‌ی برنده به پیکره متنی و مدل وابسته است و روش تقسیم معنایی با تغییر مدل، مرزهای قطعاتش جابه‌جا می‌شود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «تقسیم معنایی بهترین روش است چون بر اساس معنا متن را جدا می‌کند.» در مطالعات اندازه‌گیری‌شده، این روش در برابر تقسیم بازگشتی در 512 توکن نتیجه را واگذار کرد، و اگر برایش کف اندازه تعیین نکنید، تکه‌های بسیار ریزی تولید می‌کند.
  • «همپوشانی یک حاشیه‌ی امن است، پس آن را نگه دارید.» پژوهش‌ها نشان داده‌اند که همپوشانی اغلب هیچ مزیتی اضافه نمی‌کند و متناسب با اندازه‌اش هزینه‌ی ایندکس را بالا می‌برد؛ افزودن هرگونه همپوشانی باید با آزمایش ابطال‌سنجی (ablation) توجیه شود.
  • «قطعه‌های بزرگ‌تر زمینه‌ی بیشتری در اختیار مدل می‌گذارند.» کیفیت خروجی از حدود 2500 توکن زمینه به بعد دچار افت ناگهانی می‌شود؛ به‌علاوه، قطعه‌ای که موضوعات متعددی را پوشش دهد امبدینگ خودش را رقیق و بی‌اثر می‌کند.

کجای دوره آموزش داده می‌شود

درس راهبردهای قطعه‌بندی متن جدول اندازه‌ها و نتایج آماری را ارائه می‌دهد؛ درس RAG خطاهای ناشی از قطعه‌های خیلی کوچک و خیلی بزرگ را توضیح می‌دهد؛ و درس مقایسه‌ی روش‌های قطعه‌بندی انتخاب گزینه‌ی پیش‌فرض بر اساس سه ویژگی را بررسی می‌کند.