ابزار قطعهبندی متن (chunker) شما بین چانکهای مجاور، 100 توکن همپوشانی (overlap) نگه میدارد. بعد از آخرین بهروزرسانی پیکره متنی (corpus)، هم حجم ایندکس بالا رفته و هم هزینهی امبدینگ؛ با این حال یکی از همتیمیها اصرار دارد که همپوشانی حتماً باید بماند، چون جلوی نصفهشدن جملهها در مرز چانکها را میگیرد. چطور این اختلاف را حل میکنید؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
مسئله را با ابطالسنجی (ablation) حل کنید، نه با نظر شخصی. همان ارزیابی بازخوانی در 5 (recall at 5) را روی یک مجموعهپرسش طبقهبندیشده، یکبار با همپوشانی صفر و یکبار با مقدار فعلی اجرا کنید؛ فقط در صورتی همپوشانی را نگه دارید که این عدد واقعاً تکان بخورد. پژوهشهای اخیر نشان دادهاند که همپوشانی اغلب هیچ فایدهی قابلاندازهگیری ندارد، اما متناسب با اندازهاش، هزینهی ایندکس را بالا میبرد.
پاسخ کامل
همپوشانی از کجا آمد؟
خط مبنای پنجرهی ثابت (fixed-window baseline) متن را سر هر N توکن بدون توجه به جملهها میبُرد. در درس RAG چیدمان کلاسیک آن نشان داده شده است: چانکهای 512 توکنی با 50 توکن همپوشانی؛ یعنی چانک اول توکنهای 0 تا 511 را نگه میدارد و چانک دوم توکنهای 462 تا 973 را. تکرار این بخش انتهایی تضمین میکند جملهای که در نقطهای نامناسب بریده شده، حداقل در یک چانک بهشکل کامل ظاهر شود.
چرا حالا اهمیت کمتری دارد؟
تقسیمکنندهی بازگشتی (recursive splitter) ابتدا شکست پاراگراف، سپس شکست خط، بعد پایان جمله و در نهایت فاصله را بررسی میکند. مرزهای آن روی شکستهای طبیعی زبان مینشینند؛ بنابراین مشکلی که همپوشانی قرار بود حل کند تا حد زیادی از بین میرود. در درس قطعهبندی متن، همپوشانی در دستهی تقلید کورکورانه (cargo cult) آورده شده است: پژوهشهای سال 2026 در موارد بررسیشده هیچ فایدهی قابلاندازهگیری پیدا نکردند، در حالی که تکتک توکنهای همپوشان دوبار امبد و ذخیره میشوند.
آزمون
- ابزار قطعهبندی، مدل امبدینگ و مجموعهپرسشها را ثابت نگه دارید.
- تقسیم بازگشتی (recursive split) را با اندازهی 512 توکن، یکبار با همپوشانی صفر و یکبار با همپوشانی فعلی اجرا کنید.
- بازخوانی در 5 را برای هر بخش از پرسشها بسنجید و تعداد چانکها را هم با هم مقایسه کنید.
- همپوشانی را فقط برای بخشهایی نگه دارید که بهبود واقعی نشان میدهند، و نتیجهی ابطالسنجی را هم کنار تنظیمات ثبت کنید.
در مهارت قطعهبندی که در درس آمده، همپوشانی بهطور پیشفرض روی صفر تنظیم شده است و هر مقدار بالای 20 درصد بدون ارائهی ابطالسنجیِ اثباتکننده رد میشود.
سؤالهای تکمیلی مصاحبهگر
- سطح 2: چرا تقسیمکنندهی پنجرهی ثابت به همپوشانی نیاز داشت؟ پاسخ مورد انتظار: متن را صرفاً بر اساس یک تعداد ثابت و بدون توجه به محتوا میبُرد، پس مرز چانک میتوانست جمله را نصف کند؛ تکرار انتهای چانک باعث میشد آن جمله بهطور کامل در چانک بعدی بیاید.
- سطح 2: تقسیمکنندهی بازگشتی در عوض چه کار میکند؟ پاسخ مورد انتظار: بهترتیب روی جداکنندههای پاراگراف، خط و جمله متن را میشکند تا مرزها روی شکستهای طبیعی بیفتند.
- سطح 3: مهارت قطعهبندی چه قاعدهای را برای همپوشانی اعمال میکند؟ پاسخ مورد انتظار: مقدار پیشفرض صفر است و هر همپوشانی بالای 20 درصد بدون ابطالسنجی رد میشود.
- سطح 3: ابطالسنجی فقط روی یک نوع سند خاص بهبود نشان میدهد. چه چیزی را تحویل میدهید؟ پاسخ مورد انتظار: همپوشانی را فقط برای همان نوع سند اعمال میکنید، نتیجهی ابطالسنجی را ثبت میکنید و هر زمان که پیکره متنی یا مدل امبدینگ تغییر کرد، آزمون را دوباره اجرا میکنید.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «همپوشانی هزینهای ندارد، امبدینگ هم ارزان است.» تکتک توکنهای همپوشان دوبار امبد و ذخیره میشوند؛ بنابراین هزینهی ایندکس دقیقاً به نسبت همپوشانی رشد میکند.
- «یک پست وبلاگی گفته 20 درصد همپوشانی بگذارید.» پژوهشها نشان دادهاند در موارد آزمایششده هیچ فایدهی قابلاندازهگیری وجود ندارد؛ پاسخ به پیکره متنی شما بستگی دارد، پس روی دادههای خودتان بسنجید.
- «همهجا حذفش کنید، نیازی به تست نیست.» ابطالسنجی ارزان است و نتیجه به پیکره متنی وابسته است؛ اگر بخشی از اسناد واقعاً به خاطر بریدگی مرزها آسیب ببیند، در این آزمون خودش را نشان میدهد.
کجای دوره آموزش داده میشود
درس استراتژیهای قطعهبندی متن پژوهشهای مربوط به همپوشانی را گزارش میکند و قاعدهی مهارتی آن را میگذارد، و درس RAG چیدمان پنجرهی ثابت را که همپوشانی اصلاً برای آن ساخته شده بود نشان میدهد.