این تابع بازیابی (retrieval) از درس قطعهبندی متن (chunking) را بررسی کنید. ساختار دوسطحی چه مسئلهای را حل میکند، مجموعهی seen چه کاری انجام میدهد و این تابع میتواند چند والد برگرداند؟
def retrieve_parent(child_query, mapping, encoder, top_k=3):
child_embs = encoder.encode([m["child"] for m in mapping], normalize_embeddings=True)
q_emb = encoder.encode([child_query], normalize_embeddings=True)[0]
scores = child_embs @ q_emb
top = np.argsort(-scores)[:top_k]
seen, parents = set(), []
for i in top:
if mapping[i]["parent_idx"] not in seen:
parents.append(mapping[i]["parent"])
seen.add(mapping[i]["parent_idx"])
return parentsاول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
قطعههای کوچک فرزند برای تطابق دقیق ایندکس میشوند و والد بزرگتر برای ارائهی بافت متن بازگردانده میشود؛ این کار تضاد میان تطابق دقیق و داشتن متن پیرامونی کافی را از بین میبرد. مجموعهی seen والدی را که چند قطعهی فرزند برتر به آن اشاره دارند حذف میکند تا پرامپت (prompt) متن تکراری دریافت نکند. اگر نگاشت خالی نباشد و top_k مثبت باشد، تابع بین 1 تا top_k والد برمیگرداند؛ در صورتی که فرزندان والد مشترک داشته باشند، این تعداد کمتر خواهد بود. نگاشت خالی یا top_k برابر با صفر هم هیچ والدی برنمیگرداند.
پاسخ کامل
ساختار دوسطحی
قطعهبندی استاندارد شما را ناچار به انتخاب میکند: قطعههای کوچک تطابق دقیقی دارند اما فاقد بافت متنیاند، و قطعههای بزرگ بافت را حفظ میکنند اما موضوعات متعددی را میپوشانند. ساختار دوسطحی، فرزندهای کوچک را ایندکس میکند و والد هر فرزند را هم نگه میدارد. در درس قطعهبندی متن، والدها بهطور پیشفرض در 2048 توکن و فرزندها در 256 توکن برش میخورند، و درس RAG پیشرفته نیز والدی 512 توکنی با چهار فرزند 128 توکنی را ترسیم میکند. پرسشی دربارهی یک جزئیات خاص، دقیقاً با یک فرزند تطابق پیدا میکند و در مقابل، کل سند والد (شامل خطوط پیرامون آن جزئیات) تحویل پرامپت داده میشود.
مرور گامبهگام تابع
- انکود کردن تمام فرزندها و پرسمان با فعال بودن نرمالسازی، تا ضرب ماتریسی دقیقاً برابر با کسینوس شود.
- مرتبسازی فرزندها بر اساس امتیاز و نگهداشتن k ایندکس برتر.
- بررسی ایندکس والد به ازای هر فرزند برتر؛ اگر این والد قبلاً دیده نشده باشد، متن والد اضافه و به عنوان دیدهشده علامتگذاری میشود.
- بازگرداندن والدها به ترتیبِ امتیازِ بهترین فرزندشان.
چرا حذف موارد تکراری لازم است؟
چندین فرزند از یک والد معمولاً با یک پرسمان یکسان تطابق پیدا میکنند، چون در همان بخش از متن قرار دارند. بدون وجود این مجموعه، پرامپت یک والد تکراری را دو یا سه بار دریافت میکرد و بودجهی بافت متنی (context budget) هدر میرفت. در این درس، این نکته به عنوان بینش و ایدهی کلیدی الگو مطرح شده است.
تغییرات در محیط عملیاتی
این تابع با هر بار فراخوانی، تمام فرزندها را دوباره انکود میکند. در یک ایندکس واقعی در محیط عملیاتی (production)، بردارهای فرزند یکبار ذخیره میشوند و فقط پرسمان امبد (embed) میشود. همچنین ساختار دوسطحی با افت عملکرد ملایم همراه است (graceful degradation): حتی تطابق ضعیف فرزند هم در نهایت والد قابلقبولی را برمیگرداند.
سؤالهای تکمیلی مصاحبهگر
- سطح 2: چرا فرزند ایندکس میشود و والد ایندکس نمیشود؟ پاسخ مورد انتظار: یک قطعهی کوچک دقیقاً با یک سؤال مشخص تطابق پیدا میکند، در حالی که قطعهی بزرگ موضوعات زیادی را میپوشاند و امبدینگ (embedding) آن به نقطهی مشخصی اشاره نمیکند.
- سطح 2: چرا فقط یک ضرب ماتریسی ساده انجام میشود و کسینوس محاسبه نمیشود؟ پاسخ مورد انتظار: بردارها هنگام انکود نرمالسازی شدهاند، بنابراین ضرب داخلی (dot product) دقیقاً برابر با کسینوس است.
- سطح 3: این تابع در هر فراخوانی چه کاری انجام میدهد که نباید در کد محیط عملیاتی وجود داشته باشد؟ پاسخ مورد انتظار: همهی فرزندها را دوباره انکود میکند؛ در حالی که باید بردارهای فرزند یکبار هنگام ساخت ایندکس ذخیره شوند و فقط پرسمان امبد شود.
- سطح 3: فرض کنید دو والد هرکدام یک فرزند منطبق دارند، و والد سومی سه فرزند منطبقِ زیر حد نصابِ برش (cut) دارد. این تابع چه چیزی را نادیده میگیرد؟ پاسخ مورد انتظار: رتبهبندی (rank) صرفاً بر اساس بهترین فرزند انجام میشود؛ والدی با چند فرزند خوب هیچ امتیاز اضافهای نمیگیرد، مگر اینکه امتیاز فرزندان را به ازای هر والد تجمیع کنید.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «بازگرداندن والد همهی فرزندان برتر، شامل موارد تکراری.» چندین فرزند به یک والد اشاره میکنند و متن تکراری، بودجهی بافت متنی را هدر میدهد.
- «اندازهی فرزند را به اندازهی والد بزرگ در نظر بگیرید.» در این صورت دقت (precision) بهبود نمییابد؛ هدف اصلی داشتن یک واحد کوچک برای تطابق و یک واحد بزرگ برای بافت متن است.
- «این تابع همیشه دقیقاً به تعداد top_k والد برمیگرداند.» اگر فرزندان والد مشترک داشته باشند، تعداد خروجی کمتر خواهد بود.
کجای دوره آموزش داده میشود
درس استراتژیهای قطعهبندی متن این تابع و نکتهی مربوط به حذف موارد تکراری را ارائه میدهد، و درس RAG پیشرفته ساختار سند والد و فرزند را ترسیم میکند.