یک سازمان مهندسی میخواهد روی 10 مخزن با حدود 2 میلیون خط کد سوال بپرسد و پاسخهایی دریافت کند که دقیقاً به فایل و شمارهی خط استناد کنند. ایندکس باید با هر push کاملاً بهروز بماند. فرایند ورود داده (ingestion)، بازیابی، گام پاسخدهی، مسیر بهروزرسانی لحظهای و ارزیابی را به همراه بودجههایی که متعهد میشوید، طراحی کنید.
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
هر فایل را به گرههای تابع و کلاس پارس کنید و چانکبندی را دقیقاً در مرز همین گرهها انجام دهید. به هر چانک یک امبدینگ متراکم (dense embedding)، اصطلاحات پراکنده (sparse terms) و خلاصهای یکجملهای اختصاص دهید و گرافی از importها و فراخوانیهای بین چانکها ذخیره کنید. در زمان پرسوجو، جستجوی متراکم و پراکنده بهصورت موازی اجرا میشوند، نتایج ادغام شده و موارد تکراری حذف میگردند؛ سپس یک کراسانکودر (cross-encoder) 50 نتیجهی برتر را بازرتبهبندی میکند تا 10 مورد برتر حفظ شوند. این موارد به مدلی با پنجرهی بافتار (context window) طولانی سپرده میشوند که موظف است برای تکتک ادعاها به فایل و خط استناد کند؛ ادعاهای بدون استناد حذف میشوند. با هر push یک diff در سطح نمادها اجرا میشود تا فقط چانکهای تغییریافته دوباره امبد شوند، با این بودجهی زمانی که یک push شامل 50 فایل در کمتر از 60 ثانیه پردازش شود. کیفیت سیستم روی 100 سوال برچسبدار بینمخزنی با معیارهای MRR@10، nDCG@10، وفاداری استنادها (citation faithfulness) و تاخیرهای p50 و p99 سنجیده میشود.
پاسخ کامل
ورود داده (Ingestion)
- یک وبهوک push ورکری را فعال میکند تا فایلهای تغییریافته را جمعآوری کند.
- یک پارسر مجهز به گرامرهای زبانهای موجود در کل مخازن، گرههای تابع و کلاس را همراه با اسپن (span) کامل سورسکد استخراج میکند. چانکها از مرز این گرهها پیروی میکنند، نه پنجرههای ثابت توکن.
- هر چانک سه نمایش مجزا دریافت میکند: یک امبدینگ متراکم کد، اصطلاحات پراکنده در یک ایندکس با فیلدهای وزندار (نام نمادها با وزن 4، بدنه با وزن 1 و خلاصهها با وزن 2)، و خلاصهای یکجملهای که توسط مدلی کوچک همراه با کش کردن پیشدرآمد سیستم نوشته میشود.
- گراف نمادها تمام importها، فراخوانیها و ارثبریها را در میان فایلها و مخازن مختلف ثبت میکند و در زمان پرسوجو برای گسترش دامنهی بازیابی فراتر از مرزهای یک مخزن به کار میرود.
خلاصه، سومین وجه قابلبازیابی (modality) است: کاربر میپرسد فلان بخش چگونه احراز مجوز میشود، کد میگوید check_permission، و متن خلاصه دقیقاً به مفهوم authorization اشاره میکند.
بازیابی و پاسخدهی
- جستجوی متراکم و پراکنده را همزمان اجرا کنید و نتایج تکراری را بر اساس مخزن، مسیر و نماد حذف کنید.
- با یک کراسانکودر 50 نتیجهی برتر را بازرتبهبندی کرده و 10 تای اول را نگه دارید.
- مدل سنتزکننده را با چانکهای بازرتبهبندیشده و پرامپت سیستمی کششده فراخوانی کنید؛ مدل باید به ازای هر ادعا حتماً به فایل و خط ارجاع دهد.
- خروجی را پارس کرده و هر ارجاع را با اسپن موجود در commit ایندکسشده تطبیق دهید؛ ادعایی که ارجاع نداشته باشد، یا اسپن آن پیدا نشود یا ادعا را تایید نکند، دوباره پرسیده یا حذف میشود. در نهایت فقط ادعاهای تاییدشده برگردانده میشوند.
جستجوی کسینوسی ساده بهتنهایی با کدهای boilerplate تولیدی، کدهای تکراری در مونوریپوها و نمادهایی که بهندرت import میشوند مسموم میشود؛ به همین دلیل به جستجوی ترکیبی (hybrid search)، بازرتبهبند (reranker) و گراف نمادها نیاز داریم.
بهروزرسانی لحظهای (Freshness)
با دریافت هر وبهوک، diff را در سطح نمادها محاسبه کنید. فقط چانکهایی را مجدداً امبد کنید که متنشان تغییر کرده است؛ یالهای import، فراخوانی و ارثبریِ نمادهای تغییریافته را دوباره محاسبه کنید؛ و چانکها، خلاصهها و یالهای فایلها و نمادهای حذفشده را از تمام پایگاههای ذخیرهسازی پاک کنید. بودجهی در نظر گرفتهشده این است که یک push با 50 فایل، بدون نیاز به پردازش مجدد 2 میلیون خط کد، در کمتر از 60 ثانیه برای کل مخازن قابلجستجو شود.
ارزیابی و بودجهها
| وزن | معیار | شیوهی سنجش |
|---|---|---|
| 25 | کیفیت بازیابی | MRR@10 و nDCG@10 روی 100 سوال نگهداشتهشده |
| 20 | وفاداری استنادها | سهم ادعاهایی با ارجاع تاییدپذیر به فایل و خط |
| 20 | تاخیر و مقیاسپذیری | تاخیر p95 پرسوجو در 10k QPS روی پیکره متنی ایندکسشده |
| 20 | ایندکسگذاری افزایشی | زمان سپریشده از push تا قابلجستجو شدن برای یک commit با 50 فایل |
| 15 | قالببندی پاسخ | استنادهای قابلکلیک، پیشنمایش قطعهکدها، امکان پیگیری پرسش |
اجرای هفتگی این 100 سوال با تنظیم هشدار برای افت MRR@10 بیش از 5%، دریفت (drift) موجود در ایندکس یا مدلها را شناسایی میکند.
سرویس پیرامونی
مسیر پردازش پرسوجو درون همان استک عملیاتی (production stack) درس اپلیکیشن قرار میگیرد: یک درگاه ورودی (gateway) با سقف مصرف برای هر کاربر، گاردریلها روی ورودی و خروجی، استریمینگ پاسخ، لاگهای ساختاریافته به ازای هر مرحله از بازیابی و سنتز، و رهگیری هزینه که هزینههای مدل خلاصهساز، امبدینگها، بازرتبهبند و سنتزکننده را جداگانه ثبت میکند.
سؤالهای تکمیلی مصاحبهگر
- سطح 3: چرا چانکبندی بر اساس گرههای نحوی انجام میشود و نه پنجرههای ثابت توکن؟ پاسخ مورد انتظار: پنجرهی ثابت توابع را از وسط قطع میکند و کدهای مجاور را درهم میآمیزد؛ اما یک گره، یک واحد منسجم با نام نماد پایدار است که میتوان به آن استناد کرد و موارد تکراریاش را زدود.
- سطح 3: بازرتبهبند چه چیزی اضافه میکند که آن دو بازیاب اولیه نمیتوانند؟ پاسخ مورد انتظار: بازرتبهبند هر جفت «پرسوجو و کاندیدا» را با هم نمرهدهی میکند که بسیار دقیقتر از شباهت کسینوسی روی امبدینگهای جداگانه است؛ هزینهی پردازشی این کار هم فقط برای 50 گزینهی برتر توجیهپذیر است.
- سطح 4: اگر کدهای قالبیِ تولیدشده یکپنجم پیکره متنی را تشکیل دهند، چه اتفاقی میافتد و چه تغییری میدهید؟ پاسخ مورد انتظار: مسمومیت بازیابی رخ میدهد؛ یعنی کدهای شبهتکراریِ تولیدشده نتایج را پر میکنند. راهکار این است که چانکهای تولیدی در دادهها نشانهگذاری شوند و وزن کمتری دریافت کنند.
- سطح 4: اگر پاسخی نیازمند کد از چهار مخزن مختلف باشد، کدام مولفه این وظیفه را انجام میدهد؟ پاسخ مورد انتظار: گراف نمادها مجموعهی کاندیداها را از طریق یالهای import و فراخوانی گسترش میدهد تا بازرتبهبند بتواند چانکهایی از مخازنی را ببیند که در جستجوی اولیه از دست رفته بودند.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «پنجرهی بافتار یک میلیون توکنی جایگزین بازیابی میشود.» بافتار بزرگ کمک میکند اما رتبهبندی انجام نمیدهد؛ سوالات بینمخزنی همچنان به بازیابی و استناد نیاز دارند.
- «امبدینگهای متراکم بهتنهایی برای کد کافی هستند.» نامهای دقیق نمادها به ایندکس پراکنده نیاز دارند و خلاصه نیز نیتی (intent) را پوشش میدهد که در متن کد نیامده است.
- «برای سادگی کار، با هر push کل مخازن را دوباره ایندکس کنید.» پردازش مجدد 2 میلیون خط کد در هر commit بودجهی تازگی دادهها را میسوزاند؛ محاسبهی diff ایندکس را با کسری از این حجمِ کاری یکدست نگه میدارد.
کجای دوره آموزش داده میشود
پروژهی پایانی RAG روی کدبیس فرایند ورود داده، بازیابی ترکیبی، قاعدهی استناد، بودجهی بهروزرسانی و شیوهنامهی نمرهدهی را ارائه میدهد، و درس اپلیکیشن عملیاتی LLM به سرویسهای پیرامون مسیر پرسوجو میپردازد.