سؤال مصاحبه

طراحی موتور جستجوی کد روی 10 مخزن با قابلیت به‌روز ماندن لحظه‌ای

Design code search across ten repositories that stays fresh

  • سطح ۴: استف
  • طراحی
  • ۳۰ دقیقه

سرویس جستجوی کدی طراحی کنید که به سوالاتی مثل «بودجه‌ی تلاش مجدد برای آپلود (upload retry budget) چطور اعمال می‌شود؟» روی 10 مخزن با حدود 2 میلیون خط کد پاسخ دهد و با هر push کاملاً به‌روز بماند. تفاوت این کار با بازیابی اسناد معمولی چیست و سیستم در چه سناریوهایی دچار مشکل می‌شود؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

تکه‌بندی (chunking) را بر اساس گره‌های درخت نحو (syntax tree)، یعنی توابع و کلاس‌ها، انجام دهید نه پنجره‌های ثابت؛ و برای هر تکه سه فرم قابل‌بازیابی در نظر بگیرید: یک امبدینگ متراکم (dense embedding) از کد، عبارت‌های BM25 با وزن بالاتر برای نام نماد (symbol name) نسبت به بدنه، و یک خلاصه‌ی تک‌جمله‌ای به زبان طبیعی. بازیابی را به شیوه‌ی ترکیبی (hybrid search) انجام دهید، با یک کراس‌ان‌کودر (cross-encoder) بازرتبه‌بندی (reranking) کنید، و در تولید پاسخ نهایی قید ارجاع به فایل و خطوط مربوطه را اجباری سازید تا یک پس‌پالایشگر (post-filter) آن را اعتبارسنجی کند. بخش سخت کار، تازگی داده‌هاست: هر push باید یک تفاوت‌های بازنگری (diff) در سطح نماد راه بیندازد تا فقط تکه‌های تغییریافته دوباره امبدینگ شوند و فقط یال‌های میان‌فایلیِ تحت‌تاثیر بازتولید گردند.

پاسخ کامل

چرا پنجره‌های ثابت روی کد جواب نمی‌دهند

یک پنجره‌ی ثابت، شناسه‌ها (identifiers) را از وسط نصف می‌کند و بدنه‌ی تابع را از امضای آن جدا می‌سازد. در پروژه‌ی پایانی، هر فایل با یک پارسر درخت نحو تجزیه می‌شود، گره‌های تابع و کلاس استخراج می‌گردند و به ازای هر گره یک تکه همراه با مخزن، مسیر، خط شروع، خط پایان، نماد و بدنه تولید می‌شود. مرز هر تکه دقیقاً همان واحدی است که کاربر انتظار دارد در ارجاعات ببیند.

سه بازنمایی برای هر تکه

فرم چه چیزی را پوشش می‌دهد
امبدینگ متراکم کد سوالاتی با بیان متفاوت درباره‌ی رفتار کد
شاخص BM25 با وزن‌دهی فیلدها: نام نماد 4، خلاصه 2، بدنه 1 نام‌های صریح نمادها و سوالاتی مثل «تابع X را پیدا کن»
خلاصه‌ی تک‌جمله‌ای از یک مدل سبکِ کَش‌شده کاربری که می‌گوید «authorized»، در حالی که در کد check_permission آمده است

کاربران سوالات خود را به زبان انگلیسی درباره‌ی کدی می‌پرسند که در آن واژه‌های متفاوتی به کار رفته است. این خلاصه، جنبه‌ای (modality) به کار اضافه می‌کند که نه امبدینگ کد و نه شاخص لغوی پوشش نمی‌دهند.

گراف نمادها

برای importها، فراخوانی‌ها و وراثت‌ها در سطح فایل‌ها و مخازن، یال‌هایی ثبت کنید. در زمان پردازش کوئری، دامنه‌ی بازیابی را در امتداد این یال‌ها گسترش دهید تا سوالی که به چهار مخزن مختلف مربوط است، باز هم زنجیره‌ی اتصال میان فراخواننده تا پیکربندی بودجه را پیدا کند.

مسیر پردازش کوئری

جستجوی متراکم و BM25 را موازی اجرا کنید، نتایج تکراری را بر اساس مخزن، مسیر و نماد حذف کنید، 50 نتیجه‌ی برتر را بازرتبه‌بندی کرده و 10 تای اول را نگه دارید. سپس با یک پرامپت سیستمیِ کَش‌شده پاسخ را تولید کنید و برای هر ادعا، وجود یک لنگر ارجاعی (anchor) به مخزن، مسیر و بازه‌ی خطوط را الزامی کنید. هر ادعای بدون لنگر را برای پرسش دوباره علامت بزنید یا کلاً حذفش کنید.

ایندکس مجدد افزایشی و تازگی داده‌ها

با هر push، یک diff روی فایل‌ها و نمادهای تغییریافته اجرا می‌شود. تنها تکه‌هایی که متن آن‌ها دستخوش تغییر شده دوباره امبدینگ می‌شوند. یال‌های میان‌فایلیِ تکه‌های تغییریافته مجدداً محاسبه می‌شوند؛ این کار شامل importها، فراخوانی‌ها و وراثت‌هاست تا فراخوانی یا کلاس پایه‌ی تغییریافته، یال قدیمی و نامعتبری در سیستم باقی نگذارد. در صورت حذف یک فایل یا نماد، تکه‌های متناظر آن از شاخص‌های متراکم و لغوی و همچنین یال‌هایش از گراف حذف می‌شوند تا بعد از push امکان بازگرداندن آن‌ها در جستجو وجود نداشته باشد. هدف تعیین‌شده در پروژه‌ی پایانی این است که در این مجموعه‌ی 2 میلیون خطی، یک push شامل 50 فایل در کمتر از 60 ثانیه قابل‌جستجو شود.

ارزیابی

برای 100 سوال بین‌مخزنی، پاسخ‌های مرجع استاندارد (شامل فایل و خط دقیق) مشخص کنید. معیارهای MRR@10، nDCG@10، وفاداری استنادها (Citation Faithfulness) به‌صورت نسبت ادعاهای دارای ارجاع معتبر، و تاخیر در چارک‌های p50 و p99 را بسنجید. این ارزیابی را هفتگی اجرا کنید و اگر افت MRR@10 بیش از 5 درصد شد، هشدار دهید.

سناریوهای شکست سیستم

  • کد تولیدشده به‌صورت خودکار (Generated code): کدهای قالبی و تکراریِ (boilerplate) تولیدشده با ابزارها، بازیابی را با نمونه‌های بسیار شبیه به هم مسموم می‌کنند؛ این تکه‌ها را در payload علامت بزنید و وزن کمتری به آن‌ها بدهید. پروژه‌ی پایانی برای نشان دادن این اثر، 20 درصد کد تولیدشده خودکار به داده‌ها تزریق می‌کند.
  • تکرار کد در مونوریپو: کدهای کمکیِ (utility) تکراری، سیگنال شاخص لغوی را میان نسخه‌های متعدد پخش می‌کنند؛ حذف تکرار را بر اساس نماد انجام دهید.
  • موارد حاشیه‌ای و کم‌یاب (The long tail): نمادهایی که به‌ندرت import می‌شوند امبدینگ ضعیفی دریافت می‌کنند؛ در این نقاط، شاخص لغوی و خلاصه جور آن‌ها را می‌کشند.
  • یک push بزرگ: یک commit که نیمی از فایل‌ها را دستکاری می‌کند، عیار واقعیِ مسیر افزایشی را محک می‌زند؛ زمان صرف‌شده از لحظه‌ی push تا قابل‌جستجو شدن را بسنجید، نه فقط میانگین را.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا برای هر تکه سه فرم در نظر می‌گیریم و به یک امبدینگ باکیفیت بسنده نمی‌کنیم؟ پاسخ مورد انتظار: کاربران می‌پرسند چطور چیزی مجوزدهی (authorized) می‌شود، در حالی که در کد check_permission آمده است؛ خلاصه شکاف واژگانی را پر می‌کند، چیزی که نه امبدینگ کد و نه BM25 پوشش نمی‌دهند.
  • سطح 3: گراف نمادها در زمان اجرای کوئری چه فایده‌ای دارد؟ پاسخ مورد انتظار: گسترش دامنه‌ی جستجو فراتر از مرزهای مخزن، یعنی از یک تابع به فراخواننده‌ها و importهای آن؛ به‌این‌ترتیب سوالی که چند مخزن را در بر می‌گیرد، کل زنجیره را پیدا می‌کند.
  • سطح 4: اگر کدهای قالبیِ تولیدشده به‌صورت خودکار وارد پیکره متنی (corpus) شوند، چه اتفاقی می‌افتد و چه می‌کنید؟ پاسخ مورد انتظار: کدهای بسیار مشابه فرایند بازیابی را مسموم می‌کنند؛ باید این تکه‌ها را در payload علامت زد و وزن آن‌ها را پایین آورد.
  • سطح 4: هدف‌گذاری زمانی برای تازگی داده‌ها چقدر است و چطور آن را حفظ می‌کنید؟ پاسخ مورد انتظار: قابل‌جستجو شدن یک push با 50 فایل در کمتر از 60 ثانیه روی یک سیستم 2 میلیون خطی، از طریق امبدینگ مجددِ صرفاً تکه‌های تغییریافته و محاسبه‌ی دوباره‌ی یال‌های تحت‌تاثیر.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «کد را مثل نثر در پنجره‌های 512 توکنی تکه‌بندی می‌کنیم.» پنجره‌های ثابت شناسه‌ها را نصف می‌کنند و تابع را از امضایش جدا می‌سازند؛ برش‌ها باید روی گره‌های درخت نحو انجام شوند.
  • «با هر push کل مجموعه را از نو ایندکس می‌کنیم.» ایندکس دوباره‌ی دو میلیون خط کد در هر commit هرگز به روند توسعه نمی‌رسد؛ تحلیل diff باید در سطح نماد انجام شود.
  • «آوردن استناد برای پاسخ‌های مبتنی بر کد اختیاری است.» پروژه‌ی پایانی هر ادعایی را که فاقد ارجاع دقیق به فایل و خط باشد رد می‌کند؛ پس‌پالایشگر ادعای نامعتبر را حذف می‌کند یا خواستار پرسش دوباره می‌شود.

کجای دوره آموزش داده می‌شود

در پروژه‌ی پایانی سیستم RAG روی پایگاه کد مباحث تکه‌بندی با درک نحو، فرم‌های سه‌گانه، گراف نمادها، ایندکس مجدد افزایشی (incremental re-index) و ارزیابی پیاده‌سازی شده‌اند؛ درس RAG پیشرفته نیز جستجوی ترکیبی و بازرتبه‌بندی را پوشش می‌دهد.