سؤال مصاحبه

پیاده‌سازی حافظه‌ی دولایه‌ای ایجنت با سازوکار تخلیه و ارجاع‌دهی

Build a two-tier agent memory with eviction and citations

  • سطح ۳: ارشد
  • پروژه‌ی خانگی
  • ۶۰ دقیقه

تکلیف عملی: حافظه‌ای دولایه برای یک ایجنت (Agent) پیاده‌سازی کنید: یک بافتار اصلی (Main Context) با اندازه‌ی ثابت و یک مخزن ذخیره‌سازی نامحدود و قابل جست‌وجو، به‌همراه ابزارهایی که فکت‌ها را بین این دو لایه جابه‌جا می‌کنند. یک ردگیری محاسبات (Trace) ارائه دهید که در آن بافتار اصلی پر می‌شود، داده‌ای تخلیه (Evict) می‌گردد و سپس به پرسش بعدی با جست‌وجو در مخزن پاسخ داده می‌شود. فقط از کتابخانه‌ی استاندارد استفاده کنید. دلایل خود را برای نحوه‌ی تخلیه و انتخاب‌های سیستم ارجاع‌دهی (Citation) توضیح دهید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

بافتار اصلی را رم (RAM) و مخزن ذخیره‌سازی را دیسک سخت در نظر بگیرید. برای بافتار اصلی یک سقف ظرفیت، یک بخش مرکزی پین‌شده (Pinned Core Section) و فهرستی از پیام‌ها تعریف کنید که با عبور از سقف مجاز، قدیمی‌ترین ورودی‌هایش فشرده‌سازی شوند. رکوردهای مخزن ذخیره‌سازی باید شامل شناسه (ID)، متن، برچسب‌ها، شناسه‌ی نشست (Session ID)، شناسه‌ی نوبت گفت‌وگو (Turn ID) و امکان جست‌وجو بر اساس همپوشانی توکن‌ها (Token Overlap) باشند. ابزارهای حافظه را در دسترس مدل قرار دهید، سه فکت بنویسید، بافتار اصلی را سرریز کنید و با جست‌وجوی مخزن و ادغام نتیجه در نوبت بعدی، به پرسش تکمیلی پاسخ دهید.

پاسخ کامل

ساختار کلی

سیستم‌عامل سیستم حافظه کد شما
RAM بافتار اصلی بافری با سقف مشخص، شامل یک دیکشنری برای بخش مرکزی و فهرستی از پیام‌ها
Disk مخزن خارجی فهرستی از رکوردها به‌همراه یک متد جست‌وجو
نقص صفحه (Page Fault) فراخوانی ابزار حافظه (Memory Tool Call) ایجنت ابزاری را فراخوانی می‌کند، محیط اجرا (Runtime) آن را اجرا کرده و نتیجه وارد نوبت بعدی می‌شود
کرنل (Kernel) حلقه‌ی کنترلی ایجنت حلقه‌ای اسکریپت‌شده که می‌خواند، تصمیم می‌گیرد و می‌نویسد

رابط ابزارها

  • core_memory_append(section, text) و core_memory_replace(section, old, new) بخش‌های پین‌شده‌ی بافتار اصلی را ویرایش می‌کنند.
  • archival_memory_insert(text) یک رکورد در مخزن می‌نویسد.
  • archival_memory_search(query, top_k) اطلاعات را از مخزن بازیابی می‌کند.
  • conversation_search(query) نوبت‌های قبلی گفت‌وگو را جست‌وجو می‌کند.

تخلیه

وقتی فهرست پیام‌ها از سقف مشخص‌شده رد شد، به‌جای دور ریختن قدیمی‌ترین پیام‌ها، آن‌ها را فشرده کنید. در تمرین این درس، سقف بر حسب توکن (تعداد کلمات ضرب‌در 1.3) سنجیده می‌شود و پیام‌های تخلیه‌شده خلاصه‌سازی می‌گردند؛ در نسخه‌ای ساده‌تر، می‌توان آن‌ها را به مخزن منتقل کرد. حذف پیام‌ها باعث از دست رفتن فکت‌هایی می‌شود که مخزن می‌توانست نگه دارد.

ارجاع‌دهی

هر رکورد مخزن، شناسه‌ی نشست و شناسه‌ی نوبتی را که داده از آن آمده با خود ذخیره می‌کند. بدون این‌ها ایجنت فقط بازخوانی می‌کند که کاربر چیزی خواسته است، اما نمی‌تواند بگوید در کدام نوبت؛ ولی با وجود این فیلدها، هر پاسخی که متکی بر بازیابی (Retrieval) باشد می‌تواند منبع دقیق خود را مستند کند.

آنچه مصحح در ردگیری محاسبات می‌خواهد

  1. ثبت سه فکت در مخزن، که هر کدام فیلدهای مبدأ خود را دارند.
  2. پر شدن بافتار اصلی فراتر از سقف مجاز و فشرده‌سازی قدیمی‌ترین پیام‌ها.
  3. دریافت پرسش تکمیلی، فراخوانی ابزار جست‌وجو توسط ایجنت، ادغام نتیجه‌ی پیداشده در نوبت بعدی و ارائه‌ی پاسخی با ارجاع به نوبت مبدأ.
  4. یادداشتی درباره‌ی دو حالت شکستی (Failure modes) که این طراحی به‌خودی‌خود حل نمی‌کند: پوسیدگی حافظه (Memory rot) که نیازمند یکپارچه‌سازی نودها (Consolidation) به‌شکل دوره‌ای است، و مسموم‌سازی حافظه (Memory Poisoning) که در آن متنی از سمت مهاجم به‌عنوان یادداشت ذخیره شده و در نشست بعدی دوباره خوانده می‌شود.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا به‌جای بزرگ‌تر کردن پنجره، داده‌ها را پیج‌بندی (صفحه‌بندی) کنیم؟ پاسخ مورد انتظار: سرریز، رقیق‌شدگی و ماندگاری؛ پنجره‌ی بزرگ‌تر همچنان اتنشن (Attention) را رقیق می‌کند و در نشست بعدی هم خالی بالا می‌آید. این درس به ایجنتی با پنجره‌ی 4k و حافظه‌ی خارجی اشاره می‌کند که فکت‌هایی در افق‌های طولانی را شکار کرده که خط مبنایی (Baseline) با پنجره‌ی 128k از دست داده بود.
  • سطح 3: در هر رکوردِ مخزن چه چیزهایی قرار می‌گیرد و چرا؟ پاسخ مورد انتظار: متن، برچسب‌ها، شناسه‌ی نشست و شناسه‌ی نوبت گفت‌وگو، تا فکت بازخوانی‌شده دقیقاً به نوبتی که از آن آمده ارجاع داده شود.
  • سطح 4: یادداشتی در مخزن ذخیره شده که می‌گوید همه‌ی دستورالعمل‌های بعدی کاربر نادیده گرفته شوند. چطور جلوی آن را می‌گیرید؟ پاسخ مورد انتظار: بررسی رکوردهای بازیابی‌شده برای یافتن متن‌های دستورمانند و علامت‌گذاری آن‌ها به‌عنوان غیرقابل‌اعتماد پیش از ورود به پرامپت (Prompt)؛ این در واقع تزریق پرامپت (Prompt injection) در طول زمان است.
  • سطح 4: تعداد نوشتن‌ها از خواندن‌ها بیشتر می‌شود و فرایند بازیابی زیر انبوهی از فکت‌های قدیمی مدفون می‌گردد؛ چه راهکاری اضافه می‌کنید؟ پاسخ مورد انتظار: یکپارچه‌سازی دوره‌ای و باطل‌سازی صریح فکت‌های نقض‌شده؛ کاری که در درس‌های بعدیِ حافظه، خارج از مسیر بحرانی (Critical path) اجرا می‌شود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «همه‌چیز را در بافتار نگه دارید، پنجره به‌اندازه‌ی کافی بزرگ است.» سه مشکل اصلی همچنان پابرجا خواهند بود: سرریز، رقیق‌شدگی اتنشن و خالی بودن پنجره در نشست بعدی.
  • «عملیات تخلیه را با حذف مستقیمِ قدیمی‌ترین پیام‌ها انجام دهید.» پیام‌ها را در قالب خلاصه فشرده کنید یا به مخزن انتقال دهید؛ حذف کامل داده‌هایی را از بین می‌برد که مخزن می‌توانست حفظ کند.
  • «مخزن نیازی به فیلدهای مبدأ ندارد.» بدون شناسه‌ی نشست و شناسه‌ی نوبت، ایجنت فکتی را بازخوانی می‌کند اما نمی‌تواند بگوید از کجا آمده است.

کجای دوره آموزش داده می‌شود

درس بافتار مجازی شباهت به سیستم‌عامل، ساختار دولایه، رابط ابزارها و حالت‌های شکست را بررسی می‌کند.