تاخیر دنباله (Tail latency) در یک دستیار هوشمند مدام بیشتر میشود، چون سیستم در هر نوبت گفتوگو (Turn) و پیش از ارسال پاسخ، حافظهاش را هرس، خلاصهسازی و تطبیق میدهد. راهحل پیشنهادی این است که این وظایف به یک ایجنت دوم منتقل شود تا در زمانهایی که کاربر فعالیتی ندارد اجرا شود. این تفکیک چه مزایایی دارد، هزینهاش چیست و چه حالتهای شکست جدیدی ایجاد میکند؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
این تفکیک، بار پردازش حافظه را از مسیر بحرانی (Critical path) خارج میکند؛ بنابراین تولید پاسخ هرگز معطل یکپارچهسازی نودها (Consolidation) نمیماند. از طرفی چون هیچ کاربری منتظر ایجنت پسزمینه ننشسته است، میتوان از مدلی کندتر و قویتر برای آن استفاده کرد. هزینهی این کار افزودن یک ایجنت دوم، یک مخزن مشترک برای بلوکهای حافظه و هماهنگی میان آنها است. حالت شکست جدید در اینجا دریفت پنهان (Silent drift) است: ایجنت پسزمینه یک بلوک را بازنویسی میکند بدون اینکه ایجنت اصلی متوجه شود. پس باید بلوکها را نسخهبندی کنید، تفاوتهای بازنگری (Diff) را در ردگیری محاسبات (Trace) نمایش دهید و هر زمان که ایجنت پسزمینه سراغ بلوک پرسونا یا بلوک ایمنی رفت، آن را نویسندهای نامطمئن (untrusted) در نظر بگیرید.
پاسخ کامل
آنچه در ایجنت اصلی باقی میماند
معماری از سه لایه تشکیل شده است. حافظهی اصلی (Core Memory) همیشه داخل پرامپت قرار دارد و از بلوکهای حافظهی نوعدار (typed blocks) تشکیل شده است؛ هر بلوک یک شناسه (id)، یک برچسب (label)، یک مقدار (value)، محدودیت نویسه (character limit) و توضیحاتی دارد که مشخص میکند مدل چه زمانی باید آن را ویرایش کند: بلوک کاربر، بلوک پرسونا و بلوکهای سفارشی مانند وظیفه (Task) یا ایمنی. لایهی بازخوانی (Recall) همان تاریخچهی گفتوگو است. لایهی آرشیو نیز مخزن خارجی به شمار میرود. ایجنت اصلی به نوبتهای گفتوگو پاسخ میدهد و عملیات نوشتن خام را با block_append، block_replace، block_read و block_summarize انجام میدهد.
وظایف ایجنت پسزمینه
این ایجنت در زمانهای بیکار بودن کاربر، متن گفتوگوها و بافتار را میخواند، آموختههای جدید را در بلوکهای مشترک مینویسد، حذف موارد تکراری (Deduplication) و خلاصهسازی را انجام میدهد و فکتهایی را که نقض شدهاند باطل میکند. این شیوه سه مزیت به همراه دارد: تاخیر پاسخدهی بالا نمیرود، استفاده از مدلی قویتر از نظر اقتصادی توجیهپذیر میشود و یکپارچهسازی نودها در فرصتی طبیعی و بدون معطل ماندن کاربر انجام میگیرد.
سه حالت شکست و روشهای مهار آنها
| حالت شکست | روش مهار |
|---|---|
| تورم بلوک حافظه: حجم الحاقها از محدودیت نویسه فراتر میرود | اجرای خلاصهساز پیش از آنکه نوشتنِ جدید سقف مجاز را رد کند |
| دریفت پنهان: بلوک تغییر میکند و ایجنت اصلی متوجه نمیشود | نسخهبندی بلوکها، ثبت مقدار قبلی و تفاوتهای بازنگری در هر نوشتن، و نمایش تاریخچه برای هر بلوک |
| یکپارچهسازی مسموم: محتوای تحت کنترل مهاجم به حافظهی اصلی راه پیدا میکند | ایجنت پسزمینه نویسندهای نامطمئن فرض شود؛ اعمال هرگونه تغییر روی بلوک پرسونا یا ایمنی، پیش از commit نهایی باید به تایید یک ایجنت دوم برسد |
پردازشهای سنگین را به فاز خواب موکول کنید
حذف موارد تکراری برای رکوردهایی با بیش از 90 درصد همپوشانی (Overlap) متنی، کاری است که فقط باید در فاز پسزمینه انجام شود و هرگز نباید در مسیر بحرانی قرار گیرد؛ تمرین این درس صراحتاً روی این نکته تاکید دارد.
سؤالهای تکمیلی مصاحبهگر
- سطح 3: چرا ایجنت پسزمینه میتواند از مدلی گرانتر استفاده کند؟ پاسخ مورد انتظار: چون درگیر محدودیت تاخیر نیست، میتوان با خیال راحت از مدلی کندتر و قویتر استفاده کرد.
- سطح 3: یک بلوک حافظه مدام رشد میکند و به سقف مجاز نزدیک میشود. چه چیزی و چه زمانی اجرا میشود؟ پاسخ مورد انتظار: خلاصهساز بلوک، درست پیش از آنکه نوشتن جدید اندازه را از سقف بگذراند؛ آستانه (Threshold) فعالسازی، توازنی میان تعداد دفعات فراخوانی خلاصهساز و سرریز بلوک ایجاد میکند.
- سطح 4: بازنویسیهای پسزمینه را چطور قابل مشاهده کنیم؟ پاسخ مورد انتظار: همهی بلوکها را نسخهبندی کنید، در هر بار نوشتن مقدار قبلی و تفاوتهای بازنگری را ثبت کنید و تاریخچهی تغییرات هر بلوک را در دسترس بگذارید تا اپراتور بتواند علت فراموشی موضوعی توسط ایجنت را بررسی کند.
- سطح 4: ایجنت پسزمینه محتوایی را میخواند که ممکن است در دسترس مهاجم باشد. اقدام کنترلی چیست؟ پاسخ مورد انتظار: با آن مثل نویسندهای نامطمئن رفتار کنید؛ هرگونه تغییر در بلوک پرسونا یا ایمنی، پیش از commit نهایی نیازمند بازبینی توسط ایجنت دوم است.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «یکپارچهسازی نودها را در انتهای هر نوبت گفتوگو اجرا کنید، زمان زیادی نمیگیرد.» این کار روی مسیر بحرانی قرار میگیرد و مشکل اصلی سیستم هم دقیقاً تاخیر دنباله است؛ هدف این تفکیک این است که تولید پاسخ هرگز معطل نماند.
- «برای صرفهجویی، ارزانترین مدل را به ایجنت پسزمینه اختصاص دهید.» این تنها بخشی است که استفاده از مدلی قویتر ارزشش را دارد، زیرا بازنویسیهای این ایجنت روی تمام نوبتهای بعدی گفتوگو اثر میگذارد.
- «حذف موارد تکراری را در مسیر بحرانی هم قرار دهید، کد هر دو یکی است.» طبق آموزههای این درس، حذف موارد تکراری فقط باید در فاز خواب انجام شود، نه زمانی که کاربر منتظر پاسخ است.
کجای دوره آموزش داده میشود
درس بلوکهای حافظه معماری سه لایه، الگوی بلوکها، ایجنت پسزمینه و حالتهای شکست (Failure modes) آن را آموزش میدهد و درس بافتار مجازی الگوی دو لایهای را مشخص میکند که این ساختار، ادامهی آن است.