سؤال مصاحبه

عددی که هرگز وجود نداشت به گزارش نهایی راه پیدا کرد

A number that never existed reached the final report

  • سطح ۲: میانی
  • اشکال‌یابی
  • ۱۰ دقیقه

سه ایجنت در یک وظیفه (Task) پژوهشی از حافظه‌ای مشترک استفاده می‌کنند. ایجنت بازیابی (Retrieval) صفحه‌ای را می‌خواند و در حافظه می‌نویسد که پژوهشی به بهبودی 42 درصدی دست یافته است. درحالی‌که متن اصلی صفحه 4.2 درصد را نشان می‌دهد. ایجنت خلاصه‌ساز کارش را بر پایه‌ی همین مدخل پیش می‌برد، ایجنت تحلیل‌گر با تکیه بر بزرگی این عدد به‌کارگیری روش را پیشنهاد می‌دهد و گزارش نهایی هم به آن ارجاع می‌دهد. هیچ ایجنتی کرش نکرده و هیچ تستی هم رد نشده است. این خطا چه نام دارد، چرا ماهیتی ساختاری دارد و کدام سه تغییر جلوی آن را می‌گیرند؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

این پدیده «مسموم‌سازی حافظه» (Memory Poisoning) نام دارد. توهم یکی از ایجنت‌ها وارد وضعیت مشترک (Shared State) شد و تک‌تک ایجنت‌های بعدی آن را واقعیتی اثبات‌شده فرض کردند؛ بنابراین، خطا با جابه‌جا شدن میان مراحل به شواهد (Evidence) تبدیل شد. این اشکال ساختاری است، چون هر حافظه‌ی مشترکی بدون منشأ و سندیت (Provenance) و بدون یک مدل اعتبارسنج (Verifier) مستقل، در نهایت دچار چنین وضعیتی می‌شود. سه تغییر کلیدی برای پیشگیری عبارت‌اند از: ثبت منشأ و سندیت در هر عملیات نوشتن، لاگ فقط‌افزودنی (Append-only) که در آن تصحیح‌ها به‌جای رونویسی، ورودی پیشین را منسوخ و جایگزین کنند، و حداقل یک مدل اعتبارسنج فقط‌خواندنی که منابع را دوباره واکشی کند و گزارش‌هایش را روی کانالی جداگانه بفرستد.

پاسخ کامل

چرا پیامد این اتفاق از ازکارافتادگی سیستم وخیم‌تر است؟

اگر وضعیت مشترک در کار نباشد، خطای ایجنت بازیابی درون کانتکست خودش محبوس می‌ماند و ایجنت بعدی که صفحه را دوباره واکشی می‌کند شانس پیدا کردن آن را دارد. در حضور وضعیت مشترک، کانتکست ایجنت اول به کانتکست همه‌ی ایجنت‌ها تبدیل می‌شود. نشانه‌ی این مشکل، افت تدریجی دقت است نه توقف یا خطای ناگهانی. تا زمانی که انسان متوجه ماجرا شود، زنجیره‌ی استدلال چندین گام به جلو رفته و ریشه‌ی اصلی خطا یکی از نخستین ورودی‌های ثبت‌شده در حافظه است. در رده‌بندی (Taxonomy) سنجیده‌شده‌ی خطاهای چندایجنت، این دسته جایگاه دوم را به خود اختصاص داده است.

سه راهکار مهار خطا

تغییر کارکرد
ثبت منشأ و سندیت در هر نوشتن هر مدخل ثبت می‌کند چه کسی، در چه زمانی، با چه پرامپتی و با ارجاع به چه منبعی آن را نوشته است؛ بنابراین خواننده‌ی بعدی می‌تواند اعتبار مدخل را بر اساس سرمنشأ آن بسنجد.
فقط‌افزودنی همراه با جایگزینی اصلاحیه در قالب یک مدخل جدید ثبت می‌شود که به مدخل قبلی اشاره دارد؛ بنابراین ردگیری ممیزی (Audit Trail) حفظ می‌شود و خواننده می‌بیند که صحت این مقدار قبلاً به چالش کشیده شده است.
مدل اعتبارسنج فقط‌خواندنی ایجنتی که مخزن مشترک را می‌خواند، منابع ارجاع‌شده را دوباره واکشی می‌کند، مغایرت‌ها را علامت می‌زند و هیچ دسترسی نوشتنی به مخزن ندارد.

در دموی این درس، مدل اعتبارسنج متوجه می‌شود که مدخل با متن واکشی‌شده همخوانی ندارد؛ در نتیجه مدخل علامت می‌خورد و تحلیل‌گر پیش از نوشتن حکم ارزیابی (Verdict) خود، این هشدار را می‌بیند.

چرا مدل اعتبارسنج نباید دسترسی نوشتن داشته باشد؟

اگر خروجی مدل اعتبارسنج به همان مخزن بازگردد، حافظه‌ی مسموم خود مدل اعتبارسنج را هم مسموم می‌کند و احکام این مدل، دامنه‌ی مسمومیت را گسترش می‌دهند. یافته‌های اعتبارسنج باید روی کانالی مستقل در اختیار انسان یا ایجنت تصمیم‌گیرنده‌ی جداگانه‌ای قرار بگیرد. درست است که ورودی نادرست همچنان ممکن است این مدل را به اشتباه بیندازد، اما چون تک‌تک مدخل‌ها را با منبع اصلی تطبیق می‌دهد، خطاهای احتمالی خودش هرگز به فکت‌های مشترک در حافظه تبدیل نمی‌شوند.

چه مواردی را باید پایش کرد؟

سهم مدخل‌هایی را که جایگزین مدخل‌های پیشین می‌شوند ثبت کنید. بالا رفتن این نسبت نشانه‌ی زودهنگامی است از این‌که ایجنت‌ها مدام در حال اصلاح یکدیگرند؛ این همان نشانه‌ای است که مسموم‌سازی را پیش از رسیدن گزارش غلط به دست دیگران برملا می‌کند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: ثبت منشأ و سندیت چطور به خواننده‌ای که امکان واکشی دوباره‌ی منبع را ندارد کمک می‌کند؟ پاسخ مورد انتظار: خواننده می‌بیند که ادعایی مشخص صرفاً بر پایه‌ی یک‌بار بازیابی و بدون ارجاع است، بنابراین وزن و اعتبار کمتری نسبت به ادعایی با منبع شفاف و پرچم تایید مدل اعتبارسنج به آن می‌دهد.
  • سطح 2: ایجنت تحلیل‌گر وقتی می‌بیند مدخل وابسته (Dependent) به آن پرچم هشدار خورده، چه واکنشی نشان می‌دهد؟ پاسخ مورد انتظار: توصیه‌ی خود را ثبت نمی‌کند یا آن را همراه با همان پرچم هشدار می‌نویسد؛ در نتیجه در گزارش نهایی به‌جای استناد به عدد، تکذیبیه‌ی آن منتشر می‌شود.
  • سطح 3: پارتیشن‌بندی موضوعی حافظه جایگزین کدام‌یک از این سه راهکار می‌شود؟ پاسخ مورد انتظار: هیچ‌کدام؛ چون پارتیشن‌ها فقط تعیین می‌کنند چه ایجنت‌هایی یک مدخل را بخوانند، و ورود یک مدخل مسموم به یک موضوع، همچنان تمام ایجنت‌های مشترک آن بخش را مسموم می‌کند.
  • سطح 3: اگر خود مدل اعتبارسنج دچار توهم شود و به‌غلط پرچم مغایرت بزند، چه خسارتی وارد می‌شود؟ پاسخ مورد انتظار: صرفاً یک هشدار نادرست روی یک مدخل درست زده می‌شود که انسان در کانال اعتبارسنجی می‌تواند آن را برطرف کند؛ اما به دلیل نداشتن دسترسی نوشتن، هیچ فکت نادرست جدیدی وارد مخزن نخواهد شد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «به همه‌ی پرامپت‌ها خطی اضافه کنیم که بگوید اعداد را راستی‌آزمایی کنید.» ایجنت‌های خلاصه‌ساز و تحلیل‌گر هیچ منبعی برای راستی‌آزمایی در اختیار نداشتند و فقط مدخل مشترک را می‌دیدند؛ تغییر پرامپت هم منبعی به آن‌ها نمی‌دهد.
  • «به مدل اعتبارسنج اجازه دهیم مدخل را در همان جا اصلاح کند.» اصلاح درجا ردگیری ممیزی را از بین می‌برد و دسترسی نوشتنی به اعتبارسنج می‌دهد که یک مخزن مسموم می‌تواند علیه خود آن استفاده کند.
  • «به‌جای مخزن مشترک، سراغ ارسال پیام برویم.» پیام‌ها همان وضعیت مشترک هستند با کپی‌برداری بیشتر؛ عدد اشتباه درون پیام هم ایجنت گیرنده را دقیقاً به همان شکل مسموم خواهد کرد.

کجای دوره آموزش داده می‌شود

سناریوی مسموم‌سازی با حضور مدل اعتبارسنج فقط‌خواندنی و بدون آن، در درس حافظه‌ی مشترک اجرا می‌شود.