سؤال مصاحبه

همه‌ی ایجنت‌ها همه‌چیز را بخوانند یا عضو موضوعات شوند؟

Every agent reads everything, or agents subscribe to topics

  • سطح ۲: میانی
  • بده‌بستان
  • ۱۰ دقیقه

تیمی متشکل از چهار ایجنت یک لاگ پیام مشترک دارند و هر ایجنت تمام آن را می‌خواند. این تیم در آستانه‌ی گسترش به چند ده ایجنت است و کانتکست هر ایجنت از همین حالا هم بسیار سنگین شده است. حفظ لاگ تکی را با رفتن به سراغ موضوعاتی (topics) که ایجنت‌ها عضو آن‌ها (subscribe) می‌شوند مقایسه کنید و بگویید چطور نوشتن هم‌زمان چند ایجنت را مدیریت می‌کنید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

استخر کامل پیام (full pool) ساده، شفاف و برای وارسی آسان است، اما از حدود 10 ایجنت به بعد دیگر مقیاس‌پذیر نیست؛ زیرا پنجره‌ی کانتکست هر ایجنت با کارهای بقیه‌ی ایجنت‌ها پر می‌شود. تخته‌سیاه (blackboard) با سیستم اشتراک، فقط پیام‌های مرتبط را به هر ایجنت می‌رساند؛ در نتیجه بهتر مقیاس می‌شود، ولی هزینه‌اش طراحی اولیه‌ی یک اسکیما (schema) است تا موضوعات معنا پیدا کنند. بسیاری از سیستم‌ها این دو را ترکیب می‌کنند: یک استخر کوچک در لایه‌ی برنامه‌ریزی و تخته‌سیاه‌ها در لایه‌های پایین‌تر. برای نوشتن هم اغلب سیستم‌ها همه‌چیز را از کانال یک نویسنده‌ی واحد متوالی (serialize) می‌کنند، چون فراخوانی مدل‌ها به اندازه‌ای کند است که تداخل نوشتن به‌ندرت رخ می‌دهد.

پاسخ کامل

دو توپولوژی اصلی

توپولوژی چه کسی چه چیزی را می‌خواند چه زمانی برنده است هزینه‌ها
استخر کامل پیام هر ایجنت همه‌ی پیام‌ها را می‌خواند ایجنت‌های کم، نقش‌های متنوع، افق زمانی کوتاه کانتکست با هر نوبت گفت‌وگو رشد می‌کند و آلودگی اطلاعاتی به همه سرایت می‌کند
تخته‌سیاه با سیستم اشتراک ایجنت‌ها موضوعات را مشخص و فقط همان‌ها را دریافت می‌کنند ایجنت‌های زیاد، نقش‌های مشابه، اجرای طولانی‌مدت پیش از آنکه موضوعات معنا پیدا کنند، باید حتماً یک اسکیما وجود داشته باشد

استخر زمانی برنده است که تحلیلِ «چه کسی چه گفت» هزینه‌ی کمی داشته باشد، چون همه همه‌چیز را دیده‌اند. تخته‌سیاه زمانی برنده است که مسیریابی (routing) باعث صرفه‌جویی در توکن‌ها شود و کارهای نامرتبط را از پنجره‌ی کانتکست هر ایجنت دور نگه دارد.

تصویر یک گام فراتر می‌رود

تخته‌سیاه دید یکسانی به همه‌ی مشترکان یک موضوع می‌دهد. اما یک تصویر (projection) اختصاصی برای هر ایجنت، دیدی را فراهم می‌کند که از وضعیت کلی محاسبه شده است؛ یعنی دقیقاً همان کاری که کاهنده‌های وضعیت (state reducers) در محیط‌های اجرای گرافی انجام می‌دهند. این رویکرد بیشترین مقیاس‌پذیری را دارد و به اسکیما نیازمند است؛ بدون اسکیما، هر ایجنت مجبور می‌شود تصویر اختصاصی خودش را درون پرامپتش بازسازی کند.

نوشتن

نوشتن هم‌زمان چند ایجنت، یک مسئله‌ی هم‌زمانی (concurrency) است، نه مسئله‌ی مدل. سه الگو برای حل آن کارآمد هستند:

  1. یک نویسنده‌ی واحد (Single writer): تمام عملیات نوشتن از مسیر یک هماهنگ‌کننده می‌گذرد که آن‌ها را پشت سر هم قرار می‌دهد. ساده است، اما گلوگاه ایجاد می‌کند.
  2. هم‌زمانی خوش‌بینانه با نسخه‌گذاری (Optimistic concurrency with versions): هر ورودی یک نسخه (version) دارد؛ در صورت عدم تطابق نسخه، عملیات نوشتن ناموفق می‌شود و دوباره تلاش می‌کند.
  3. پارتیشن‌بندی موضوعی (Topic partitioning): هر ایجنت مالک موضوعات مشخصی است؛ بنابراین هیچ تداخلی بین موضوعات پیش نمی‌آید، اما مرزهای این پارتیشن‌ها باید از قبل طراحی شوند.

اکثر فریم‌ورک‌ها به‌طور پیش‌فرض از نویسنده‌ی واحد استفاده می‌کنند، زیرا فراخوانی مدل‌ها به اندازه‌ای کند است که این گلوگاه مشکلی ایجاد نمی‌کند.

چیزی که تغییر نمی‌کند

هر دو توپولوژی مصداق وضعیت مشترک (shared state) و تنها بخش حالت‌دار سیستم هستند. هر دو روی تک‌تک ورودی‌ها نیازمند منشأ و سندیت (provenance)، یک لاگ فقط‌افزودنی (append-only) و یک مدل اعتبارسنج (verifier) فقط‌خواندنی هستند. پارتیشن‌بندی موضوعی فقط دامنه‌ی خوانندگان یک ورودی آلوده را محدود می‌کند، اما جلوی خود آلودگی را نمی‌گیرد.

این الگو ریشه در تاریخ دارد

الگوی تخته‌سیاه چهار دهه پیش از پیدایش ایجنت‌های مبتنی بر مدل معرفی شد. در آن الگو، منابع دانشی متخصص بر یک تابلوی مشترک نظارت می‌کردند، راه‌حل‌های جزئی را به اشتراک می‌گذاشتند و یکدیگر را فعال می‌کردند. سیستم‌های امروزی همان الگو را پیاده می‌کنند که در آن‌ها ایجنت‌های مدل نقش منابع دانش را دارند و ورودی‌های ساختاریافته جایگزین راه‌حل‌های جزئی شده‌اند؛ ادبیات کهن این حوزه هم از قبل چالش‌های تداخل در نوشتن و یکپارچگی داده را مستند کرده است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: یک لایه‌ی برنامه‌ریزی با سه ایجنت و یک لایه‌ی کارگری با 30 ایجنت داریم. کدام توپولوژی برای کجا مناسب است؟ پاسخ مورد انتظار: یک استخر کامل پیام برای سه برنامه‌ریز که باید خروجی یکدیگر را ببینند، و تخته‌سیاه برای کارگران که فقط به موضوعات خود نیاز دارند.
  • سطح 2: پارتیشن‌بندی موضوعی جلوی کدام سناریوهای مسموم‌سازی داده را می‌گیرد؟ پاسخ مورد انتظار: یک ورودی آلوده فقط به دست مشترکان همان موضوع می‌رسد؛ بنابراین انتشار آن به موضوعات دیگر قطع می‌شود، هرچند مشترکان همان موضوع مثل قبل آلوده می‌شوند.
  • سطح 3: چه زمانی از رویکرد نویسنده‌ی واحد به سراغ نسخه‌گذاری خوش‌بینانه می‌روید؟ پاسخ مورد انتظار: زمانی که تعداد دفعات نوشتن آن‌قدر زیاد باشد که صف هماهنگ‌کننده تاخیر محسوسی ایجاد کند؛ اتفاقی که تا وقتی هر نوشتن پس از یک فراخوانی کند مدل انجام می‌شود، بسیار نادر است.
  • سطح 3: اضافه کردن تخته‌سیاه بدون اسکیما چه اشکالاتی به بار می‌آورد؟ پاسخ مورد انتظار: نام موضوعات سلیقه‌ای و بدون نظم انتخاب می‌شود، ایجنت‌ها عضو موضوعات اشتباه یا همه‌ی موضوعات می‌شوند، و در عمل همان استخر کامل را با کدنویسی بیشتری بازسازی می‌کنید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «استخر را حفظ کنید و پنجره‌ی کانتکست بزرگ‌تری به ایجنت‌ها بدهید.» استخر با هر نوبت گفت‌وگو از هر ایجنت رشد می‌کند؛ پنجره‌ی بزرگ‌تر فقط رسیدن به محدودیت را به تعویق می‌اندازد، اما آن را از بین نمی‌برد.
  • «به‌جای وضعیت مشترک، پیام‌ها را مستقیم بین ایجنت‌ها ردوبدل کنید.» پیام‌های مستقیم همان وضعیت مشترک با کپی‌های اضافه است و لاگِ قابل‌وارسی را از بین می‌برد.
  • «با پارتیشن‌بندی بر اساس موضوع، مشکل مسموم‌سازی حل می‌شود.» پارتیشن‌بندی فقط جلوی گسترش را می‌گیرد؛ ورودی‌ای که منشأ و سندیت و مدل اعتبارسنج نداشته باشد، همچنان تمام مشترکان آن موضوع را مسموم می‌کند.

کجای دوره آموزش داده می‌شود

در درس حافظه‌ی مشترک ساخت هر دو توپولوژی و الگوهای تداخل در نوشتن بررسی شده است.