سؤال مصاحبه

دو ورکر فکت‌های متفاوتی برگرداندند، گزارش فقط یکی را نشان می‌دهد

Two workers returned different facts, the report shows one

  • سطح ۳: ارشد
  • اشکال‌یابی
  • ۱۲ دقیقه

در یک سیستم پژوهشی با الگوی سرپرست و ورکر (Lead-and-workers)، دو ورکر به زیرسوال‌های دارای همپوشانی با اعدادی پاسخ دادند که با یکدیگر در تناقض‌اند. گزارش نهایی فقط یکی از اعداد را آورده و هیچ اشاره‌ای به عدد دیگر نکرده است. کاربر عدد دوم را در منبعی پیدا کرده و می‌پرسد چرا گزارش آن را پنهان کرده است. کجای سیستم دچار شکست شده و چه چیزی را باید تغییر دهید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

سرپرست تعارض در ترکیب (Synthesis conflict) را با انتخاب بی‌صدا و دلبخواهیِ یکی از طرفین حل کرده است؛ اتفاقی که در این درس بدترین حالت شکست در این الگو نامیده می‌شود، چرا که کاربر هرگز متوجه وقوع اختلاف‌نظر نمی‌شود. دو علت بالادستی این رخداد را محتمل کردند: شکستن مسئله به دو ورکر حوزه‌ی مشترکی داد، و هیچ ورکری هم دامنه‌ای نداشت که مانع ورودش به قلمرو ورکر دیگر شود. راهکار، طراحی سرپرستی است که تناقض میان خروجی ورکرها را شناسایی کند و یا با یک سوال محدودتر دوباره بپرسد یا اختلاف‌نظر را در پاسخ بنویسد؛ به‌علاوه‌ی درج منشأ و سندیت (Provenance) برای تک‌تک ادعاهای ترکیب‌شده.

پاسخ کامل

سه حالت شکست در این الگو

شکست آنچه اینجا رخ داد
سرپرست برنامه را دچار توهم می‌کند زیرسوال‌ها دارای همپوشانی بودند، بنابراین دو ورکر درباره‌ی یک فکت یکسان پژوهش کردند
ورکرها بیش‌ازحد کاوش می‌کنند ورکری که مرز دامنه‌اش مشخص نبود، از سوال خود فراتر رفت و وارد قلمرو دیگری شد
تعارض در ترکیب دو فکت متناقض رسیدند و سرپرست بدون هیچ توضیحی یکی را انتخاب کرد

سومی همان چیزی است که کاربر دید. دو مورد اول زمینه‌ساز وقوع آن شدند.

تشخیص تعارض بدون نیاز به مدل

در این درس این پرسش مطرح می‌شود که چطور می‌توان بدون فراخوانی یک مدل تناقض را شناسایی کرد. ادعاها را استانداردسازی (Canonicalize) کنید: هر عدد را همراه با واحد آن و موجودیتی که توصیف می‌کند استخراج کنید، آن را بر اساس زیرسوال کلیدگذاری کرده و مقایسه کنید. دو مقدار متفاوت ذیل یک کلید یعنی تعارض. برای ادعاهای غیرعددی، تنها زمانی کلید را علامت بزنید که دو ورکر ادعاهای متفاوتی بیان کرده باشند. صرفِ تفاوت در منابع ارجاع‌شده به‌تنهایی تعارض نیست. مدیریت کلیدِ پرچم‌خورده را به سرپرست بسپارید.

برخورد سرپرست با تعارض

  1. پرسش دوباره. یک ورکر را برای سوالی محدودتر و متمرکز بر اختلاف‌نظر بالا بیاورید که البته این کار یک نوبت گفت‌وگو (Turn) یا دور اضافه می‌کند.
  2. آشکارسازی آن. هر دو مقدار را همراه با منابعشان در پاسخ بنویسید و بگویید که با هم اختلاف دارند.
  3. هرگز در سکوت انتخاب نکنید. انتخاب یک مقدار بدون هیچ توضیحی، شکست اصلی در پرامپت است.

جلوگیری از همپوشانی

مسئله را ابتدا کلی و سپس جزئی بشکنید، و در پرامپت هر ورکر دامنه‌ی صریح آن را مشخص کنید: زیرسوال، مواردی که خارج از دامنه هستند و منابع دارای اولویت. برای ورکرها محدودیت زمانی (Timeout) معادل حدود دو برابر میانه‌ی زمان اجرا (Median runtime) و سقف توکن به ازای هر ورکر بگذارید، تا اگر ورکری به بیراهه رفت متوقف شود و سرپرست بتواند ورکری با سوال محدودتر راه بیندازد یا بدون آن ادامه دهد.

منشأ و سندیت در ترکیب

هر ادعا در پاسخ نهایی مشخص می‌کند از کدام ورکر و از چه منبعی آمده است. این کار پنهان ماندن عدد دوم را غیرممکن می‌کند، چرا که ادعایی با دو منبع دو مقدار را نشان می‌دهد؛ همچنین بررسی پس از حادثه (Post-mortem) را به‌جای حدس و گمان، به خواندن ردگیری محاسبات (Trace) تبدیل می‌کند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا انتخاب بی‌صدا بدتر از یک انتخاب نادرست همراه با توضیح است؟ پاسخ مورد انتظار: اختلاف‌نظری که ثبت شده باشد به خواننده امکان می‌دهد منابع را بررسی کند، در حالی که انتخاب بی‌صدا یک فکت حل‌نشده را قطعی و حل‌شده جا می‌زند.
  • سطح 3: پرسش دوباره یک دور به کار اضافه می‌کند و هدف تاخیر (Latency) بسیار سخت‌گیرانه است. چه می‌کنید؟ پاسخ مورد انتظار: به‌جای پرسش دوباره، اختلاف‌نظر را در پاسخ نشان دهید و کلید را برای اجرای بعدی ثبت کنید.
  • سطح 4: شناساگر تعارض را چطور تست می‌کنید؟ پاسخ مورد انتظار: خروجی‌های ورکرها را همراه با یک تناقض ساختگی روی یک کلید و مقادیر همخوان روی سایر کلیدها به آن بدهید، و مطمئن شوید دقیقاً همان کلید علامت‌گذاری می‌شود.
  • سطح 4: دو ورکر با هم توافق دارند و هر دو اشتباه می‌کنند. چه چیزی جلوی این را می‌گیرد؟ پاسخ مورد انتظار: هیچ‌چیز در سرپرست، زیرا توافق دلیلی بر درستی نیست؛ بنابراین یک مدل اعتبارسنج (Verifier) مستقل با دسترسی اختصاصی به منابع باید ادعا را بررسی کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «قاعده‌ای به پرامپت سرپرست اضافه کنید که بگوید مراقب اعداد باشد.» سرپرست اصلاً متوجه وجود تعارض نشده بود، و پرامپت به‌خودی‌خود خروجی‌های ورکرها را با هم مقایسه نمی‌کند.
  • «به ورکری که اطمینان بالاتری دارد اعتماد کنید.» اطمینان داشتن به معنای درست بودن نیست، و کاربر باز هم هرگز نمی‌فهمد اختلافی رخ داده است.
  • «برای هر زیرسوال سه ورکر اجرا کنید و رای اکثریت را بگیرید.» اکثریت هم می‌توانند دسته‌جمعی اشتباه کنند، این کار هزینه را سه برابر می‌کند و همپوشانی اولیه‌ای که باعث تعارض شد همچنان در برنامه باقی می‌ماند.

کجای دوره آموزش داده می‌شود

درس الگوی سرپرست به تعارض در ترکیب، محدودیت زمانی ورکر و سقف توکن اشاره می‌کند.