سؤال مصاحبه

طراحی یک سیستم پژوهشی با الگوی سرپرست و کارگر برای محیط عملیاتی

Design a lead-and-workers research system for production

  • سطح ۴: استف
  • پروژه‌ی خانگی
  • ۶۰ دقیقه

تمرین خانگی: یک سیستم پژوهشی طراحی کنید که در آن یک ایجنت سرپرست (lead agent) برنامه‌ریزی می‌کند و چند کارگر (worker) به‌صورت موازی جستجو را انجام می‌دهند؛ این سیستم برای محصولی طراحی می‌شود که کاربران در آن پرسش‌های باز می‌پرسند و انتظار پاسخی مستند با ذکر منابع دارند. یک سند طراحی تحویل دهید که این موارد را پوشش دهد: طرح کلی پرامپت سرپرست و کارگرها، حافظه‌ی مشترک، حالت‌های شکست مورد انتظار و راهکارهای مهار هرکدام، محدودیت‌های عملیاتی و مدل هزینه. مشخص کنید اگر بودجه نصف شود، کدام بخش‌ها را حذف می‌کنید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

سرپرست پرسش را به زیرپرسش‌ها تجزیه می‌کند، تعداد کارگرها را متناسب با پیچیدگی پرسش تغییر می‌دهد و خلاصه‌های کارگرها را بدون خواندن منابع خام ترکیب و جمع‌بندی می‌کند. هر کارگر یک بافتار تازه (fresh context)، یک دامنه‌ی صریح (explicit scope)، مهلت زمانی (timeout) حدود دو برابر میانه‌ی زمان اجرا و یک سقف توکن دارد. حافظه‌ی مشترک ساختاری فقط‌افزودنی (append-only) دارد و منشأ و سندیت (provenance) را در تمام ورودی‌ها ثبت می‌کند؛ همچنین یک مدل اعتبارسنج (verifier) فقط‌خواندنی، منابع را دوباره واکشی و مغایرت‌ها را در کانال اختصاصی خودش گزارش می‌کند. همه‌ی فراخوانی‌های بیرونی پشت یک مدارشکن (circuit breaker) قرار دارند، نسخه‌های مختلف سیستم کنار هم مستقر می‌شوند و مدل هزینه از همان ابتدا تصریح می‌کند که این الگو حدود 15 برابر یک تک‌ایجنت توکن مصرف می‌کند.

پاسخ کامل

سرپرست

  • طرح کلی پرامپت: تجزیه‌ی مسئله، تفویض وظایف، ترکیب و جمع‌بندی نهایی؛ هرگز جستجوی مستقیم انجام ندهد.
  • تنظیم مقیاس تلاش متناسب با پرسش: یک پرسش ساده یک ایجنت و چند فراخوانی ابزار دریافت می‌کند، در حالی که یک پرسش پیچیده بیش از ده کارگر به کار می‌گیرد. تخمین این پیچیدگی وظیفه‌ی سرپرست است، نه سیستم فراخوان.
  • تجزیه از کل به جزء: ابتدا تجزیه‌ی کلی انجام شود، سپس در جایی که یک پاسخ فرعی ارزش بررسی بیشتر دارد، کارگرهای عمیق‌تر ایجاد شوند.
  • ترکیب به همراه ذکر منشأ و سندیت: هر ادعایی در پاسخ نهایی، کارگر و منبع تولیدکننده‌ی آن را مشخص می‌کند.
  • مدیریت تناقض‌ها: اگر دو کارگر فکت‌های متناقضی برگرداندند، موضوع با یک پرسش دقیق‌تر دوباره پرسیده شود یا اختلاف نظرها شفاف مطرح شود؛ هرگز در سکوت یکی انتخاب نشود.

کارگرها

  • طرح کلی پرامپت: یک زیرپرسش، منابع ارجح، موارد خارج از دامنه و ساختار خروجی مورد انتظار.
  • بافتار تازه برای هر کارگر: به این ترتیب توکن‌های برنامه‌ریزی سرپرست هرگز وارد پنجره‌ی کارگر نمی‌شود.
  • مهلت زمانی در حدود دو برابر میانه‌ی زمان اجرای کارگرها: پس از آن، سرپرست یا کارگر جدیدی با دامنه‌ی محدودتر می‌سازد یا کار را بدون آن نتیجه پیش می‌برد.
  • سقف توکن سخت‌گیرانه برای هر کارگر: در حدود ده برابر ورودی مورد انتظار برای مرحله‌ی ترکیب، تا یک کارگر مهارنشده نتواند کل بودجه را مصرف کند.

حافظه‌ی مشترک

  • هر ورودی شامل نویسنده، برچسب زمانی، هشِ پرامپت و منبع مورد استناد است.
  • لاگ فقط‌افزودنی است؛ هر اصلاحیه، جایگزین ورودی قبلی می‌شود و به همان ورودی ارجاع می‌دهد.
  • یک مدل اعتبارسنج فقط‌خواندنی، منابع ارجاع‌شده را دوباره واکشی می‌کند، مغایرت‌ها را پرچم‌گذاری می‌کند و خروجی را فقط روی یک کانال اعتبارسنجی می‌نویسد که سرپرست و ناظر انسانی آن را می‌خوانند.
  • پایش سهم اصلاحیه‌ها نسبت به کل ورودی‌ها: افزایش این سهم، نشانه‌ی زودهنگامی از توهم‌زدگی نویسنده است.

حالت‌های شکست و راهکارهای مهار

شکست مورد انتظار راهکار مهار
سرپرست پرسش نادرستی را تجزیه می‌کند لاگ کردن مراحل تجزیه و تطبیق آن با پرسش کاربر پیش از شروع به کار کارگرها
کاوش بیش از حد کارگرها دامنه‌ی صریح، مهلت زمانی و سقف توکن
تناقض میان دو کارگر شناسایی از طریق استانداردسازی ادعاها به ازای هر زیرپرسش؛ پرسش مجدد یا بازتاب اختلاف نظر در پاسخ
مسموم‌سازی حافظه ثبت منشأ و سندیت، ساختار فقط‌افزودنی، مدل اعتبارسنج فقط‌خواندنی
طوفان تلاش مجدد روی سرویس‌های جستجو یا واکشی مدارشکن‌هایی که با نرخ خطای 5 تا 10 درصد فعال می‌شوند و تعیین سقف برای بودجه‌ی تلاش مجدد
پاسخ اشتباه بی‌صدا یک مجموعه‌ی طلایی از پرسش‌ها با پاسخ‌های مشخص که هفتگی اجرا شوند، همراه با بازبینی انسانی نمونه‌برداری‌شده

عملیات

  • ثبت ردگیری محاسبات برای طرح سرپرست، فراخوانی‌های ابزار هر کارگر و مرحله‌ی ترکیب: تا هر پاسخ نادرست به‌دقت به یک کارگر و یک منبع مشخص متصل شود.
  • استقرار نسخه‌های جدید در کنار نسخه‌های قدیمی: پرسش‌هایی که پردازش آن‌ها طول می‌کشد، باید روی همان نسخه‌ای که شروع شده‌اند به پایان برسند.
  • اجرای ممیزی حالت‌های شکست در هر فصل روی نمونه‌ای شامل حدود 1000 ردگیری، و رتبه‌بندی راهکارهای مهار بر اساس تعداد شکست‌های برطرف‌شده.

مدل هزینه

اعلام شفاف ضریب هزینه‌ی اندازه‌گیری‌شده: این الگو حدود 15 برابر یک تک‌ایجنت توکن مصرف می‌کند، و حدود 80 درصد از واریانس کیفیت در بنچ‌مارک وب‌گردی با میزان مصرف توکن توضیح داده می‌شود. به ازای هر دسته‌بندی از پرسش‌ها، میزان توکن مصرفی و زمان واقعی (wall-clock) باید در کنار کیفیت پاسخ گزارش شود.

در صورت نصف شدن بودجه

قاعده‌ی مقیاس‌پذیری سرپرست را حفظ کنید و آستانه‌ی پیچیدگی پرسش برای افزودن کارگرها را بالا ببرید تا پرسش‌های بیشتری فقط به یک ایجنت سپرده شوند. ثبت منشأ و سندیت و مدل اعتبارسنج را نگه دارید؛ زیرا کم‌هزینه‌اند و از درستی ارجاعات محافظت می‌کنند. پیش از حذف مدل اعتبارسنج، تعداد کارگرها به ازای هر پرسش را کم کنید، و دورهای مناظره (debate) میان ایجنت‌ها را کاملاً حذف کنید.

معیارهای ارزیابی

طرح کلی پرامپت‌ها، ساختار حافظه همراه با فیلدهای منشأ و سندیت، جدول شکست‌ها با یک راهکار مهار به ازای هر ردیف، سه محدودیت عملیاتی همراه با دلیل فنی برای هر عدد، و بخش هزینه‌ای که ضریب افزایش مصرف را شفاف نشان دهد و پنهان نکند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا سرپرست هرگز منابع خام را حتی برای بررسی کارگر نمی‌خواند؟ پاسخ مورد انتظار: پنجره‌ی بافتار سرپرست مختص برنامه‌ریزی و ترکیب است؛ بررسی منابع وظیفه‌ی مدل اعتبارسنج است که منابع را بدون نوشتن در حافظه‌ی اصلی دوباره واکشی می‌کند.
  • سطح 3: اگر کارگری خلاصه‌ای بدون ذکر منبع برگرداند، سیستم چه برخوردی می‌کند؟ پاسخ مورد انتظار: سازوکار منشأ و سندیت، آن ورودی را بدون ارجاع علامت می‌زند، سرپرست وزن کمتری به آن می‌دهد و مدل اعتبارسنج نمی‌تواند آن را بررسی کند؛ بنابراین پاسخ نهایی یا آن را حذف می‌کند یا برچسب‌دار نشان می‌دهد.
  • سطح 4: اگر علاوه بر سرپرست و کارگرها فقط بتوانید یک جزء دیگر را نگه دارید، کدام است؟ پاسخ مورد انتظار: مدل اعتبارسنج فقط‌خواندنی به همراه ثبت منشأ و سندیت؛ چون یک پاسخ دارای ارجاع که اشتباه باشد، شکستی است که محصول نمی‌تواند از آن جان سالم به در ببرد.
  • سطح 4: چگونه مطمئن می‌شوید که سیستم در فصل آینده همچنان به‌درستی کار می‌کند؟ پاسخ مورد انتظار: اجرای هفتگی مجموعه‌ی طلایی، رصد نرخ اصلاحیه‌ها و خطاهای اعتبارسنجی، نرخ توافق میان کارگرهای موازی و ممیزی فصلی ردگیری‌ها.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «کل تاریخچه‌ی گفت‌وگو را به هر کارگر بدهید تا بافتار کامل داشته باشد.» این کار مزیت بافتار تازه را از بین می‌برد و توکن‌های برنامه‌ریزی سرپرست را در پنجره‌ی تمام کارگرها کپی می‌کند.
  • «اجازه دهید سرپرست تناقض‌ها را با انتخاب پاسخی که قلم بهتری دارد حل کند.» انتخاب خاموش و بی‌صدا، اختلاف نظر را از کاربر پنهان می‌کند؛ سیستم باید موضوع را دوباره بپرسد یا اختلاف را شفاف مطرح کند.
  • «مدل اعتبارسنج را حذف کنید، چون سرپرست خودش خلاصه‌ی کارگرها را می‌خواند.» سرپرست خلاصه‌ها را با یکدیگر مقایسه می‌کند نه با منابع اصلی؛ علاوه بر این، خلاصه‌های اشتراکی ممکن است در یک توهم مشترک سهیم باشند.

کجای دوره آموزش داده می‌شود

درس الگوی سرپرست مباحث سرپرست، کارگرها و محدودیت‌ها را پوشش می‌دهد؛ درس حافظه‌ی مشترک فیلدهای منشأ و سندیت و اعتبارسنج فقط‌خواندنی را ارائه می‌دهد؛ و درس حالت‌های شکست مدارشکن‌ها و روش ممیزی سیستم را توضیح می‌دهد.