سؤال مصاحبه

تصمیم‌گیری درباره اختیارات مستقل ایجنت

Decide which choices an agent may make alone

  • سطح ۴: استف
  • بده‌بستان
  • ۱۲ دقیقه

سازمان شما می‌خواهد به ایجنت‌های کدنویسی اجازه دهد تا برای دسته‌ای از وظایف (tasks)، بدون نیاز به نظارت مستقیم انسان (human in the loop)، تغییرات را merge کنند. از شما خواسته شده شیوه‌نامه‌ای تدوین کنید که مشخص کند ایجنت چه تصمیم‌هایی را می‌تواند به‌تنهایی بگیرد. این مرز را چطور تعیین می‌کنید، و این مرز در طول زمان چگونه جابه‌جا می‌شود؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

این مرز بر اساس پیامد و بازگشت‌پذیری تعیین می‌شود، نه میزان سختی وظیفه. انسان تصمیم‌هایی را که رفتار عمومی برنامه (public behavior)، ریسک، سطح دسترسی یا هزینه‌های بازگشت‌ناپذیر را تغییر می‌دهند نزد خود نگه می‌دارد؛ در مقابل، بررسی‌های محدود، پیاده‌سازی، اعتبارسنجی و بازبینی در اختیار ایجنت قرار می‌گیرد. من این رویکرد را در قرارداد هر وظیفه به‌صورت تصمیم‌های قفل‌شده (locked)، محدودشده (bounded) و تفویض‌شده (delegated) مشخص می‌کنم، و دامنه‌ی تصمیم‌های تفویض‌شده را تنها زمانی گسترش می‌دهم که شواهد (evidence) و امکان بازگشت به عقب (rollback) قوی باشند؛ این یعنی خودمختاری تنظیم‌شده (calibrated autonomy)، نه یک کلید خاموش و روشن ثابت.

پاسخ کامل

خودمختاری تنظیم‌شده

سیستم در جاهایی که شواهد و بازگشت به عقب قوی هستند آزادی عمل می‌دهد، و در مواردی که پیامدها سنگین است یک چک‌پوینت (checkpoint) الزامی می‌کند. این ویژگی مربوط به تک‌تک تصمیم‌هاست؛ بنابراین شیوه‌نامه به‌تفکیک رده‌ی تصمیم‌ها نوشته می‌شود، نه به ازای هر وظیفه یا هر مدل.

اختیارات انسان و اختیارات ایجنت

تصمیم‌های تحت کنترل انسان تصمیم‌های مجاز برای ایجنت
تغییر در رفتار عمومی یا سازگاری ساختار محلی، نام‌گذاری‌ها، بازآرایی‌های بازگشت‌پذیر
تغییر در سطح ریسک یا وضعیت امنیتی بررسی‌های محدود که خروجی‌اش یک جدول واقعیت است
اعطای مجوز یا سطح دسترسی پیاده‌سازی درون مسیرهای اختصاصی، همراه با اثبات (proof)
هزینه‌های بازگشت‌ناپذیر: مایگریشن‌ها، حذف داده‌ها، بار مالی اعتبارسنجی و بازبینی فقط‌خواندنی دست‌سازه‌های (artifacts) تکمیل‌شده

اجرای شیوه‌نامه با حالت‌های سه‌گانه

هر تصمیم در قرارداد وظیفه یکی از سه حالت قفل‌شده، محدودشده یا تفویض‌شده را دارد. تصمیم‌های قفل‌شده نیازمند چک‌پوینت انسانی هستند. تصمیم‌های محدودشده سقف و چارچوب‌ها را مشخص می‌کنند (مانند فهرست مجاز وابستگی‌ها یا بازه‌ی مجاز تلاش مجدد) و ایجنت در همان چارچوب پیشنهاد می‌دهد. تصمیم‌های تفویض‌شده از ایجنت می‌خواهند که دلیل انتخابش را توضیح دهد و نتیجه را اثبات کند. حالت انتخابی بر پایه‌ی پیامد و بازگشت‌پذیری تعیین می‌شود، و دلیل آن نیز ثبت می‌گردد تا تیم‌های بعدی بتوانند آن را بازنگری کنند.

این مرز چگونه جابه‌جا می‌شود

میزان خودمختاری با تکیه بر شواهد گسترش می‌یابد. وقتی یک رده از تصمیم‌های تفویض‌شده لایه‌ی اثبات قوی، بازگشت به عقب بی‌دردسر و یک بازه‌ی زمانی بدون حادثه داشته باشد، می‌توان یک تصمیم محدودشده را به حالت تفویض‌شده ارتقا داد. هرگاه حادثه‌ای نشان دهد که کنترلی جا افتاده است، این مسیر برعکس می‌شود تا زمانی که آن کنترل ایجاد شود. خود این شیوه‌نامه نیز نوعی کنترل است که مسئول مشخص و تاریخ بازبینی دارد.

چیزهایی که هرگز تغییر نمی‌کنند

اثبات باید با ادعا همخوانی داشته باشد. یک تست واحد (unit test) مسیر رابط عمومی را اثبات نمی‌کند، و خلاصه‌ی ایجنت جای بررسی خروجی اثبات را نمی‌گیرد. یکپارچه‌ساز سیستم خروجی اثبات را بررسی می‌کند، نه روایت ایجنت را.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: ایجنت وابستگی جدیدی خارج از فهرست مجاز پیشنهاد می‌کند و استدلال خوبی هم دارد. چه می‌شود؟ انتظار: تصمیم محدودشده به انسان ارجاع داده می‌شود؛ استدلال ایجنت ورودی تصمیم‌گیری است، نه مجوزی برای اقدام.
  • سطح 4: چگونه دامنه‌ی خودمختاری یک رده از تصمیم‌ها را با اطمینان گسترش می‌دهید؟ انتظار: لایه‌ی اثبات، بازگشت به عقب و یک بازه‌ی بدون حادثه را برای آن رده نشان دهید؛ سپس حالت را تغییر داده و شواهد و فرد تأییدکننده را ثبت کنید.
  • سطح 4: چه شواهدی باعث می‌شود دامنه‌ی خودمختاری را دوباره محدود کنید؟ انتظار: حادثه‌ای که لایه‌های کنترلی پایین‌تر متوجه آن نشده‌اند؛ این موضوع نشان می‌دهد لایه‌ی اثبات ضعیف‌تر از فرض شیوه‌نامه بوده است.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «وظایف آسان را به ایجنت بسپاریم و سخت‌ها را خودمان برداریم.» میزان سختی معیار درستی نیست؛ یک حذف ساده می‌تواند بازگشت‌ناپذیر باشد و یک بازآرایی پیچیده کاملاً بازگشت‌پذیر.
  • «خودمختاری یک تنظیم کلی و واحد برای کل تیم است.» هر رده از تصمیم‌ها پیامد و بازگشت‌پذیری خاص خود را دارد، بنابراین یک کلید سراسری از هر دو جهت اشتباه است.
  • «پاس شدن کل تست‌ها برای merge کردن هر تغییری کافی است.» تست‌ها صرفاً قراردادهای محلی را اثبات می‌کنند؛ رفتار عمومی، سطح دسترسی و هزینه‌های بازگشت‌ناپذیر نیازمند اثبات جداگانه و چک‌پوینت انسانی هستند.

کجای دوره آموزش داده می‌شود

مفهوم خودمختاری تنظیم‌شده در درس تفویض اختیار تعریف شده و حالت‌های سه‌گانه‌ی تصمیم‌گیری در درس مشخصات فنی آمده است.