سؤال مصاحبه

پرسش حقوقی به یافته‌های مالی تبدیل شد

The legal question came back as finance findings

  • سطح ۳: ارشد
  • اشکال‌یابی
  • ۱۲ دقیقه

یک ساختار سلسله‌مراتبی سه سطحی از ایجنت‌ها (Agent) قراردادی را بازبینی می‌کند. مدیر ارشد، کار را به دو branch مهندسی و حقوقی تقسیم می‌کند که هرکدام مدیر میانی و کارگرهای خود را دارند. گزارش نهایی کامل و با لحنی مطمئن نوشته شده، اما جایی که باید بررسی حقوقی باشد، یافته‌های مالی قرار گرفته است؛ در حالی که هیچ‌کس سؤالی درباره‌ی مسائل مالی نپرسیده بود. این شکست را ردگیری محاسبات (Trace) کنید و بگویید چه تغییراتی در طراحی سیستم می‌دهید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

مدیر ارشد هنگام شکستن وظیفه (Decomposition)، به اشتباه برچسب branch حقوقی را «مالی» زده است. مدیر میانی همان کاری را انجام داده که به او محول شده بود، کارگرها هم کار مالی را به‌درستی انجام داده‌اند و ترکیب‌کننده‌ی نهایی در سطح بالا نیز یافته‌های مالی را گزارش کرده است. این خطا فقط در بالاترین سطح خود را نشان داد؛ درست یک سطح دورتر از هر نقطه‌ای که انسان می‌توانست متوجه آن شود. راهکارهای اصلاح طراحی عبارت‌اند از: محدود کردن عمق ساختار به حداکثر 2 سطح، ثبت منشأ و سندیت (Provenance) برای تمام جمع‌بندی‌ها، ثبت لاگ تفکیک وظایف و تطبیق آن با پرسش اصلی، و در نهایت استفاده از یک کارگر کاناری (Canary worker) که پرسش کاربر همیشه بدون هیچ تغییری به آن تحویل داده می‌شود.

پاسخ کامل

چرا ساختار سلسله‌مراتبی این خطا را پنهان می‌کند؟

یک مدیر انسانی شناخت ثابتی از وظایف هر تیم دارد، اما یک مدیر مبتنی بر مدل زبانی در هر نوبت گفت‌وگو (Turn)، کل ساختار را بر اساس محتوای کانتکست خود بازتولید می‌کند. یک دریفت (Drift) کوچک در این کانتکست، نحوه‌ی شکستن وظیفه را تغییر می‌دهد و تمام لایه‌های زیرین نیز با حسن نیت روی همان نسخه‌ی منحرف‌شده کار می‌کنند. در این درس سه حالت‌ شکست (Failure modes) معرفی شده که این اتفاق، نمونه‌ی اول است:

حالت شکست سازوکار وقوع
خطای تخصیص وظیفه مدیر در شکستن وظیفه دچار توهم می‌شود و کار را به branch اشتباه می‌فرستد
برداشت نادرست از خروجی مدیر میانی عبارت «امکان تأیید ادعای X وجود ندارد» را برمی‌گرداند، اما مدیر بالا‌دستی «ادعای X تأیید نشد» را گزارش می‌کند؛ در نتیجه معنا در هر سطح دچار انحراف می‌شود
حلقه‌ی توافق (Consensus loop) دو مدیر میانی اختلاف‌نظر دارند، مدیر ارشد از آن‌ها می‌خواهد مصالحه کنند، آن‌ها کار را دوباره ارجاع می‌دهند، کارگرها مجدداً اجرا می‌کنند و این چرخه تا رسیدن به سقف گام‌ها تکرار می‌شود

ردگیری محاسبات

  1. لاگ تفکیک وظیفه‌ی مدیر ارشد را بخوانید: برچسب branch به جای «حقوقی»، کلمه‌ی «مالی» ثبت شده است.
  2. ورودی مدیر میانی را بررسی کنید: این مدیر یک وظیفه‌ی مالی دریافت کرده و هیچ راهی نداشته تا بفهمد این وظیفه اشتباه است.
  3. متن خروجی نهایی را بخوانید: به یافته‌های مالی ارجاع می‌دهد و اثری از پرسش حقوقی اولیه در آن نیست.

تنها با مقایسه‌ی مستقیم پرسش اولیه با آن‌چه تحویل داده شده، می‌توان ریشه‌ی مشکل را فهمید.

تغییرات در طراحی سیستم

  • محدود کردن عمق به 2 سطح. ساختار سه سطحی بخش عمده‌ی خطاها را از چشم مشاهده‌پذیری (Observability) پنهان می‌کند.
  • منشأ و سندیت در تمام جمع‌بندی‌ها. خلاصه‌ی هر گره باید به خروجی‌های برگ (Leaf outputs) استناد کند تا بتوان هر گزارشی را تا کارگرهایی که آن را نوشته‌اند ردگیری کرد.
  • هشدار برای انحراف در شکستن کار (Decomposition Drift). نحوه‌ی تفکیک وظیفه توسط مدیر را در هر گام لاگ کنید و با پرسش کاربر بسنجید. اگر بخش‌های تفکیک‌شده دیگر پرسش اصلی را پوشش ندهند، پیش از شروع به کار کارگرها هشدار دهید.
  • یک کارگر کاناری به ازای هر مدیر میانی. همیشه پرسش اصلی کاربر را بدون تغییر به یک کارگر بدهید. اگر پاسخ کارگر کاناری با پاسخ ترکیب‌شده هم‌خوانی نداشت، مدیر باید فرآیند را متوقف و موضوع را ارجاع (Escalate) کند، نه این‌که خروجی‌ها را merge کند.
  • بودجه‌ی مشخص برای حلقه‌ی حل اختلاف و توافق (Reconciliation Loop). تعداد دورهای بازنگری را پیش از آن‌که مدیر ارشد ناچار به commit شود، محدود کنید؛ معمولاً 2 دور کافی است.

سؤال تعیین‌کننده

پیش از تصمیم‌گیری برای حفظ ساختار سلسله‌مراتبی، از خود بپرسید: آیا این وظیفه خرده‌تیم‌های مستقل دارد یا صرفاً یک جریان کاری (Flow) خطی است که ظاهر درختی پیدا کرده؟ بررسی قرارداد با دو branch حقوقی و مهندسی، یک ساختار درختی واقعی است. اما کاری که گام دوم آن به گام اول نیاز دارد، یک پایپ‌لاین (Pipeline) است و اجرای متوالی در آن عملکرد بهتری نسبت به معماری سلسله‌مراتبی (Hierarchical Architecture) دارد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: خطا چند سطح را طی کرد تا خروجی نهایی از پرسش اصلی فاصله گرفت؟ پاسخ مورد انتظار: یک سطح؛ چون برچسب‌گذاری اشتباه در همان سطح بالا رخ داد و لایه‌های پایینی وظیفه را موبه‌مو اجرا کردند؛ به همین دلیل سقف عمق سیستم باید روی 2 تنظیم شود.
  • سطح 3: اگر پاسخ کارگر کاناری با پاسخ نهایی ادغام‌شده تفاوت داشته باشد، مدیر چه می‌کند؟ پاسخ مورد انتظار: باید کار را متوقف کند، هر دو پاسخ را همراه با منشأ و سندیت ثبت کند و موضوع را به انسان ارجاع دهد یا وظایف را دوباره بشکند؛ نباید تحت هیچ شرایطی این دو را merge کند.
  • سطح 4: چگونه انحراف معنایی را میان لایه‌های مختلف شناسایی می‌کنید؟ پاسخ مورد انتظار: خلاصه‌ی هر گره را با خروجی‌های برگ استنادشده مقایسه کنید و اگر در خلاصه، بار معنایی گزاره تغییر کرده بود (مثلاً «تأییدنشده» به «نادرست» تبدیل شد)، آن را نشانه‌گذاری کنید.
  • سطح 4: اگر حلقه‌ی حل اختلاف مداوم به سقف گام‌های خود برسد، نشانه‌ی چیست؟ پاسخ مورد انتظار: این سقف گام اکنون به هایپرپارامتری تبدیل شده که یک اختلاف واقعی را پنهان می‌کند؛ یعنی یا تفکیک وظیفه اشتباه بوده یا پرسش پاسخ یکتایی ندارد و مدیر ارشد باید خودِ این اختلاف‌نظر را گزارش کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «لایه‌ی چهارمی برای نظارت بر لایه‌ی سوم اضافه کنید.» افزایش سطوح، خطاهای بیشتری را از دید ابزارهای مشاهده‌پذیری پنهان می‌کند. راهکار اصلی، کاهش سطوح و ثبت منشأ و سندیت است.
  • «به مدیر میانی بگویید کاری را که دریافت می‌کند دوباره بررسی کند.» مدیر میانی اصلاً به پرسش اولیه دسترسی نداشته است؛ کارگر کاناری سازوکاری است که این دسترسی را برایش فراهم می‌کند.
  • «برای مدیر ارشد از مدل بزرگ‌تری استفاده کنید.» یک مدل بزرگ‌تر هم ساختار را در هر نوبت گفت‌وگو بر اساس کانتکست بازتولید می‌کند؛ این برچسب‌گذاری نادرست نتیجه‌ی دریفت در کانتکست است، نه ضعف در توانایی مدل.

کجای دوره آموزش داده می‌شود

در درس معماری سلسله‌مراتبی مسیر ایدئال (Happy path) در برابر مسیر با برچسب‌گذاری اشتباه بررسی شده و راهکارهای محافظتی آن فهرست شده‌اند.