سؤال مصاحبه

تعیین معیار موفقیت پیش از ثبت اولین نتیجه

Set the success metric before the first result exists

  • سطح ۲: میانی
  • طراحی
  • ۱۰ دقیقه

از تجربه‌ای بگویید که در آن، نحوه‌ی قضاوت درباره‌ی یک پروژه را قبل از رسیدن به هرگونه نتیجه‌ای مشخص کردید. چه مواردی را مکتوب کردید و از موکول کردن چه چیزهایی به بعد سر باز زدید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

کار را از هدف شروع می‌کنم، پرسش‌های برآمده از آن را استخراج می‌کنم و تنها پس از آن، سراغ کوچک‌ترین معیارهایی می‌روم که پاسخ‌گوی آن پرسش‌ها باشند. برای هر معیار، پیش از مشاهده‌ی هر مقداری، یک جهت، آستانه (Threshold)، بازه، منبع و جامعه‌ی آماری تعریف می‌شود و هر معیار برآیند در کنار یک گاردریل (Guardrail) و یک معیار خنثی‌کننده (Counter-metric) قرار می‌گیرد. همچنین شرایط قبولی، رد و وضعیت مبهم را از پیش می‌نویسم؛ زیرا تیمی که اول نتیجه را ببیند، برای دفاع از کد پیاده‌سازی‌شده ناخودآگاه آستانه را جابه‌جا می‌کند.

پاسخ کامل

هدف، پرسش، معیار

در یک ابزار مدیریت رخداد، هدفْ کاهش زمان شناسایی سرویس آسیب‌دیده بدون دامن زدن به اقدامات ناامن بود. در پی آن، پرسش‌ها شکل گرفتند: سرویس درست با چه سرعتی پیدا می‌شود؟ با چه بسامدی درست تشخیص داده می‌شود؟ آیا فرایند عیب‌یابی صرفاً در حالت فقط‌خواندنی باقی می‌ماند؟ و آیا این جریان کاری (Workflow) باعث نادیده گرفتن هشدارها یا افزایش بار کاری اپراتور می‌شود؟ این معیارها بودند که به هر پرسش جنبه‌ی عملیاتی بخشیدند.

هر معیار به یک قرارداد نیاز دارد

فیلد مثال
نام میانه‌ی ثانیه‌های شناسایی
جهت حداکثر
آستانه 120
بازه ده بازپخش رخداد (Incident replay)
منبع لاگ رویدادهای (Event Log) بازپخش
جامعه‌ی آماری مهندسان نوبت پاسخگویی (آنکال) در نسخه‌ی پایلوت
نوع برآیند یا گاردریل

بدون منبع و بازه، هیچ عددی بازتولیدپذیر نیست. بدون آستانه هم نمی‌تواند مبنای تصمیم‌گیری قرار گیرد.

سه دسته‌ی معیارها

  • برآیند: آیا وضعیت مطلوب بهبود یافته است؟
  • گاردریل: آیا قید ثابت، پابرجا مانده است؟
  • معیار خنثی‌کننده: آیا دستاورد محلی، هزینه یا آسیبی به جای دیگری منتقل کرده است؟

سرعت به‌تنهایی کافی نیست. صحت، عدم نوشتن در محیط عملیاتی (Production)، بار کاری اپراتور و هشدارهای ازدست‌رفته مانع از پذیرش خروجی‌های سریع اما ناامن می‌شوند. برنامه‌ای که گاردریل نداشته باشد، حتی اگر معیارهای برآیند آن کامل به نظر برسند، نامعتبر است.

پیش از اندازه‌گیری، تصمیم بگیرید

نمونه‌ی ارائه‌شده در درس: قبولی زمانی است که نرخ سرویس درست حداقل 0.9 و میانه‌ی زمان حداکثر 120 ثانیه باشد؛ در صورت هرگونه نوشتن داده در محیط عملیاتی یا ثبت نرخ درستی زیر 0.75، نتیجه مردود است؛ اگر بهبود جزئی با واریانس بالا همراه باشد، وضعیت مبهم است و به یک مجموعه‌ی بازپخش (Replay set) بزرگ‌تر نیاز دارد. نرخ درستی پایدار بین 0.75 و 0.9 با هیچ‌یک از این سه قاعده هم‌خوانی ندارد؛ بنابراین پیش از بازپخش، برای این حالت هم قاعده‌ای می‌نویسم: این نتیجه قبول نمی‌شود و آزمایش بعدی را مشخص می‌کند. بازپخش آفلاین، تکرارپذیری و پوشش حالت‌های خاص را به همراه دارد. یک نسخه‌ی پایلوت (Pilot) محدود نیز رفتار واقعی و اعتماد ایجاد می‌کند. من از کم‌هزینه‌ترین شواهد (Evidence) برای پاسخ به تصمیم فعلی استفاده می‌کنم و هرگز کاربران واقعی را صرفاً به این دلیل که کد آماده است، در معرض سیستم قرار نمی‌دهم.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: معیاری داریم که جمع‌آوری‌اش آسان است اما تغییری در تصمیم نهایی ایجاد نمی‌کند. با آن چه می‌کنید؟ پاسخ مورد انتظار: حذفش کنید؛ اندازه‌گیری برای پاسخ به یک تصمیم است، نه تزیین داشبورد.
  • سطح 2: یک معیار خنثی‌کننده برای ابزار مدیریت رخداد مثال بزنید. پاسخ مورد انتظار: زمان بررسی اضافه‌شده برای مدیر رخداد، یا ارجاعاتی که به تیم دیگری منتقل شده‌اند.
  • سطح 3: معیار برآیند قبول شده اما گاردریل رد شده است. حکم ارزیابی (Verdict) چیست؟ پاسخ مورد انتظار: رد؛ نقض یک قید ثابت یعنی به نتیجه‌ی مطلوب نرسیده‌ایم.
  • سطح 3: نتایج به دست آمده مبهم هستند. از قبل برای این حالت چه چیزی نوشته شده بود؟ پاسخ مورد انتظار: گام بعدی، مانند اجرای یک مجموعه‌ی بازپخش بزرگ‌تر، که پیش از دیدن نتیجه مشخص شده است تا بعداً کسی سر آستانه چانه‌زنی نکند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «معیار را بعد از اینکه دیدیم سیستم چه توانایی‌هایی دارد انتخاب کنید.» در این صورت، آستانه برای محافظت از کد جابه‌جا می‌شود و عملاً اندازه‌گیری هیچ تصمیمی نمی‌گیرد.
  • «یک معیار برآیند خوب کافی است.» بدون گاردریل، نتایج سریع اما ناامن هم تأیید می‌شوند.
  • «چون پیاده‌سازی تمام شده، یک پایلوت زنده راه بیندازید.» آماده بودن کد دلیلی برای درگیر کردن کاربران نیست؛ همیشه اولویت با کم‌هزینه‌ترین شواهدی است که به تصمیم پاسخ می‌دهند.

کجای دوره آموزش داده می‌شود

درس معیارهای موفقیت به قرارداد معیار، سه دسته‌ی معیارها و قاعده‌ی تصمیم‌گیری پیش از اندازه‌گیری می‌پردازد.