سؤال مصاحبه

تبدیل تله‌متری بی‌صاحب به یک چرخه‌ی یادگیری

Turn telemetry nobody owns into a learning loop

  • سطح ۴: استف
  • طراحی
  • ۱۵ دقیقه

تیمی را تحویل می‌گیرید که برای یک دستیار هوشمند، ردگیری محاسبات (traces)، امتیازهای ارزیابی، تیکت‌های پشتیبانی و لاگ‌های حوادث را جمع‌آوری می‌کند؛ اما هیچ‌کس نمی‌تواند حتی یک تغییر را نام ببرد که ناشی از این داده‌ها بوده باشد. سازوکاری طراحی کنید که این سیگنال‌ها را به بهبود تبدیل کند، و بگویید چطور مانع از تبدیل شدن آن به یک بَک‌لاگ بی‌پایان دیگر می‌شوید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

حلقه‌ی مفقوده، «ارتقا» (promotion) است: مسیری مشخص از یک مشاهده به یک تغییر ماندگار، همراه با مسئول و اثبات (proof). هر سیگنال به یک نتیجه، یک قید یا یک فرض متصل می‌شود، ریشه‌ی آن ردگیری شده و به اولین لایه‌ای هدایت می‌شود که مالک آن ریشه است؛ یعنی ارزیابی، کانتکست، خط‌مشی، محیط اجرا (runtime) یا یک آیتم ساختاریافته در بک‌لاگ. هر اقدام حاصل از این چرخه، یک مسئول واحد، اولویتی بر اساس پیامد و تکرار، دست‌سازه (artifact) هدف برای تغییر، اعتبارسنجی، بازه‌ی بازبینی و یک شرط بازنشستگی (retirement condition) دارد؛ بنابراین چرخه به‌جای انباشتن بی‌پایان قوانین، کنترل‌هایی تولید می‌کند که بعدها دوباره بازبینی می‌شوند.

پاسخ کامل

چرخه

  1. مشاهده‌ی یک سیگنال ملموس.
  2. اتصال آن به یک نتیجه، یک قید یا یک فرض.
  3. شناسایی اولین لایه‌ای از سیستم که مالک علت ریشه‌ای است.
  4. ایجاد یک تغییر با دامنه‌ی محدود.
  5. اعتبارسنجی اینکه احتمال تکرار خطا کمتر شده است.
  6. بازبینی اینکه آیا کنترل باید همچنان باقی بماند یا خیر.

مسیریابی به لایه‌ی مالک

سیگنال مقصد
مثبت کاذب، پس‌رفت (regression)، نتیجه‌ی نادرست ارزیابی یا تست
کانتکست ناقص، دوباره‌کاری، فکت منسوخ منبع کانتکست یا مسیر بازیابی (retrieval)
اقدام ناامن یا خلأ اختیارات خط‌مشی یا مرز دسترسی
اتمام مهلت زمانی (timeout)، طوفان تلاش مجدد (retry storm)، در دسترس نبودن وابستگی‌ها کنترل محیط اجرا
نیاز محصولی جدید یا مصالحه‌ی حل‌نشده آیتم ساختاریافته در بک‌لاگ

اتمام مهلت زمانی به محیط اجرا تعلق دارد، نه به بک‌لاگ عمومی؛ و پاسخ نادرست هم به یک تست تعلق دارد، نه اینکه یک پاراگراف دیگر به پرامپت تحمیل کند. علت ریشه‌ای باید در اولین لایه‌ی مؤثر برطرف شود.

مسئولیت، بخشی از کنترل است

بهبودی که مسئولی ندارد، فقط همان مشاهده است با ظاهری آراسته‌تر. هر اقدام، یک مسئول واحد، اولویتی مبتنی بر پیامد و تکرار، دست‌سازه‌ای برای تغییر، اعتبارسنجی اثبات‌کننده‌ی تغییر، بازه‌ی بازبینی یا انقضا، و یک شرط بازنشستگی دریافت می‌کند.

چرا این سازوکار یک بک‌لاگ نیست

بک‌لاگ آرزوها را نگه می‌دارد؛ اما چرخ‌دنده‌ی بازخورد (feedback ratchet) کنترل‌ها را همراه با اثبات و انقضا ذخیره می‌کند. کنترل‌ها در شرایط مشخصی بازبینی می‌شوند: وقتی معماری تغییر می‌کند، وقتی یک پایای (invariant) سطح پایین‌تر جایگزین یک دستورالعمل سطح بالاتر می‌شود، وقتی خطای هدف در طول بازه‌ی تعیین‌شده تکرار نشده است، یا وقتی کنترل بیش از آنکه جلوی آسیب را بگیرد، مانع کارهای موجه و عادی می‌شود. بازنشستگی هم درست مثل ایجاد کنترل، نیازمند شواهد (evidence) است.

معیارها چرخه را کامل می‌کنند

سیگنال‌ها فقط در مقایسه با معیارهایی معنا دارند که پیش از نتیجه تعریف شده‌اند: نتیجه، گاردریل (guardrail) و معیار خنثی‌کننده (counter-metric)، که هرکدام یک آستانه (threshold)، یک بازه و یک منبع دارند. سپس چرخ‌دنده‌ی بازخورد، چارچوب نتیجه (outcome frame)، فرضیات، برش داده‌ها یا برنامه‌ی سنجش را برای شواهد محصولی تغییر می‌دهد؛ و برای اصلاحات ایجنت کدنویسی، تست‌ها، کانتکست، دامنه (scope) یا تحویل وظیفه (handoff) را اصلاح می‌کند. حوادث می‌توانند هر دوی این بخش‌ها را تغییر دهند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: دو تیم به‌طور مشترک از دستیار استفاده می‌کنند و بر سر مصالحه‌ای که یک سیگنال آشکار کرده اختلاف‌نظر دارند. این مورد کجا می‌رود؟ پاسخ مورد انتظار: به یک آیتم ساختاریافته در بک‌لاگ با یک مسئول تصمیم‌گیری انسانی؛ چرخ‌دنده‌ی بازخورد به‌تنهایی اختلاف‌نظرهای محصولی را حل نمی‌کند.
  • سطح 4: اولویت‌بندی میان انبوهی از سیگنال‌ها چگونه انجام می‌شود؟ پاسخ مورد انتظار: با در نظر گرفتن توأم پیامد و تکرار؛ به‌گونه‌ای که یک رخداد واحد اما شدید و یک رخداد پرتکرار اما جزئی، هر دو بالاتر از یک رخداد کم‌تکرار و جزئی قرار بگیرند.
  • سطح 4: چه چیزی ثابت می‌کند این چرخه پس از یک فصل (quarter) درست کار کرده است؟ پاسخ مورد انتظار: کنترل‌های مشخصی که ردشان به سیگنال‌ها می‌رسد، نتایج اعتبارسنجی که نشان‌دهنده‌ی کاهش تکرار است، و مواردی که با ارائه‌ی شواهد بازنشسته شده‌اند؛ نه حجم داده‌های تله‌متریِ جمع‌آوری‌شده.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «یک داشبورد بسازید تا همه بتوانند سیگنال‌ها را ببینند.» شفافیت و دیده‌شدن بدون ارتقا و مالکیت، هیچ‌چیز را تغییر نمی‌دهد.
  • «هر درس آموخته‌شده را به پرامپت سیستم اضافه کنید.» متن پرامپت ضعیف‌ترین لایه است؛ مرز دسترسی می‌تواند اقدام ناامن را ناممکن کند، و یک تست می‌تواند جلوی انتشاری را بگیرد که همان خطا را تکرار می‌کند.
  • «هر کنترلی را برای همیشه نگه دارید چون با تلاش به‌دست آمده است.» کنترل‌ها فرسوده می‌شوند و تداخل پیدا می‌کنند؛ هر کنترل به یک شرط بازنشستگی و بازبینی دوره‌ای نیاز دارد.

کجای دوره آموزش داده می‌شود

درس چرخ‌دنده‌ی بازخورد جدول مسیریابی و فیلدهای مالکیت را ارائه می‌دهد، و درس معیارهای موفقیت به قرارداد معیارها می‌پردازد که سیگنال‌ها بر اساس آن سنجیده می‌شوند.