سؤال مصاحبه

ماندگاری ردگیری محاسبات وقتی هزینه‌ی ثبت آن‌ها از خود مدل بیشتر می‌شود

Trace retention when traces cost more than the model

  • سطح ۲: میانی
  • طراحی
  • ۱۰ دقیقه

سرویس شما روزانه بیش از یک میلیون بار مدل را فراخوانی می‌کند. حالا دیگر هزینه‌ی نگهداری تمام اطلاعات ردگیری محاسبات (trace) از هزینه‌ی خود فراخوانی‌های مدل فراتر رفته است. یک سیاست ماندگاری داده (retention policy) طراحی کنید که فقط ردگیری‌های لازم برای بررسی حوادث را نگه دارد و بقیه را دور بریزد.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

نمونه‌برداری را بر اساس قاعده انجام دهید، نه با یک نرخ ثابت. تمام ردگیری‌های دارای خطا و ردگیری‌های پرهزینه را نگه دارید، سهم کوچکی از درخواست‌های موفق را ذخیره کنید و داده‌های تجمیعی (aggregates) را همیشه نگه دارید. این تصمیم‌گیری را در جمع‌آوری‌کننده (collector) و با یک نمونه‌گیر انتهایی (tail sampler) پس از پایان کار ردگیری انجام دهید؛ به این ترتیب قاعده می‌تواند وضعیت و هزینه را بررسی کند. در پروژه‌ی نهایی، تمام ردگیری‌های دارای خطا و 10 درصد از موارد موفق نگه داشته می‌شوند.

پاسخ کامل

چرا نرخ نمونه‌برداری ثابت جواب نمی‌دهد؟

یک نرخ ثابت 5 درصدی یعنی فقط 5 درصد از خطاها هم ذخیره می‌شوند. همان ردگیری‌ای که هنگام وقوع حادثه به آن نیاز دارید دقیقاً همان موردی است که دور ریخته‌اید، و تعداد کل خطاهای تجمیعی هم صرفاً به شما می‌گوید که چنین خطایی وجود داشته است.

قواعد

دسته میزان نگهداری
ردگیری‌های دارای خطا همه‌ی آن‌ها
ردگیری‌های پرهزینه، خروجی‌های طولانی یا مدل‌های گران‌قیمت همه‌ی آن‌ها
موارد موفق 5 تا 10 درصد
داده‌های تجمیعی همیشه، از تک‌تک درخواست‌ها

در درس مشاهده‌پذیری (observability)، این قاعده به‌صورت نگهداری 100 درصدی خطاها، 100 درصدی موارد پرهزینه و 5 درصدی درخواست‌های موفق بیان شده است. داده‌های تجمیعی نیازی به ردگیری کامل ندارند؛ شمارنده‌ها و هیستوگرام‌ها همه‌ی درخواست‌ها را می‌شمارند، حتی اگر ردگیری محاسبات آن درخواست دور ریخته شود.

تصمیم‌گیری در انتها

نمونه‌برداری در هد (head sampling) همان ابتدای شروع ردگیری محاسبات تصمیم می‌گیرد؛ یعنی زمانی که هنوز هیچ بخشی از سیستم نمی‌داند درخواست شکست می‌خورد یا نه. اما نمونه‌گیری انتهایی در جمع‌آوری‌کننده پس از پایان ردگیری تصمیم می‌گیرد، بنابراین می‌تواند به وضعیت، هزینه و امتیاز ارزیابی دسترسی داشته باشد. بهای این کار، مصرف حافظه‌ی بافر در جمع‌آوری‌کننده است؛ زیرا ردگیری‌ها باید تا زمان تصمیم‌گیری، کامل در حافظه منتظر بمانند.

دسته‌بندی لایه‌ای و شناخت تورش

در تمرین پروژه‌ی نهایی، تمام ردگیری‌هایی که امتیاز سمیت (toxicity score) بالای 0.5 دارند به همراه یک نمونه‌ی تصادفیِ لایه‌ایِ (stratified) 10 درصدی از بقیه‌ی موارد نگه داشته می‌شوند و از شما می‌خواهد تورش (bias) ناشی از این نمونه‌برداری را اندازه بگیرید. هر تحلیلی روی ردگیری‌های نمونه‌برداری‌شده، وزن دسته‌هایی را که به‌طور کامل نگه داشته‌اید بیش از واقعیت نشان می‌دهد. برای حل این مشکل، وزن داده‌ها را بر اساس معکوس نرخ نمونه‌برداری (sampling rate) تنظیم کنید، یا ارزیابی‌های مربوط به هر ردگیری را فقط روی همان بخش نمونه‌برداری‌شده‌ی لایه‌ای اجرا کنید.

لایه‌بندی فضای ذخیره‌سازی

اسپن‌ها (span) برای کوئری‌زدن به یک پایگاه داده‌ی ستونی منتقل می‌شوند و رویدادهای خام برای دنباله‌ی طولانی (long tail) به فضای ذخیره‌سازی شیءمحور (object storage) می‌روند. این آرشیو ارزان‌قیمت است و تحلیل‌های بلندمدت در آنجا انجام می‌شوند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا نمونه‌برداری در هد خطاها را از دست می‌دهد؟ پاسخ مورد انتظار: چون پیش از پایان اسپن تصمیم می‌گیرد و نمی‌تواند وضعیت نهایی را ببیند.
  • سطح 2: از ردگیری دور ریخته‌شده چه چیزی باقی می‌ماند؟ پاسخ مورد انتظار: متریک‌ها. شمارنده‌ها و هیستوگرام‌ها همه‌ی درخواست‌ها را ثبت می‌کنند، چه ردگیری آن‌ها نگهداری شود و چه نشود.
  • سطح 3: جاب‌های ارزیابی شما روی ردگیری‌های نمونه‌برداری‌شده اجرا می‌شوند. چه تورشی به آن‌ها منتقل می‌شود؟ پاسخ مورد انتظار: نمونه‌ای که تمام خطاها را نگه می‌دارد، وزن شکست‌ها را بیش از حد بالا می‌برد؛ بنابراین باید وزن‌ها را با معکوس نرخ نمونه‌برداری تعدیل کرد یا ارزیابی را تنها روی بخش لایه‌ای انجام داد.
  • سطح 3: جمع‌آوری‌کننده در ترافیک لحظه‌ای شدید با کمبود حافظه مواجه می‌شود. علت چیست و چه تغییری می‌دهید؟ پاسخ مورد انتظار: نمونه‌گیری انتهایی کل ردگیری‌ها را تا زمان پایان کار در بافر نگه می‌دارد. باید برای بافر سقف مشخص کرد، زمان انتظار برای تصمیم‌گیری را کاهش داد و زیر فشار شدید بار کاری، با یک قاعده‌ی مبتنی بر هد بخشی از بار را حذف کرد (shedding).
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «از همه‌چیز 5 درصد نمونه بردارید.» این کار باعث می‌شود بیشتر خطاهایی که در زمان وقوع حادثه به آن‌ها نیاز دارید از دست بروند و داده‌های تجمیعی هم صرفاً وقوع آن‌ها را نشان می‌دهند.
  • «همه را یک هفته نگه دارید، بعد پاک کنید.» نگهداری ردگیری‌های کامل یک هفته در چنین حجمی از ترافیک، دقیقاً همان هزینه‌ای است که می‌خواهید حذفش کنید.
  • «ردگیری‌ها کافی هستند، متریک‌ها را کنار بگذارید.» محاسبه‌ی صدک در یک بازه‌ی یک‌ساعته به تک‌تک درخواست‌ها نیاز دارد؛ چیزی که فقط یک هیستوگرام در اختیارتان می‌گذارد.

کجای دوره آموزش داده می‌شود

قواعد نمونه‌برداری در درس پشته‌ی مشاهده‌پذیری بیان شده و پیکربندی نمونه‌گیر انتهایی به همراه اندازه‌گیری تورش آن در پروژه‌ی نهایی داشبورد آمده است.