سؤال مصاحبه

انتخاب پشته‌ی مشاهده‌پذیری بدون قفل‌شدن روی یک ارائه‌دهنده

Pick an observability stack without locking in

  • سطح ۳: ارشد
  • بده‌بستان
  • ۱۲ دقیقه

تیم شما باید برای سرویس مدل جدیدی، یک پشته‌ی مشاهده‌پذیری (observability stack) انتخاب کند. نیمی از تیم پلتفرمی همه‌فن‌حریف شامل ارزیابی‌ها، نسخه‌های پرامپت و بازپخش نشست‌ها می‌خواهد. نیم دیگر، به‌دنبال یک گیت‌وی (gateway) سبک است که صرفاً همه‌ی فراخوانی‌ها را ثبت کند و بس. چطور تصمیم می‌گیرید و کدام الگو جلوی این انتخاب اجباری را می‌گیرد؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

بر اساس چهار محور تصمیم بگیرید: فریم‌ورکی که استفاده می‌کنید، مجوزی که برایتان قابل‌قبول است، بودجه، و این‌که آیا میزبانی شخصی (self-host) الزامی است یا خیر. پلتفرم توسعه‌ی یکپارچه به درد تیمی می‌خورد که مدام روی پرامپت‌ها آزمون‌وخطا می‌کند و به ارزیابی‌های متصل به ردگیری محاسبات نیاز دارد. گیت‌وی یا ابزار تله‌متری مناسب تیمی است که به ابزارسازی (instrumentation) قابل‌حمل و مستقل از فریم‌ورک نیاز دارد. الگویی که جلوی این انتخاب اجباری را می‌گیرد، ارسال اسپن‌های OpenTelemetry با قراردادهای GenAI از هر فراخوانی و فرستادن آن‌ها به چند مقصد است: یک گیت‌وی برای کارهای روزمره، یک پلتفرم ارزیابی برای بررسی پسرفت‌ها (regressions)، و یک آرشیو برای تحلیل‌های بلندمدت.

پاسخ کامل

دو دسته‌ی ابزار

پلتفرم‌های توسعه، مشاهده‌پذیری را با ارزیابی‌ها، مدیریت پرامپت، نسخه‌بندی دیتاست و بازپخش نشست یکپارچه می‌کنند. در این پلتفرم‌ها آزمایش‌ها را اجرا می‌کنید، پرامپت‌ها را با هم می‌سنجید و پرامپت جدید را در برابر نمونه‌های برنده‌ی قبلی آزمون رگرسیون می‌کنید. در مقابل، ابزارهای گیت‌وی و تله‌متری فقط پرامپت، پاسخ، توکن‌ها، تاخیر، مدل و هزینه را ثبت می‌کنند و فراتر از آن نمی‌روند.

چهار محور

محور پرسش
پشته (stack) یک فریم‌ورک واحد، SDK خام، یا چند ارائه‌دهنده
مجوز (license) فقط متن‌باز، مجوز منبع‌دردسترس، یا تجاری
بودجه (budget) پلن رایگان، پلن تیمی، یا قرارداد سازمانی
میزبانی شخصی (self-host) الزامی، مطلوب، یا اصلاً

دام اصلی

پیاده‌سازی ابزارسازی درون فریم‌ورک ایجنت، ردگیری محاسبات را به همان فریم‌ورک وابسته و مقید می‌کند. ابزارسازی در لایه‌ی HTTP یا SDK قابل‌حمل است؛ بنابراین با تغییر فریم‌ورک یا اضافه‌کردن فریم‌ورک دوم، تاریخچه‌ی داده‌ها از دست نمی‌رود.

الگوی چسب (The glue pattern)

  1. برای هر فراخوانی مدل، اسپن‌های OpenTelemetry را طبق قراردادهای GenAI تولید کنید.
  2. آن‌ها را برای پایش روزمره به یک گیت‌وی یا ابزار تله‌متری هدایت کنید.
  3. یک نسخه را برای بررسی پسرفت‌ها به پلتفرم ارزیابی بفرستید.
  4. آن‌ها را برای تحلیل‌های بلندمدت در یک دریاچه‌ی داده (data lake) آرشیو کنید.

هر ابزاری که این قراردادها را پشتیبانی کند، می‌تواند همان اسپن‌ها را بخواند؛ بنابراین انتخاب پشته صرفاً یک تصمیم در لایه‌ی مسیریابی است، نه بازنویسی کد.

مواردی که در هر دو حالت باید بر آن‌ها اصرار کنید

  • اتصال نسخه‌های پرامپت به ردگیری محاسبات. وقتی محیط عملیاتی دچار پسرفت می‌شود، باید بتوانید با روش تنصیف (bisect) دقیقاً مشخص کنید کدام تغییر پرامپت عامل آن بوده است.
  • استراتژی ارزیابی. ردگیری محاسبات بدون ارزیابی، چیزی جز لاگ‌برداری پرهزینه نیست.
  • سیاست نمونه‌برداری (sampling) در مقیاس‌های بالا؛ چرا که نگهداری کامل همه‌ی داده‌ها در حجم زیاد، از خود فراخوانی‌هایی که ثبت می‌کند گران‌تر تمام می‌شود.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا ابزارسازی در لایه‌ی SDK بهتر از انجام آن درون فریم‌ورک است؟ پاسخ مورد انتظار: هوک‌های فریم‌ورک شما را به آن وابسته می‌کنند. در حالی که لایه‌ی SDK با تغییر فریم‌ورک یا افزودن فریم‌ورک دوم همچنان کار می‌کند.
  • سطح 3: اگر نسخه‌های پرامپت به ردگیری محاسبات متصل نباشند چه مشکلی پیش می‌آید؟ پاسخ مورد انتظار: هنگام بروز پسرفت در محیط عملیاتی، نمی‌توانید با روش تنصیف نقطه‌ی دقیق تغییر پرامپتِ ایجادکننده‌ی مشکل را پیدا کنید.
  • سطح 4: شما اسپن‌های یکسانی را به دو مقصد (backend) ارسال می‌کنید. چه چیزهایی را بررسی می‌کنید تا مطمئن شوید داده‌هایشان هم‌خوان هستند؟ پاسخ مورد انتظار: یکسان بودن نسخه‌ی قراردادها، قوانین نمونه‌برداری یکسان روی هر دو خروجی‌گیر، و یک منبع حقیقت واحد برای محاسبه‌ی هزینه‌ها تا در دو داشبورد دو رقم صورت‌حساب متفاوت نبینید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «ابزاری را انتخاب کنید که بیشترین قابلیت‌ها را دارد.» قابلیت‌هایی که استفاده نمی‌کنید فقط هزینه دارند و شما را وابسته می‌کنند. بر اساس پشته، مجوز، بودجه و شرایط میزبانی انتخاب کنید.
  • «ردگیری محاسبات کافی است، ارزیابی را می‌توان بعداً اضافه کرد.» ردگیری محاسبات بدون ارزیابی، لاگ‌هایی گران‌قیمت هستند. پسرفت در لابه‌لای آن‌ها مخفی می‌ماند تا زمانی که کاربر آن را گزارش کند.
  • «چون گیت‌وی همه‌ی فراخوانی‌ها را ثبت می‌کند، نیازی به پلتفرم نیست.» یک پراکسی فقط فراخوانی‌ها را می‌بیند، نه مراحل ایجنت یا نشست‌ها را. در نتیجه، ردگیری‌های چندمرحله‌ایِ لازم برای ریشه‌یابی پسرفت ایجنت را ثبت نمی‌کند.

کجای دوره آموزش داده می‌شود

درس پشته‌ی مشاهده‌پذیری این دو دسته، چهار محور و الگوی چسب را آموزش می‌دهد، و درس مشاهده‌پذیری ایجنت‌ها درباره‌ی عواقب ردگیری محاسبات بدون ارزیابی هشدار می‌دهد.