سؤال مصاحبه

بازنگری یک اسپن از branch جدید ابزار دقیق

Review one span from a new instrumentation branch

  • سطح ۳: ارشد
  • کدخوانی
  • ۱۲ دقیقه

یکی از همکارانتان یک درخواست بازنگری باز کرده که قابلیت ردگیری محاسبات (tracing) را به ایجنت (agent) اضافه می‌کند. این branch به ازای هر فراخوانی مدل، چنین اسپن (span) ثبت می‌کند. پیش از تأیید، تک‌تک مشکلاتی را که پیدا می‌کنید فهرست کنید.

{
  "traceId": "abcdefabcdefabcdefabcdefabcdefab",
  "spanId": "abcdefabcdefabcd",
  "parentSpanId": "",
  "name": "chat",
  "kind": "INTERNAL",
  "attributes": {
    "gen_ai.operation.name": "chat",
    "gen_ai.request.model": "our_smart_model",
    "gen_ai.usage.prompt_tokens": 500,
    "gen_ai.content.prompt": "You are a support agent. The customer's card number is ..."
  }
}

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

این اسپن فراخوانی مدل را از نوع INTERNAL علامت زده، والد (parent) ندارد و از نام صفت قدیمی برای توکن‌های ورودی استفاده می‌کند. همچنین نام سرویس‌دهنده (provider)، توکن‌های خروجی، مدل پاسخ و شناسه‌ی پاسخ را جا انداخته و متن پرامپت (prompt) را همراه با یک شماره کارت، مستقیماً داخل تریس نوشته است. نوع اسپن و ارتباط با والد را اصلاح کنید، نام‌های فعلی صفت‌ها را به‌کار ببرید، صفت‌های جاافتاده را اضافه کنید و محتوا را از درون اسپن بیرون ببرید.

پاسخ کامل

مشکلات، به ترتیب میزان آسیب

خط مشکل راه‌حل
parentSpanId: "" اسپن بدون والد (یتیم)؛ هیچ بک‌اندی نمی‌تواند نشان دهد کدام گام ایجنت این فراخوانی را انجام داده است بافتار (context) والد را از اسپن invoke_agent منتقل کنید
kind: INTERNAL فراخوانی مدل از مرز فرایند (process) عبور می‌کند CLIENT
gen_ai.content.prompt متن پرامپت حاوی داده‌های مشتری در مخزنی ذخیره می‌شود که اپراتورها به آن دسترسی دارند ثبت محتوا باید به‌طور پیش‌فرض خاموش باشد؛ محتوا را بیرون از اسپن ذخیره کنید و یک شناسه‌ی ارجاع روی اسپن بگذارید
gen_ai.usage.prompt_tokens نام صفت تغییر کرده است؛ بک‌اندها gen_ai.usage.input_tokens را می‌خوانند از نام فعلی استفاده کنید و gen_ai.usage.output_tokens را بیفزایید
نبود gen_ai.provider.name داشبوردهای هزینه و خطا نمی‌توانند تفکیک بر اساس سرویس‌دهنده را انجام دهند آن را روی تمام اسپن‌های مدل تنظیم کنید
نبود gen_ai.response.model با وجود مسیریابی (routing)، مدلی که سرویس داده ممکن است با نام مستعار درخواستی تفاوت داشته باشد همان مدلی را ثبت کنید که سرویس‌دهنده برگردانده است
نبود gen_ai.response.id هیچ راهی برای تطبیق اسپن با لاگ اختصاصی سرویس‌دهنده وجود ندارد شناسه‌ی پاسخ را ثبت کنید

چرا خطِ محتوا مهم‌ترین موردی است که باید سر آن ایستادگی کرد؟

طبق قراردادها، ابزار دقیق نباید ورودی‌ها و خروجی‌ها را به‌طور پیش‌فرض ثبت کند. ثبت محتوا باید اختیاری (opt-in) و از طریق متغیر محیطی باشد؛ الگوی محیط عملیاتی (production) هم این است که محتوا را در مخزن لاگ اختصاصی خودتان ذخیره کنید و فقط یک اشاره‌گر روی اسپن بگذارید. وجود پرامپتی حاوی شماره کارت در بک‌اند ردگیری محاسبات، یک نشت داده با سیاست نگهداری‌ای است که شما تعیینش نکرده‌اید.

چرا مشکل صفت تغییرنام‌یافته دوباره برمی‌گردد؟

قراردادهای GenAI هنوز در دست توسعه علامت خورده‌اند و پیش از این هم نام صفت‌ها تغییر کرده است. نسخه‌ی قراردادهای مورد استفاده را قفل (pin) کنید، متغیر اختیاری‌سازی پایداری (Stability Opt-In) را تنظیم کنید و تستی برای نام صفت‌های اسپن‌های ارسالی بنویسید؛ وگرنه با ارتقای بعدی SDK، دوباره همین بازنگری پیش رویتان باز می‌شود.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا خالی بودن والد مهم‌تر از نوع نامناسب اسپن است؟ پاسخ مورد انتظار: بدون والد، اسپن یتیم می‌شود، تریس دیگر ساختار درختی نخواهد داشت و نمی‌توانید ببینید کدام گام این فراخوانی را انجام داده است.
  • سطح 3: تیم برای عیب‌یابی خطاها به متن پرامپت نیاز دارد. چه پیشنهادی می‌دهید؟ پاسخ مورد انتظار: پرامپت‌ها را در مخزنی مجزا با کنترل دسترسی ذخیره کنید و یک شناسه‌ی ارجاع داخل اسپن بگذارید؛ این همان الگویی است که قراردادها برای محیط عملیاتی توصیه می‌کنند.
  • سطح 4: چطور مانع از بازگشت نام صفت قدیمی پس از ارتقا شویم؟ پاسخ مورد انتظار: نسخه‌ی قراردادها را قفل کنید، متغیر اختیاری‌سازی پایداری را تنظیم کنید و تستی بیفزایید که نام صفت‌ها را روی اسپن‌های ارسالی اعتبارسنجی کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «شناسه‌ی ردگیری (Trace ID) و نام مدل دارد، پس مشکلی نیست.» شناسه‌ی ردگیری به‌تنهایی اسپن را به والدش وصل نمی‌کند، و نام مدل بدون سرویس‌دهنده قابل‌انتساب نیست.
  • «پرامپت را داخل اسپن نگه دارید، به‌دردبخور است.» پرامپت‌ها داده‌های فردی و محرمانه را به مخزنی می‌برند که اپراتورها می‌خوانند. حالت پیش‌فرض باید خاموش باشد و محیط عملیاتی محتوا را خارج از اسپن ذخیره می‌کند.
  • «این دو نام برای توکن مترادف یکدیگرند.» بک‌اندها نام فعلی را می‌خوانند. نام قدیمی در قالب یک صفت ناشناخته ذخیره می‌شود و داشبورد توکن‌ها هیچ‌چیز نشان نمی‌دهد.

کجای دوره آموزش داده می‌شود

درس OpenTelemetry GenAI صفت‌های ضروری را فهرست می‌کند، درس قراردادها قاعده‌ی ثبت محتوا را ارائه می‌دهد، و درس تریس‌ها در پروژه‌ی پایانی به تغییر نام صفت توکن اشاره دارد.