سؤال مصاحبه

صفر شدن داشبورد توکن‌ها پس از ارتقای SDK

The token dashboard reads zero after an SDK upgrade

  • سطح ۲: میانی
  • اشکال‌یابی
  • ۸ دقیقه

پس از یک ارتقای روتین در SDK ردگیری محاسبات (tracing SDK)، قاب‌های مصرف توکن برای تمام مدل‌ها عدد صفر را نشان می‌دهند؛ در حالی که قاب‌های تعداد درخواست‌ها و تاخیر کاملاً عادی به نظر می‌رسند. هیچ تغییر دیگری مستقر نشده است. اول کجا را بررسی می‌کنید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

نام اتریبیوت‌ها (ویژگی‌ها) را روی اسپن‌هایی که سرویس در حال حاضر ارسال می‌کند بررسی کنید. قراردادهای نام‌گذاری GenAI هنوز در وضعیت «در حال توسعه» هستند و پیش از این هم نام اتریبیوت‌ها تغییر کرده است: مثلاً شمارش توکن‌های ورودی از gen_ai.usage.prompt_tokens به gen_ai.usage.input_tokens تغییر یافته است. اگر SDK نام جدید را بفرستد و داشبورد نام قبلی را کوئری بزند، همه‌ی قاب‌های توکن صفر را نشان می‌دهند؛ در حالی که تعداد درخواست‌ها و تاخیر همچنان درست کار می‌کنند. نسخه‌ی قراردادهایی را که ارسال می‌کنید پین کنید و گزینه‌ی اختیاری‌سازی پایداری (stability opt-in) را فعال کنید تا نام‌ها ناگهان زیر پای شما تغییر نکنند.

پاسخ کامل

چرا فقط قاب‌های توکن از کار افتادند؟

تعداد درخواست‌ها از روی تعداد اسپن‌ها شمرده می‌شود و تاخیر نیز از زمان شروع و پایان اسپن به دست می‌آید. هیچ‌کدام از این دو به نام یک اتریبیوت وابسته نیستند. قاب توکن، مقادیر یک اتریبیوت خاص را بر اساس کلید آن جمع می‌زند. تغییر نام این کلید باعث می‌شود حاصل‌جمع صفر شود، بدون اینکه خطایی رخ دهد.

تأیید مشکل در یک دقیقه

یک اسپن خام مربوط به بعد از ارتقا و یک اسپن مربوط به قبل از آن را استخراج کنید. کلیدهای اتریبیوت‌ها را با هم مقایسه کنید. کلید قدیمی حذف شده و کلید جدید حاوی اعداد است.

دو راه‌حل به ترتیب

  1. کوئری‌های داشبورد را به کلید جدید تغییر دهید. در طول دوره‌ی گذار، هر دو کلید را با هم جمع بزنید تا داده‌های اسپن‌های قدیم و جدید هر دو نمایش داده شوند.
  2. جلوی تغییر ناخواسته‌ی نام‌ها را بگیرید: نسخه‌ی قراردادها را در بخش ارسال‌کننده پین کنید، متغیر OTEL_SEMCONV_STABILITY_OPT_IN را تنظیم کنید و در هر بار ارتقای SDK، نام‌ها را دوباره بررسی کنید.

جلوگیری از تکرار مشکل

تست‌های پروژه‌ی نهایی بررسی می‌کنند که اتریبیوت‌های استاندارد روی اسپن‌های ارسالی وجود داشته باشند. این تست‌ها را هنگام ارتقای هر وابستگی اجرا کنید. هشداری برای الگوی این رخداد تنظیم کنید: صفر شدن مجموع توکن‌ها در حالی که تعداد درخواست‌ها بالاتر از صفر است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا قاب‌های تعداد درخواست و تاخیر همچنان کار می‌کردند؟ پاسخ مورد انتظار: آن‌ها از تعداد اسپن‌ها و زمان‌بندی اسپن استفاده می‌کنند که وابسته به نام اتریبیوت نیست.
  • سطح 3: چطور تغییر نام بعدی را پیش از محیط عملیاتی شناسایی می‌کنید؟ پاسخ مورد انتظار: با تستی روی اسپن‌های ارسالی که وجود نام اتریبیوت‌های استاندارد را بررسی می‌کند و با هر ارتقای وابستگی‌ها اجرا می‌شود.
  • سطح 3: آیا داشبورد باید هر دو نام قدیم و جدید را بخواند؟ پاسخ مورد انتظار: بله، برای یک بازه‌ی زمانی گذار و به صورت حاصل‌جمع هر دو. سپس نام قدیمی را حذف کنید تا اگر در آینده پس‌رفتی رخ داد، قابل مشاهده بماند.
  • سطح 4: بک‌اند اتریبیوت‌ها را به اسکیمای اختصاصی خودش نگاشت (مپ) می‌کند؛ آیا این موضوع از شما محافظت می‌کند؟ پاسخ مورد انتظار: فقط در صورتی که این نگاشت از همان نسخه‌ی قراردادها پیروی کند. نگاشتی که برای نام قدیمی نوشته شده باشد باز هم همان خروجی صفر را خواهد داشت؛ بنابراین کل مسیر سرتاسری را تست کنید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «مدل‌ها گزارش مصرف را متوقف کرده‌اند.» پاسخ ارائه‌دهنده‌ها تغییری نکرده است؛ فرستنده‌ی اسپن تغییر کرده است.
  • «بک‌اند داده‌ها را حین ارتقا از دست داده است.» قاب‌های تاخیر نشان می‌دهند که اسپن‌ها می‌رسند. فقط یک اتریبیوت از دید کوئری غایب است.
  • «نسخه‌ی SDK را به قبل برگردانید و روی همان بمانید.» با پین کردن نسخه‌ی قراردادها و نوشتن تست، می‌توانید آگاهانه نسخه را ارتقا دهید، نه اینکه کلاً از ارتقا دست بکشید.

کجای دوره آموزش داده می‌شود

درس ردگیری محاسبات در پروژه‌ی نهایی درباره‌ی تغییر نام اتریبیوت‌ها در قراردادها هشدار داده و توصیه می‌کند نسخه‌ها را پین کنید؛ همچنین در درس قراردادها به موضوع اختیاری‌سازی پایداری پرداخته شده است.