وقتی یک ایجنت هوش مصنوعی چندمرحله‌ای را به محیط پروداکشن می‌برید، لاگ‌های سنتی دیگر پاسخگوی رفتارهای تصادفی مدل، افت کیفیت پاسخ‌ها یا توهمات احتمالی نیستند. استانداردهایی مثل OTel GenAI فقط ساختار داده‌ی اسپن‌ها را مشخص می‌کنند؛ در عمل شما به پلتفرمی اختصاصی برای پایش تعاملات، بازپخش نشستها (session replays)، سنجش کیفیت و ردیابی نسخه‌های پرامپت نیاز دارید.
سه ابزار برتر سال 2026 در این حوزه یعنی Langfuse، Arize Phoenix و Comet Opik، امکان میزبانی شخصی (self-hostable) روی زیرساخت خودتان را فراهم می‌کنند. این ویژگی برای تیم‌های فنی ایرانی که دغدغه‌ی حریم خصوصی داده‌ها، پایداری اتصالات شبکه به سرویس‌های ابری خارجی یا مدیریت هزینه‌های دلاری را دارند، مزیتی کلیدی است و وابستگی مستقیم به اکانت‌های ابری خارجی را به حداقل می‌رساند.
در این درس نقاط تمرکز، نوع مجوزها و ساختار هر سه ابزار را مقایسه می‌کنیم و یک پایپ‌لاین سبک جمع‌آوری ردگیری محاسبات (tracing) و ارزیابی با مدل زبانی در نقش داور (LLM-as-a-judge) را پیاده‌سازی خواهیم کرد.
در سال 2026، سه پلتفرمِ با قابلیت میزبانی شخصی (self-hostable) بر حوزه‌ی مشاهدهپذیری ایجنت‌ها مسلط هستند: Langfuse (مجوز MIT) با بیش از 6 میلیون نصب ماهانه، ردگیری محاسبات (tracing) + مدیریت پرامپت + ارزیابی‌ها + بازپخش نشستها را ارائه می‌دهد؛ Arize Phoenix (مجوز Elastic 2.0) بر ارزیابیهای عمیق ویژه‌ی ایجنت‌ها، ارتباط بازیابی در RAG و تجهیز خودکار با OpenInference تمرکز دارد؛ و Comet Opik (مجوز Apache 2.0) بهینهسازی خودکار پرامپت، گاردریلها (سازوکارهای ایمنی) و تشخیص توهم به‌کمک مدل زبانی در نقش داور (LLM-as-judge) را پوشش می‌دهد.
اهداف یادگیری
- نام سه پلتفرم برتر و قابل‌میزبانی شخصیِ مشاهدهپذیری ایجنت‌ها و مجوزهای آنها را بیان کنید و بگویید کدام مجوز جزء متن‌بازهای تأییدشدهی OSI نیست.
- نقطه‌ی قوت اصلی هر پلتفرم را بشناسید: Langfuse (مدیریت پرامپت + نشستها)، Phoenix (ارزیابی RAG + تجهیز خودکار)، Opik (بهینهسازی + گاردریلها).
- توضیح دهید چرا تا سال 2026، 89% از سازمان‌ها اعلام کرده‌اند که مشاهدهپذیری ایجنت‌ها را در سیستم‌های خود پیاده کرده‌اند.
- یک پایپ‌لاین ردگیری محاسبات تا داشبورد را فقط با کتابخانه‌ی استاندارد پایتون (stdlib) و همراه با ارزیابی مدل زبانی در نقش داور پیاده‌سازی کنید.
صورت مسئله
قراردادهای معنایی (semantic conventions) در OTel GenAI (درس 23) ساختار داده را در اختیارتان می‌گذارد؛ اما همچنان به پلتفرمی نیاز دارید که اسپن‌ها (spans) را دریافت کند، ارزیابی‌ها را اجرا نماید، نسخه‌های مختلف پرامپت را نگه‌دارد و افت کارایی یا پس‌رفت‌ها را نشان دهد. هر کدام از این سه رقیب، روی بخش متفاوتی از این چرخهی عمر دست می‌گذارند.
مفاهیم پایه
پلتفرم Langfuse (مجوز MIT)
- بیش از 6 میلیون نصب SDK در ماه و بیش از 19 هزار ستاره در GitHub.
- قابلیت‌ها: ردگیری محاسبات، مدیریت پرامپت به‌همراه نسخهبندی و محیط آزمون پرامپت (Playground)، ارزیابی‌ها (مدل زبانی در نقش داور، بازخورد کاربر، معیارهای سفارشی) و بازپخش نشستها.
- ژوئن 2025: ماژول‌هایی که قبلاً تجاری بودند (مدل زبانی در نقش داور، صف‌های یادداشت‌نویسی، آزمایش‌های پرامپت، Playground) تحت مجوز MIT به‌صورت متنباز منتشر شدند.
- بهترین گزینه برای: مشاهدهپذیری سرتاسری (end-to-end) همراه با یک چرخهی منسجم و یکپارچه‌ی مدیریت پرامپت.
پلتفرم Arize Phoenix (مجوز Elastic License 2.0)
- ارزیابیهای عمیق‌تر و ویژه‌ی ایجنت: خوشهبندی تریسها (trace clustering)، تشخیص ناهنجاری (anomaly detection)، سنجش ارتباط بازیابی اطلاعات برای RAG.
- تجهیز خودکار بومی با OpenInference.
- اتصال به سرویس ابری و مدیریت‌شده‌ی Arize AX برای محیط پروداکشن.
- فاقد نسخهبندی پرامپت؛ این ابزار جایگاه خود را در کنار پلتفرمهای جامع‌تر و به‌عنوان ابزاری برای پایش تغییر تدریجی رفتار مدل (drift) و پس‌رفت رفتاری تعریف کرده است.
- بهترین گزینه برای: ارتباط بازیابی در RAG، تغییر تدریجی رفتار مدل، و تشخیص ناهنجاری.
پلتفرم Comet Opik (مجوز Apache 2.0)
- بهینهسازی خودکار پرامپت از طریق آزمایش‌های A/B.
- گاردریلها (پاک‌سازی داده‌های حساس یا PII، و محدودیت‌های دامنه‌ی گفتگو).
- تشخیص توهم با مدل زبانی در نقش داور.
- بنچمارک اندازه‌گیری‌شده توسط خود شرکت Comet: ثبت لاگ و ارزیابی در Opik حدود 23.44 ثانیه طول می‌کشد؛ در حالی که در Langfuse این زمان 327.15 ثانیه است (حدود 14 برابر تفاوت). البته بنچمارک‌های ارائه‌دهندگان را فقط باید در حد نشان‌دهنده‌ی جهت کلی در نظر گرفت.
- بهترین گزینه برای: چرخهی بهینهسازی، آزمایش‌های خودکار، و اعمال گاردریلها.
داده‌های صنعتی
طبق تحلیل میدانی موسسه‌ی Maxim در سال 2026: 89% از سازمان‌ها مشاهدهپذیری ایجنت‌ها را پیاده‌سازی کرده‌اند؛ از سوی دیگر مشکلات کیفی، اصلی‌ترین مانع ورود به پروداکشن است (32% از پاسخ‌دهندگان به آن اشاره کرده‌اند).
انتخاب پلتفرم مناسب
| نیاز | انتخاب پیشنهادی |
|---|---|
| ابزار همه‌کاره همراه با مدیریت پرامپت | Langfuse |
| ارزیابی عمیق RAG و تغییر رفتار مدل | Phoenix |
| بهینهسازی خودکار و گاردریلها | Opik |
| مجوز متنباز بدون ELv2 | Langfuse (MIT) یا Opik (Apache 2.0) |
| یکپارچگی با Datadog یا New Relic | فرقی ندارد؛ همگی خروجی OTel می‌دهند |
خطاهای رایج در این الگو
- نداشتن استراتژی ارزیابی. ردگیری محاسبات بدون ارزیابی، صرفاً ثبت پرهزینه‌ی لاگ‌هاست.
- داورهای دست‌ساز بدون ارجاع‌دهی مکانی (grounding). الگوی CRITIC (درس 05) این‌جا هم صدق میکند؛ داورها برای راستی‌آزمایی فکت‌ها به ابزارهای خارجی نیاز دارند.
- متصل نبودن نسخه‌های پرامپت به تریسها. وقتی عملکرد پروداکشن پس‌رفت میکند، بدون این اتصال نمی‌توانید با جستجوی دودویی به پرامپتی برسید که عامل خرابی بوده است.
پیاده‌سازی عملی
فایل code/main.py یک جمع‌آوری‌کننده‌ی ردگیری محاسبات و ارزیاب مبتنی بر مدل زبانی در نقش داور را فقط با کتابخانه‌ی استاندارد پیاده میکند:
- دریافت اسپن‌ها با ساختار GenAI.
- گروه‌بندی بر اساس نشست و برچسب‌گذاری اجراهای ناموفق (فعال‌شدن گاردریلها، ارزیابیهای با اطمینان پایین).
- یک مدل زبانی داورِ اسکریپتی که به پاسخ‌های ایجنت بر اساس یک شیوه‌نامه‌ی نمره‌دهی (rubric) امتیاز می‌دهد.
- خلاصه آماری داشبورد‌مانند: نرخ شکست، دلایل اصلی خطاها، و توزیع امتیازهای ارزیابی.
اجرای آن:
python3 code/main.pyخروجی: امتیازهای ارزیابی به ازای هر نشست و دسته‌بندی خطاها، درست شبیه به چیزی که Langfuse ،Phoenix یا Opik نمایش می‌دهند.
کاربرد عملی
- Langfuse به‌صورت ابری یا میزبانی شخصی؛ اتصال از طریق OTel یا SDK خود پلتفرم.
- Arize Phoenix به‌صورت میزبانی شخصی؛ تجهیز خودکار با OpenInference.
- Comet Opik به‌صورت ابری یا میزبانی شخصی؛ چرخهی بهینهسازی خودکار.
- Datadog LLM Observability برای تیم‌های ترکیبی Ops و ML که در حال حاضر از Datadog استفاده می‌کنند.
انتقال به محیط عملیاتی
سند outputs/skill-obs-platform-wiring.md یکی از پلتفرم‌ها را انتخاب کرده و تریسها، ارزیابی‌ها و نسخه‌های پرامپت را به یک ایجنت فعال متصل میکند.
تمرین‌ها
- تریس‌های یک هفته‌ی OTel را به سطح رایگان (free tier) نسخه‌ی ابری Langfuse بفرستید. کدام نشستها شکست خوردند؟ چرا؟
- یک شیوه‌نامه‌ی نمره‌دهی برای داور مدل زبانی در دامنه‌ی کاری خود بنویسید (درستی فکت‌ها، لحن، رعایت محدوده‌ی دامنه). آن را روی 50 تریس آزمایش کنید.
- نسخهبندی پرامپت در Langfuse را با خوشهبندی تریسها در Phoenix مقایسه کنید. کدام‌یک سریع‌تر به شما نشان می‌دهد کجای کار خراب شده است؟
- مستندات گاردریل‌های Opik را بخوانید. یک گاردریل پاک‌سازی داده‌های حساس (PII redaction) به یکی از اجراهای ایجنت خود متصل کنید.
- هر سه پلتفرم را روی داده‌های خودتان بنچمارک کنید. به عددهای منتشرشده از سوی شرکت‌ها توجه نکنید؛ خودتان ارقام را اندازه بگیرید.
اصطلاحات کلیدی
| اصطلاح | در گفتار عامیانه | معنای دقیق فنی |
|---|---|---|
| Tracing | «جمع‌آوری اسپن‌ها» | دریافت اسپن‌های OTel یا SDK؛ نمایه‌سازی بر اساس نشست |
| Prompt management | «CMS پرامپت» | پرامپت‌های نسخه‌بندی‌شده و متصل به تریسها |
| LLM-as-judge | «ارزیابی خودکار» | ارزیابی و امتیازدهی به خروجی ایجنت با یک مدل زبانی مجزا بر اساس شیوه‌نامه‌ی نمره‌دهی |
| Session replay | «پخش مجدد تریس» | مرور گام‌به‌گام اجراهای گذشته برای اشکال‌زدایی |
| RAG relevancy | «کیفیت بازیابی» | آیا متنِ بازیابی‌شده با پرسش کاربر مطابقت دارد یا خیر |
| Trace clustering | «دسته‌بندی رفتاری» | خوشهبندی اجراهای مشابه برای تشخیص تغییر تدریجی رفتار مدل |
| Guardrail enforcement | «سیاست‌گذاری هنگام لاگ» | بررسی داده‌های حساس (PII)، محتوای نامناسب و محدوده‌ی موضوعی روی محتوای ثبت‌شده |
برای مطالعه‌ی بیشتر
- مستندات Langfuse — ردگیری محاسبات، ارزیابی‌ها، مدیریت پرامپت
- مستندات Arize Phoenix — تجهیز خودکار، تغییر تدریجی رفتار مدل
- Comet Opik — بهینهسازی و گاردریلها
- قراردادهای معنایی OpenTelemetry GenAI — ساختاری که هر سه پلتفرم از آن استفاده می‌کنند