وقتی یک قابلیت مبتنی بر مدلهای زبانی را به محیط عملیاتی میبرید، کار تازه شروع میشود. بدون داشتن دید کافی روی عملکرد سیستم، شناسایی دلایل شکست پرامپتها، حلقههای بیپایان ایجنتها، افت سرعت پاسخدهی و مصرف بیرویه توکنها ناممکن خواهد بود. با این حال تنوع ابزارهای موسوم به «مشاهدهپذیری مدلهای زبانی» (LLM Observability) اغلب تیمها را در انتخاب گزینهی متناسب با نیازشان سردرگم میکند.
برای توسعهدهندگان ایرانی، انتخاب استک مشاهدهپذیری حساسیت دوچندانی دارد. از یکسو کارتهای بانکی ایرانی برای پرداخت مستقیم ارزی و خرید اشتراک سرویسهای مدیریتشدهی ابری مانند LangSmith قابل استفاده نیستند، و از سوی دیگر دسترسی به برخی سرویسهای خارجی از IP ایران با اختلال و تحریم همراه است. بنابراین گزینههایی که امکان میزبانی شخصی (Self-host) روی سرورهای خودتان را با مجوزهای متنباز فراهم میکنند (مانند Langfuse یا Phoenix)، به گزینههایی راهبردی تبدیل میشوند.
در این درس ابزارهای مطرح بازار را در دو شاخهی «پلتفرمهای توسعه» و «ابزارهای گیتوی/تلهمتری» مقایسه میکنیم تا یاد بگیرید چطور با ترکیب این ابزارها از طریق استانداردهای باز مانند OpenTelemetry، یک معماری پایدار و کمهزینه برای مانیتورینگ سیستمهای مبتنی بر هوش مصنوعی مولد بسازید.
بازار مشاهدهپذیری در سال 2026 به دو بخش تقسیم میشود: پلتفرمهای توسعه (مانند LangSmith، Langfuse و Comet Opik) که مانیتورینگ را با ارزیابیها، مدیریت پرامپت (Prompt Management) و بازپخش نشست (Session Replay) ترکیب میکنند؛ و ابزارهای گیتوی/تلهمتری (مانند Helicone، SigNoz، OpenLLMetry و Phoenix) که تمرکزشان فقط روی تلهمتری است. هستهی Langfuse مجوز MIT دارد و تعادل بسیار خوبی با فضای متنباز برقرار کرده است (پلن ابری رایگان با 50K رویداد در ماه). Phoenix با معماری بومی OpenTelemetry و تحت مجوز Elastic License 2.0 ارائه میشود؛ ابزاری فوقالعاده برای مصورسازی دریفت دادهها و پایپلاینهای RAG، اما نه یک بکاند دائمی برای محیط عملیاتی (پروداکشن). ابزار Arize AX از ادغام بدون کپی (zero-copy) با Iceberg/Parquet استفاده میکند و مدعی است 100 برابر ارزانتر از سیستمهای یکپارچهی مشاهدهپذیری تمام میشود. LangSmith پیشتاز اکوسیستم LangChain/LangGraph است، ماهانه 39 دلار به ازای هر کاربر هزینه دارد و امکان سلفهاست آن فقط در پلن Enterprise ارائه میشود. ابزار Helicone مبتنی بر پروکسی است، راهاندازیاش 15 تا 30 دقیقه زمان میبرد، ماهانه 100K درخواست رایگان میدهد، اما عمق ردگیری آن برای ایجنتها کمتر است. الگوی رایج در محیط عملیاتی به این صورت است: یک گیتوی (Helicone/Portkey) بههمراه یک پلتفرم ارزیابی (Phoenix/TruLens) که با چسب OpenTelemetry به هم متصل شدهاند.
اهداف یادگیری
- پلتفرمهای توسعه (یکپارچهسازِ ارزیابیها + پرامپتها + نشستها) را از ابزارهای گیتوی/تلهمتری (صرفاً ردگیری محاسبات + متریکها) تفکیک کنید.
- شش ابزار اصلی (Langfuse، LangSmith، Phoenix، Arize AX، Helicone و Opik) را بر اساس نوع مجوز، قیمتگذاری و بهترین سناریوهای کاربردی دستهبندی کنید.
- الگوی اتصال با OpenTelemetry را شرح دهید؛ الگویی که به شما امکان میدهد یک ابزار گیتوی را با یک پلتفرم ارزیابی مجزا ترکیب کنید.
- عامل تمایز هزینهای سال 2026 (رویکرد zero-copy در Arize AX در مقایسه با دریافت دادهی سنتی و یکپارچه) و ضریب تقریبی 100 برابری آن را نام ببرید.
صورت مسئله
یک قابلیت مبتنی بر مدل زبانی بزرگ (LLM) را روانهی محیط عملیاتی کردهاید. کار میکند؛ اما هیچ دیدی نسبت به شکست پرامپتها، حلقههای بیپایان در ابزارها، پسرفت تاخیر (Latency)، جهش ناگهانی هزینهها یا نرخ موفقیت کش پرامپت ندارید. عبارت «LLM observability» را در گوگل جستجو میکنید و به هشت ابزار مختلف میرسید که همگی ادعا میکنند یک مشکل واحد را با سه سطح قیمت متفاوت حل میکنند.
واقعیت این است که این ابزارها یک مشکل واحد را حل نمیکنند. LangSmith پاسخ میدهد «چرا این اجرای LangGraph شکست خورد؟» Phoenix پاسخ میدهد «آیا پایپلاین RAG من دچار دریفت شده است؟» Helicone پاسخ میدهد «کدام برنامه در حال سوزاندن توکنهاست؟» و Langfuse پاسخ میدهد «آیا میتوانم تمام این مجموعه را روی سرورهای خودم میزبانی کنم؟» ابزارها متفاوتاند و مخاطبانشان نیز فرق دارند.
انتخاب ابزار مناسب روی چهار محور میچرخد: استک فنی (آیا از LangChain استفاده میکنید؟ SDK خام؟ چند ارائهدهنده؟)، انعطافپذیری در مجوزها (فقط MIT؟ مجوز Elastic هم پذیرفته است؟ لایسنسهای تجاری چطور؟)، بودجه (پلن رایگان؟ ماهانه 100 دلار؟ ماهانه 1000 دلار؟) و نیاز به سلفهاست (اجباری؟ خوب است اگر باشد؟ اصلاً نیازی نیست؟).
مفاهیم پایه
دو دستهبندی اصلی
پلتفرمهای توسعه مشاهدهپذیری را با ارزیابیها، مدیریت پرامپت، نسخهبندی دیتاستها و بازپخش نشست ترکیب میکنند. شما آزمایشهای مختلف را اجرا میکنید، میبینید کدام پرامپت بهتر جواب داده است و پرامپت جدید را در برابر گزینههای برتر قبلی روی دیتاست اعتبارسنجی (تست رگرسیون) میکنید: LangSmith، Langfuse و Comet Opik در این دستهاند.
ابزارهای گیتوی/تلهمتری درخواستهای استنتاج مدل را ابزارگذاری (instrument) میکنند؛ یعنی پرامپت، پاسخ، توکنها، تاخیر، مدل و هزینه را ثبت میکنند: Helicone، SigNoz، OpenLLMetry و Phoenix. این ابزارها ساختاری مینیمال دارند و میتوان آنها را از طریق OpenTelemetry با یک ابزار ارزیابی مستقل ترکیب کرد.
Langfuse — تعادل در دنیای متنباز
- هستهی اصلی تحت مجوز Apache / MIT است؛ سلفهاست از طریق Docker انجام میشود.
- پلن ابری رایگان: 50K رویداد در ماه. پلن تیمی: ماهانه 29 دلار.
- ارزیابیها، مدیریت پرامپت، ردگیری محاسبات (Trace) و دیتاستها؛ پوشش بسیار خوبی روی هر چهار قابلیت پلتفرمهای توسعه دارد.
- سناریوی ایدئال: قابلیتهایی در سطح LangSmith میخواهید، اما حتماً باید سلفهاست کنید یا به مجوز متنباز پایبند بمانید.
Phoenix (محصول Arize) — اولویت با تلهمتری، بومی OpenTelemetry
- مجوز Elastic License 2.0؛ سلفهاست بسیار راحت.
- عملکردی بینظیر در مصورسازی RAG و دریفت دادهها. نمودارهای پراکندگی فضای امبدینگ (Embedding) بهصورت ابزار پیشفرض در آن تعبیه شدهاند.
- بهعنوان بکاند دائمی برای محیط عملیاتی طراحی نشده است؛ در اصل برای مشاهدهپذیری در زمان توسعه کاربرد دارد.
- سناریوی ایدئال: توسعهی پایپلاینهای RAG، رفع خطای دریفت مدل و جفتشدن با یک گیتوی مجزا برای محیط عملیاتی.
Arize AX — انتخابی برای مقیاسهای عظیم
- تجاری. ادغام zero-copy با دیتا لیک از طریق Iceberg/Parquet.
- مدعی است در مقیاسهای بالا حدود 100 برابر ارزانتر از سیستمهای یکپارچه (مثل Datadog) تمام میشود. منطق کار: ردگیریها در قالب Parquet داخل S3 خودتان ذخیره میشوند و Arize مستقیماً دادهها را از همانجا میخواند.
- سناریوی ایدئال: بیش از 10M ردگیری در روز، داشتن دیتا لیک فعال و نیاز به داشبوردهای اختصاصی LLM بدون هزینههای سنگین Datadog.
LangSmith — اولویت با اکوسیستم LangChain/LangGraph
- تجاری، ماهانه 39 دلار به ازای هر کاربر. سلفهاست فقط در پلن Enterprise ارائه میشود.
- بهترین گزینه برای استکهای LangChain و LangGraph. اگر از این دو استفاده نمیکنید، جذابیت چندانی ندارد.
- سناریوی ایدئال: تیمهایی که کاملاً روی LangChain متمرکز شدهاند و مشکلی با پرداخت هزینه ندارند.
Helicone — سادهترین راهکار مبتنی بر پروکسی
- راهاندازی 15 تا 30 دقیقهای فقط با تغییر
OPENAI_API_BASEبه پروکسی Helicone. - مجوز MIT؛ ماهانه 100K درخواست رایگان، پلنهای پولی از 20 دلار در ماه به بالا.
- دارای قابلیتهای تغییر مسیر خودکار هنگام خرابی (Failover)، کشکردن و محدودیت نرخ درخواست (Rate limit)؛ یعنی نقش گیتوی را هم بازی میکند.
- عمق کمتری در ردگیری محاسبات ایجنتها و فرایندهای چندمرحلهای دارد.
- سناریوی ایدئال: شروع سریع، برنامههایی با استک ساده و نیاز به گیتوی و مشاهدهپذیری در قالب یک ابزار واحد.
Opik (محصول Comet) — پلتفرم توسعهی متنباز
- مجوز Apache 2.0، کاملاً متنباز.
- قابلیتهایی مشابه Langfuse با پشتوانهی تجربیات Comet در حوزهی یادگیری ماشین.
- سناریوی ایدئال: تیمهای یادگیری ماشین که از قبل با Comet کار میکنند و میخواهند مشاهدهپذیری LLM را در همان قاب (Pane) داشته باشند.
SigNoz — سیستم جامع APM بر پایهی OpenTelemetry
- مجوز Apache 2.0. هم APM عمومی را پوشش میدهد و هم فراخوانیهای LLM را از طریق OpenTelemetry مدیریت میکند.
- سناریوی ایدئال: مشاهدهپذیری یکپارچه برای همهی سرویسها و فراخوانیهای LLM.
چسب اتصال: OpenTelemetry و قراردادهای معنایی GenAI
مجموعهی OpenTelemetry در اواخر سال 2025 قراردادهای معنایی (Semantic Conventions) هوش مصنوعی مولد را منتشر کرد (gen_ai.system، gen_ai.request.model و gen_ai.usage.input_tokens). ابزارهایی که از OTel پشتیبانی میکنند میتوانند بهراحتی با یکدیگر تعامل داشته باشند. الگوی استاندارد در حال ظهور برای محیط عملیاتی:
- ارسال دادههای OTel همراه با قراردادهای GenAI در تمام فراخوانیهای LLM.
- هدایت دادهها به یک گیتوی (مانند Helicone یا Portkey) برای کارهای روزمره.
- ارسال همزمان دادهها به پلتفرم ارزیابی (مثل Phoenix یا Langfuse) جهت شناسایی پسرفتها.
- آرشیو دادهها در دیتا لیک (با فرمت Iceberg) برای تحلیلهای بلندمدت بهکمک Arize AX یا DuckDB.
تلهی رایج: ابزارگذاری در لایهی اشتباه
ابزارگذاری در داخل فریمورک ایجنت (مثلاً افزودن لاگهای LangSmith) شما را به آن فریمورک وابسته میکند. در عوض، ابزارگذاری در لایهی HTTP یا SDK مدل (از طریق OpenLLMetry یا گیتوی) کدتان را کاملاً پرتابل و مستقل نگه میدارد.
نمونهبرداری — نمیتوان همهچیز را ذخیره کرد
در مقیاس بیش از 1M درخواست در روز، هزینهی نگهداری کاملِ همهی ردگیریها از هزینهی فراخوانی خود مدلها بیشتر میشود. نمونهبرداری را با قوانین مشخص انجام دهید: 100% خطاها، 100% درخواستهای پرهزینه و 5% درخواستهای موفق. دادههای تجمیعی را همیشه نگه دارید و دادههای خام را فقط برای تحلیل موارد خاص حفظ کنید.
اعدادی که باید به خاطر بسپارید
- پلن ابری رایگان Langfuse: ماهانه 50K رویداد.
- هزینهی LangSmith: ماهانه 39 دلار به ازای هر کاربر.
- پلن رایگان Helicone: ماهانه 100K درخواست.
- ادعای Arize AX: حدود 100 برابر ارزانتر از سیستمهای یکپارچه در مقیاس بالا.
- قراردادهای معنایی OpenTelemetry GenAI: معرفی در سال 2025، بهکارگیری گسترده در 2026.
استفاده از ابزارهای واقعی
فایل code/main.py سناریوی یک روز با 1M ردگیری محاسبات را بر اساس استراتژیهای مختلف نگهداری داده شبیهسازی میکند (دریافت 100%، نمونهبرداری ساده، و نمونهبرداری همراه با ذخیرهی کامل خطاها). این اسکریپت هزینهی ذخیرهسازی و اطلاعات از دسترفته در هر استراتژی را گزارش میدهد.
خروجی این درس
خروجی این درس فایل outputs/skill-observability-stack.md است. این مستند با دریافت مشخصات استک فنی، مقیاس کاری، بودجه و شرایط مجوزها، ابزار یا ابزارهای مناسب را انتخاب میکند.
تمرینها
- تیم شما از LangChain استفاده میکند و به یک ابزار مشاهدهپذیری متنباز و سلفهاست نیاز دارد. بین Langfuse و Opik یکی را انتخاب کنید و دلیل خود را توضیح دهید.
- با فرض 5M ردگیری در روز و پیشنهاد ماهانه 150K دلار از سوی Datadog، نقطهی سربهسر هزینهها را برای Arize AX محاسبه کنید.
- مجموعهای از ویژگیهای OpenTelemetry GenAI را طراحی کنید که سازمان شما باید ثبت آنها را در تمامی فراخوانیهای LLM اجباری کند.
- استدلال کنید که آیا Phoenix بهتنهایی برای محیط عملیاتی کافی است یا خیر. در چه سناریوهایی پاسخگوی نیاز نخواهد بود؟
- پروکسی Helicone حدود 20 میلیثانیه تاخیر اضافه میکند. اگر صدک 99 زمان تا دریافت اولین توکن (P99 TTFT) برابر با 300 میلیثانیه باشد، آیا این تاخیر قابل قبول است؟ اگر SLA روی 100 میلیثانیه تنظیم شده باشد چطور؟
اصطلاحات کلیدی
| اصطلاح | در گفتار عامیانه | معنای دقیق فنی |
|---|---|---|
| OpenLLMetry | «OTel برای مدلهای زبانی» | ابزارگذاری متنباز OpenTelemetry برای مدلهای زبانی بزرگ |
| GenAI conventions | «اتریبیوتهای OTel» | نامگذاری استاندارد ویژگیهای OpenTelemetry برای فراخوانیهای LLM |
| LangSmith | «مشاهدهپذیری LangChain» | پلتفرم تجاری ارائهشده همراه با اکوسیستم LangChain |
| Langfuse | «LangSmith متنباز» | ابزار متنباز با مجوز MIT و قابلیتهای مشابه |
| Phoenix | «ابزار توسعهی Arize» | پلتفرم توسعه و ارزیابی بومی OpenTelemetry |
| Arize AX | «مشاهدهپذیری در مقیاس بالا» | پلتفرم تجاری مشاهدهپذیری مبتنی بر معماری zero-copy با Iceberg/Parquet |
| Helicone | «مشاهدهپذیری با پروکسی» | پروکسی HTTP برای جمعآوری تلهمتری مدلهای زبانی بههمراه قابلیتهای گیتوی |
| Opik | «ابزار LLM شرکت Comet» | پلتفرم توسعهی متنباز با مجوز Apache 2.0 از شرکت Comet |
| Session replay | «اجرای دوبارهی ردگیری» | بازپخش کامل یک نشست ایجنت بههمراه فراخوانیهای ابزار |
| Eval | «تست آفلاین» | ارزیابی مدل یا پرامپت کاندید روی یک دیتاست برچسبدار |
