در سیستم‌های توزیع‌شده‌ی مدرن، زنگ هشدار نیمه‌شب کابوس تیم‌های زیرساخت و دواپس است. دقایق ابتدایی هر رخداد بحرانی معمولاً صرف زیرورو کردن صدها خط لاگ در ابزارهایی مثل Loki، بررسی نمودارهای مصرف منابع در ابزارهای مانیتورینگ و جستجو در میان ران‌بوک‌های قدیمی میشود؛ کارهای فرساینده‌ای که بخش زیادی از توان ذهنی مهندس کشیک (On-call) را پیش از رسیدن به ریشه‌ی مشکل می‌سوزاند.
مهندسی قابلیت اطمینان سایت بر پایه‌ی هوش مصنوعی (AI SRE) این روند سنتی را تغییر میدهد. با اتصال مدل‌های زبانی به داده‌های زنده و مستندات زیرساخت، ایجنت‌های تخصصی می‌توانند در همان دقایق نخست، لاگ‌ها و متریک‌ها را غربال کنند، نشانه‌ها را با تجربیات پیشین مطابقت دهند و فرضیه‌ی اولیه را آماده کنند تا قضاوت نهایی در کمترین زمان ممکن انجام شود.
در این درس یاد می‌گیرید که چطور معماری چندایجنت را برای پاسخ به حوادث پیاده کنید، مرز میان اقدامات ایمن و پرخطر در رفع خودکار اختلال‌ها را بشناسید و با بهره‌گیری از ارزیابی مقابلهای و حافظه‌ی عملیاتی، اتکای سیستم به افراد را کاهش دهید.
مهندسی قابلیت اطمینان سایت مبتنی بر هوش مصنوعی (AI SRE) با تکیه بر مدل‌های زبانی بزرگ (LLM) که از طریق RAG به داده‌های زیرساخت (لاگ‌ها، ران‌بوک‌ها و توپولوژی سرویس‌ها) متصل شده‌اند، مراحل بررسی، مستندسازی و هماهنگی را خودکار میکند. الگوی معماری غالب در سال 2026، ارکستراسیون چندایجنت (multi-agent orchestration) است؛ به این صورت که ایجنت‌های تخصصی (لاگ‌ها، متریک‌ها، ران‌بوک‌ها) زیر نظر یک ناظر (Supervisor) هماهنگ میشوند؛ هوش مصنوعی فرضیه‌ها و پرس‌وجوها را پیشنهاد میدهد و تصمیم‌های نهایی به تأیید انسان می‌رسد. سرویس‌های Datadog Bits AI و Azure SRE Agent این قابلیت را در قالب محصولاتی مدیریت‌شده ارائه می‌دهند. ران‌بوک‌ها نیز در حال دگرگونی‌اند: ابزار NeuBird Hawkeye از ارزیابی مقابلهای (adversarial evaluation) استفاده میکند (دو مدل، حادثه‌ای یکسان را تحلیل میکنند؛ توافق یعنی اطمینان بالا و اختلافنظر نشانه‌ی عدم قطعیت است)؛ علاوه بر این، حافظه‌ی عملیاتی (operational memory) با جابه‌جایی افراد در تیم از بین نمی‌رود. رفع خودکار خرابی (Auto-remediation) همچنان محتاطانه پیش می‌رود: هوش مصنوعی پیشنهاد میدهد و انسان تأیید میکند. اقدامات کاملاً خودکار دامنه‌ی بسیار محدودی دارند (مثل ریاستارت پاد یا بازگشت به عقب برای یک دیپلوی مشخص) و گاردریل‌های سفت‌وسختی دارند؛ هر کس وعده‌ی سیستم «تنظیم کن و فراموشش کن» را میدهد، اغراق میکند. مرز جدید این حوزه، پیش‌بینی رخدادها قبل از وقوع است: پژوهش دانشگاه MIT نشان میدهد یک مدل زبانی بزرگ آموزش‌دیده روی لاگ‌های گذشته، دمای GPU و الگوهای خطای API توانسته 89% از قطعی‌ها را 10 تا 15 دقیقه زودتر پیش‌بینی کند. برآوردها حاکی از آن است که تا پایان سال 2026، حدود 95% از LLMهای سازمانی به تغییر مسیر خودکار هنگام خرابی (Failover) مجهز خواهند بود.
اهداف یادگیری
- ترسیم معماری چندایجنت در AI SRE: ناظر + ایجنت‌های تخصصی (لاگ‌ها، متریک‌ها، ران‌بوک‌ها) + دروازه‌ی تأییدیه انسانی.
- توضیح اینکه چرا رفع خودکار خرابی دامنه‌ای محدود دارد (ریاستارت پاد، بازگردانی دیپلوی) نه گسترده (تغییر معماری سرویس).
- نام‌بردن از الگوی ارزیابی مقابلهای (NeuBird Hawkeye): توافق دو مدل = اطمینان؛ اختلافنظر = ارجاع به انسان.
- اشاره به نتیجه‌ی پژوهش MIT دربارهی پیش‌بینی زودهنگام 89 درصدی و محدودیت عملیاتی آن: پیش‌بینی بدون اقدام عملی، صرفاً یک داشبورد است.
صورت مسئله
ساعت 3 بامداد به مهندس نوبت پاسخگویی (آنکال) پیج می‌زنند: «نرخ بالای خطا در بخش تسویه‌حساب (checkout)». او به سراغ Datadog، سپس Loki، بعد سه رانبوک مختلف و در نهایت لاگ‌های دیپلوی می‌رود. 30 دقیقه بعد متوجه میشود ریشه‌ی مشکل، خطای کمبود حافظه (OOM) در vLLM به دلیل جهش ناگهانی کش کلید-مقدار (KV cache) بوده است. پاد را ریاستارت میکند و خطا برطرف میشود.
در سال 2026، 20 دقیقه‌ی اول این بررسی قابل خودکارسازی است. دسته‌بندی لاگ‌ها بر اساس سرویس، همبسته‌سازی آن‌ها با دیپلوی‌های اخیر و تطبیق شرایط با ران‌بوک‌ها، همگی از جنس ترکیب RAG و استفاده از ابزار (tool-use) هستند. یک ایجنت تحت‌نظارت می‌تواند غربالگری اولیه را انجام دهد و حتی قبل از باز کردن Datadog توسط مهندس، فرضیه‌ی اولیه را روی میز بگذارد.
اما رفع کاملاً خودکار خرابی ماجرای متفاوتی دارد. ریاستارت پاد: ایمن است. افزایش ظرفیت استخر GPU: اگر سیاست سیستم اجازه دهد، ایمن است. تغییر معماری سرویس: ابداً ایمن نیست. هنر کار در کشیدن همین مرز باریک است.
مفاهیم اصلی
معماری چندایجنت
Incident
│
▼
Supervisor
/ | \
▼ ▼ ▼
Log agent Metric agent Runbook agent
│ │ │
└─────┴─────┘
│
▼
Hypothesis + evidence
│
▼
Human approval
│
▼
Action (narrow set)ناظر، رخداد را به چند زیرپرس‌وجو می‌شکند. ایجنت‌های تخصصی به ابزارها دسترسی دارند (جستجوی لاگ، PromQL، بازیابی مستندات). ناظر نتایج را ترکیب میکند و فرضیه را همراه با شواهد به انسان ارائه میدهد. سپس انسان آن را تأیید میکند یا بازهدایت‌ها را انجام میدهد.
دامنه‌ی رفع خودکار خرابی
ایمن (محدود): ریاستارت پاد، بازگشت به عقب در یک دیپلوی مشخص، تغییر مقیاس استخر در بازه‌های ازپیش‌تأییدشده، فعال‌سازی ویژگی‌پرچم‌های (feature flag) ازپیش‌تأییدشده.
ناایمن (گسترده): تغییر توپولوژی سرویس، دستکاری سقف منابع (resource limits)، دیپلوی کد جدید، تغییر دسترسی‌های IAM، دستکاری پایگاهداده.
هر کس ادعای راه‌اندازی سامانه‌ی «تنظیم کن و فراموشش کن» را داشته باشد، اغراق میکند. با پخته‌تر شدن AI SRE، دامنه‌ی اقدامات ایمن گسترده‌تر میشود؛ اما این مرز کاملاً واقعی و پابرجاست.
ارزیابی مقابلهای (NeuBird Hawkeye)
دو مدل، مستقل از یکدیگر رخدادی یکسان را تحلیل میکنند. اگر هر دو روی ریشه‌ی مشکل توافق داشته باشند، میزان اطمینان بالا است. اگر اختلافنظر داشته باشند، همراه با هر دو فرضیه به انسان ارجاع داده میشود. الگویی ساده اما فیلتری بسیار کارآمد در برابر علت‌های ریشهای متوهمانه‌ی مدل‌ها.
حافظه‌ی عملیاتی
جابه‌جایی مداوم نیروها، قاتل خاموش SRE سنتی است؛ چرا که با رفتن افراد، دانش قبیله‌ای و تجربی هم می‌رود. در AI SRE، ران‌بوک‌ها و تحلیل‌های پس از حادثه (Post-mortems) در یک دیتابیس برداری ذخیره میشوند و ایجنت‌ها در هر رخداد جدید به سراغ آن‌ها می‌روند. با ورود مهندسان جدید، هوش مصنوعی تاریخچه‌ی کامل سیستم را در اختیار دارد.
پیش‌بینی پیش از وقوع رخداد
پژوهش سال 2025 دانشگاه MIT نشان داد مدل زبانی آموزش‌دیده روی لاگ‌های گذشته، دمای GPU و الگوهای خطای API توانست 89% از قطعی‌های مجموعه‌ی آزمون را 10 تا 15 دقیقه پیش از وقوع پیش‌بینی کند.
نگاهی واقع‌بینانه: پیش‌بینی بدون اقدام عملی، صرفاً یک داشبورد است. پرسش عملیاتی اصلی این است: «وقتی پیش‌بینی کردیم، چه کار کنیم؟» تخلیه‌ی پیش‌دستانه‌ی ترافیک (pre-emptive drain)؟ پیج کردن مهندس آنکال؟ مقیاس‌پذیری خودکار؟ پاسخ به این پرسش‌ها کاملاً به سیاست‌های شما بستگی دارد.
محصولات سال 2026
- Datadog Bits AI — دستیار مدیریت‌شده‌ی SRE درون Datadog.
- Azure SRE Agent — ابزار بومی محیط Azure.
- NeuBird Hawkeye — ارزیابی مقابلهای به همراه حافظه‌ی عملیاتی.
- PagerDuty AIOps — غربالگری و حذف هشدارهای تکراری.
- Incident.io Autopilot — فرماندهی رخدادها و هماهنگی.
رانبوک به‌مثابه‌ی کد
ران‌بوک‌ها از صفحاتی پراکنده در Confluence به فایل‌های نسخه‌بندی‌شده‌ی Markdown با بخش‌های ساختاریافته (نشانه، فرضیه، اعتبارسنجی، اقدام) تبدیل میشوند. ران‌بوک‌های ساختاریافته کیفیت بازیابی در RAG را به شدت بالا می‌برند. پیاده‌سازی هر سیستم AI SRE را با تبدیل ران‌بوک‌های ساختارنیافته به ساختاریافته شروع کنید.
اعدادی که باید به خاطر بسپارید
- تشخیص زودهنگام MIT: پیش‌بینی 89% از قطعی‌ها با 10 تا 15 دقیقه زمان پیش‌دستی.
- غربالگری چندایجنت: ناظر + (لاگ‌ها، متریک‌ها، ران‌بوک‌ها) + انسان.
- مجموعه‌ی اقدامات ایمن برای رفع خودکار: ریاستارت پاد، بازگردانی دیپلوی، تغییر مقیاس در بازهی مجاز.
- ارزیابی مقابلهای: استقلال دو مدل؛ توافق = اطمینان.
استفاده از آن در عمل
فایل code/main.py یک سناریوی غربالگری چندایجنت را شبیه‌سازی میکند: ایجنت لاگ خطا را می‌یابد، ایجنت متریک جهش CPU را پیدا میکند و ایجنت رانبوک مشکل را با اختلال شناخته‌شده تطبیق میدهد. در نهایت ناظر فرضیه‌ها را رتبه‌بندی میکند.
تحویل خروجی
خروجی این درس، فایل outputs/skill-ai-sre-plan.md خواهد بود؛ برنامه‌ای که بر اساس وضعیت فعلی نوبت پاسخگویی (آنکال)، حجم رخدادها و سطح بلوغ تیم، مسیر پیش‌روی شبیه‌سازی‌شده (rollout) برای AI SRE را طراحی میکند.
تمرین‌ها
- اسکریپت
code/main.pyرا اجرا کنید. اگر ایجنت لاگ و ایجنت متریک اختلافنظر داشته باشند چه میشود؟ ناظر چطور موضوع را حل‌وفصل میکند؟ - سه اقدام «ایمن» برای رفع خودکار خرابی در سرویس خودتان مشخص کرده و دلیل آن را توضیح دهید.
- یک قالب رانبوک ساختاریافته بنویسید: بخش‌ها، فیلدهای ضروری و دستورهای اعتبارسنجی.
- سیستم تشخیص زودهنگام، 12 دقیقه قبل از رخداد فعال میشود. سیاست شما چیست: پیج کردن مهندس، تخلیه‌ی پیش‌دستانه‌ی ترافیک، یا هر دو؟
- تحلیل کنید که آیا یک تیم 3 نفره در سال 2026 باید به سراغ AI SRE برود یا صبر کند؟ عواملی مثل بلوغ، حجم کار و ریسک‌ها را مد نظر قرار دهید.
اصطلاحات کلیدی
| اصطلاح | در گفت‌وگوهای عامیانه | معنای دقیق فنی |
|---|---|---|
| AI SRE | «ایجنت برای آنکال» | بررسی و هماهنگی رخدادها با تکیه بر مدل‌های زبانی بزرگ |
| Supervisor agent | «هماهنگ‌کننده» | ایجنت سطح بالا که رخدادها را به زیرپرسوجوهای کوچکتر تقسیم میکند |
| Specialized agent | «ایجنت دامنه» | زیرایجنت دارای دسترسی به ابزارها (لاگ‌ها، متریک‌ها، ران‌بوک‌ها) |
| Auto-remediation | «هوش مصنوعی درستش می‌کنه» | اقدام محدود و ازپیش‌تأییدشده؛ نه تغییرات گسترده در معماری |
| Operational memory | «ران‌بوک‌های برداری» | گزارش‌های پس از حادثه + ران‌بوک‌ها در دیتابیس برداری برای RAG |
| Adversarial eval | «بررسی با دو مدل» | تحلیل‌های مستقل؛ توافق = اطمینان |
| NeuBird Hawkeye | «اون ابزار مقابله‌ایه» | محصولی مجهز به الگوی ارزیابی مقابلهای و حافظه‌ی عملیاتی |
| Bits AI | «ایجنت SRE دیتا‌داگ» | محصول مدیریت‌شده‌ی AI SRE از سوی Datadog |
| Pre-incident prediction | «تشخیص زودهنگام» | پیش‌بینی قطعی سیستم با 10 تا 15 دقیقه زمان پیش‌دستی |