مسیر شغلی
ارزیابی و پایایی هوش مصنوعی
AI Evaluation and Reliability
رفتار مدل و ایجنت را بسنجید، حالت‌های شکست را شناسایی کنید، محیط اجرا را به ابزارهای پایش مجهز کنید و کنترل‌های انتشار و مدیریت رخداد را بر پایه‌ی شواهد بنا نهید.
- ۱۲ درس
- ۱۲ ساعت و ۳۰ دقیقه زمان درس‌ها
- ۷ پروژه‌ی پیشنهادی
آیا می‌خواهید عدم‌قطعیت مدل و سیستم را به شواهدی عینی برای ارزیابی، مشاهده‌پذیری، انتشار و بازیابی تبدیل کنید؟
این مسیر برای شماست اگر…
- شواهد سنجش‌پذیر را به ادعاهای بدون پشتوانه درباره‌ی تکمیل کار ترجیح می‌دهید.
- از یافتن حالت‌های خاص و مرزی، پسرفت‌ها و مسیرهای شکست سیستم لذت می‌برید.
- می‌خواهید بخش ارزیابی و عملیات، شواهد یکسانی برای انتشار به اشتراک بگذارند.
در این نقش چه می‌کنید
- طراحی ارزیابی‌های مدل، مدل‌های زبانی بزرگ (LLM) و ایجنت‌ها بر اساس ریسک‌های واقعی شکست.
- تجهیز رفتار استنتاج و سلامت سیستم به تله‌متری کارآمد.
- آزمایش بار، آزمایش‌ها، استقرار قناری و شرایط بازگشت به عقب پیش از انتشار نهایی.
- استفاده از رخدادها و آزمون‌های آشوب برای بهبود کنترل‌های پایایی.
عنوان‌های رایج آگهی‌ها: AI Evaluation EngineerAI Reliability EngineerMachine Learning Site Reliability Engineer
پیش از شروع
- تکمیل پایه‌های مشترک مهندسی نرم‌افزار و هوش مصنوعی، یا اثبات دانش عملی معادل آن.
- درک معیارهای سنجش مدل، آزمون‌ها، APIها و اصول اولیه‌ی تله‌متری در محیط عملیاتی.
- توانایی بازتولید شکست‌ها و مقایسه‌ی رفتار سیستم در اجراهای کنترل‌شده.
مرحله‌ها
هسته‌ی مشترک
تعریف رفتار، لایه‌های ارزیابی، حالت‌های شکست و معناشناسی ردگیری محاسبات.
خروجی: یک برنامه‌ی ارزیابی لایه‌بندی‌شده همراه با رده‌بندی خطاها، اسکیمای ردگیری و آستانه‌های پسرفت.
تمرین عملی نقش
سنجش سلامت استنتاج، رفتار در محیط عملیاتی، آزمایش‌ها و محدودیت‌های ظرفیت.
خروجی: گزارش بارگذاری و مشاهده‌پذیری که معیارهای سرویس را به رفتار مدل و خروجی‌های کاربر متصل می‌کند.
پروژه‌ی اثبات مهارت
اثبات رفتار انتشار و بازیابی سیستم در شرایط شکست کنترل‌شده.
خروجی: یک درگاه پسرفت و پایایی همراه با آستانه‌های استقرار قناری، شواهد بازگشت به عقب و نتیجه‌ی آزمون آشوب.
شواهد مصاحبه و آمادگی شغلی
نمایش این‌که چگونه اهداف، رخدادها و اقدامات اصلاحی یک سیستم‌عامل جامع برای پایایی تشکیل می‌دهند.
خروجی: مطالعه‌ی موردی پایایی شامل SLOها، شواهد شکست، تصمیمات واکنشی و اقدامات اصلاحی تأییدشده.
درس‌ها به ترتیب
- ارزیابی مدل در یادگیری ماشین: از صفر تا پیاده‌سازی و تحلیل
- ارزیابی و تست اپلیکیشن‌های مدل زبانی (LLM Evals)
- توسعه مبتنی بر ارزیابی ایجنت‌ها (Eval-Driven Development)
- حالت‌های شکست در سیستم‌های ایجنتی: چرا ایجنت‌ها خراب می‌شوند؟
- قراردادهای معنایی OpenTelemetry برای هوش مصنوعی زایا
- معیارهای ارزیابی استنتاج LLM — آشنایی با TTFT، TPOT، ITL و Goodput
- راهنمای انتخاب استک مشاهده‌پذیری مدل‌های زبانی (LLM Observability)
- تست A/B برای قابلیت‌های مبتنی بر مدل‌های زبانی: کار با Statsig و GrowthBook
- تست بار روی API مدل‌های زبانی: چرا k6 و Locust به شما دروغ می‌گویند؟
- استقرار تدریجی مدل‌های زبانی: ترافیک سایه و استقرار قناری
- مهندسی آشوب در سرویس‌های عملیاتی مدل‌های زبانی
- کاربرد هوش مصنوعی در SRE: پاسخ به رخدادها با سیستم‌های چندایجنت
تخمین زمان تنها مختص جلسات آموزشی است؛ انجام پروژه‌های نمونه‌کار و تمرین‌ها به زمان بیشتری نیاز دارد.
پروژه‌ی نمونه‌کار
درگاه پسرفت و پایایی
ساخت یک درگاه مبتنی بر شواهد که ارزیابی رفتار، تله‌متری محیط اجرا، بار، مسیر پیش‌روی شبیه‌سازی‌شده و تصمیمات بازیابی را به هم پیوند می‌دهد.
- مجموعه‌ی ارزیابی، شیوه‌نامه‌ی نمره‌دهی و آستانه‌های پسرفت
- اسکیمای ردگیری محاسبات و نمای مشاهده‌پذیری
- گزارش آزمون بار و اهداف سطح خدمت (SLO)
- مستندات تصمیم‌گیری برای استقرار قناری و بازگشت به عقب
- آزمون آشوب یا تحلیل رخداد همراه با اقدامات اصلاحی
پروژه‌های پیشنهادی
- آزمونگر پسرفت پرامپتمقایسهی نسخههای مختلف پرامپت روی پاسخهای ضبطشده از طریق بررسیهای صریح، آزمون‌های پسرفت جفتی و یک درگاه انتشار بازتولیدپذیر.
- محافظ خروجی با اسکیمای JSONبررسی اولیه‌ی اسکیما و رسید اصلاح محدود برای قراردادهای خروجی مدل. فراخوانی guard(raw,schema) در مرز برنامه، یا repair(generate,schema,maxAttempts) بهگونهای که generate آرایهای ساختاریافته از Issue[] و شمارهی تلاش (شروع از یک) را دریافت کند.
- آزمایشگاه ارزیابی بازیابیسنجش کیفیت رتبهبندی با معیارهای دقت، بازخوانی، رتبهی معکوس و بهرهی تنزیلشده، همزمان با آشکارسازی دادههای تکراری و قضاوتهای مفقود.
- بستر آزمایشی ارزیابی مدل محلییک دستسازه بازتولیدپذیر برای ضبط و مقایسه‌ی مدل محلی با پوشش شفاف و خطای اطمینان مشخص. فایل record.py همان قرارداد {manifest,source,labels,records} را مینویسد که cli.py مصرف می‌کند؛ پرچم --baseline فقط اثرانگشتهای برچسب یکسان را مقایسه می‌کند و --min-accuracy یک درگاه محلی CI فراهم میسازد.
- داور گزارشممیزی ارجاعات در سطح جمله، بررسی پشتیبانی واژگانی، و مقایسه‌ی نسخههای گزارش همراه با بازهی عدم‌قطعیت جفتی.
- آزمایشگاه طوفان تلاش مجددکمک به توسعهدهندگان SDK برای انتخاب رفتار مناسب تلاش مجدد هنگام شکست همزمان کلاینتها. بازپخش کلاینتهای همروند در برابر یک مدل سرویس قطعی، مقایسه‌ی عقبگرد محدود و نوسان تصادفی با بودجهی تلاش مجدد مشترک، و سپس اجرای همان خطمشی روی یک مجموعهدادهی نمونه محلی HTTP. استخراج خط زمانی تشدید بار و بازیابی همراه با یک خطمشی کلاینت با قابلیت استفادهی مجدد.
- هماهنگکنندهی توزیع‌شده‌ی مزرعهی ارزیابیساخت یک هماهنگکنندهی ارزیابی پایدار روی یک میزبان که پیشبینیهای ثبتشده را افراز می‌کند، شاردها را به فرایندهای واقعی کارگزار اجاره می‌دهد، جلوی پردازشهای منقضی را میگیرد و رسیدهای متصل به مجموعهداده را نگه میدارد.
از کجا بدانید آماده‌اید
- توانایی انتخاب معیارهایی که با رفتار و ریسک شکستِ تحت‌آزمایش هم‌خوانی دارند.
- توانایی ساخت آزمون‌های پسرفت بازتولیدپذیر برای مدل، LLM و ایجنت.
- توانایی اتصال ردگیری محاسبات، معیارهای استنتاج و نتایج ملموس برای کاربر.
- توانایی تعریف آستانه‌های بار، SLO، قناری و بازگشت به عقب.
- توانایی تبدیل یک تمرین شکست به یک بهبود آزموده در پایایی سیستم.
این مسیر چه چیزی را پوشش می‌دهد
کامل
- ارزیابی مدل، مدل‌های زبانی بزرگ (LLM) و ایجنت
- رده‌بندی خطاها و مشاهده‌پذیری
- معیارهای استنتاج و آزمون بارگذاری
- آزمایش‌ها، مسیرهای پیش‌روی، آشوب و کنترل‌های SRE
بخشی
- مدیریت عملیات برچسب‌گذاری انسانی
- رهبری و مدیریت رخداد
- زیرساخت‌های توزیع‌شده‌ی بزرگ
بیرون از دوره
- مسئولیت نوبت پاسخگویی (آنکال) در محیط عملیاتی
- تأیید نهایی انطباق و مقررات
- مدیریت آزمایشگاه‌های بنچ‌مارک در مقیاس بزرگ
این یک تخصص تکمیلی پس از مبانی مشترک است که حوزه‌های مجاور ارزیابی و پایایی را ترکیب می‌کند. این مسیر متضمن یک عنوان شغلی جهان‌شمول نیست و جایگزین تجربه‌ی رویارویی با رخدادهای زنده و نوبت پاسخگویی (آنکال) نمی‌شود.
تکمیل این مسیر نشان می‌دهد که شما می‌توانید یک درگاه ارزیابی و پایایی مبتنی بر شواهد بسازید. این دوره متضمن یک جایگاه شغلی نیست و تجربه‌ی مدیریت رخدادهای زنده در محیط عملیاتی را اثبات نمی‌کند.