مسیر شغلی
سیستم‌های داده هوش مصنوعی
AI Data Systems
پایپ‌لاین‌های قابل‌اعتماد داده، ویژگی، امبدینگ، بازیابی، ارزیابی و مشاهده‌پذیری را برای سیستم‌های هوش مصنوعی بسازید.
- ۱۱ درس
- ۱۵ ساعت و ۱۵ دقیقه زمان درس‌ها
- ۶ پروژه‌ی پیشنهادی
آیا می‌خواهید داده‌های زیربنای آموزش، بازیابی، ارزیابی و رفتار مدل در محیط عملیاتی را واقعاً قابل‌اعتماد کنید؟
این مسیر برای شماست اگر…
- شما به منشأ و سندیت، تکرارپذیری و کیفیت داده‌ها بیش از دموهای نمایشی اهمیت می‌دهید.
- از ردیابی رفتار مدل تا رسیدن به ریشه‌های آن در تصمیمات مربوط به داده و بازیابی لذت می‌برید.
- می‌خواهید سیستم‌های داده را به نتایج ملموس و سنجش‌پذیر در هوش مصنوعی متصل کنید.
در این نقش چه می‌کنید
- پایپ‌لاین‌های بازتولیدپذیر برای ورود داده (ingestion)، تبدیل و استخراج ویژگی طراحی کنید.
- مسیرهای امبدینگ و بازیابی را با معیارهای کیفی شفاف و مشخص پیاده‌سازی کنید.
- نشت داده، دریفت، داده‌های مفقود و افت کیفیت بازیابی (regressions) را شناسایی کنید.
- رفتارهای وابسته به داده را از مبدأ تا محیط عملیاتی ابزارگذاری و پایش کنید.
عنوان‌های رایج آگهی‌ها: AI Data EngineerMachine Learning Data EngineerRetrieval Engineer
پیش از شروع
- مفاهیم پایه مشترک مهندسی نرم‌افزار و هوش مصنوعی را به پایان برسانید یا تسلط عملی معادل آن را اثبات کنید.
- با داده‌های جدولی، ویژگی‌ها، بخش‌بندی مجموعه‌داده به آموزش و آزمون (train/test splits) و ارزیابی مقدماتی راحت باشید.
- بتوانید فایل‌ها، اسکیماها و خروجی‌های پایپ‌لاین را با نوشتن کد بازبینی و بررسی کنید.
مرحله‌ها
هسته مشترک
پایپ‌لاین‌های بازتولیدپذیر برای آماده‌سازی داده‌ها، ویژگی‌ها و مدل‌های زبانی بسازید.
خروجی: یک پایپ‌لاین نسخه‌بندی‌شده با تبدیل‌های قطعی، بررسی بخش‌بندی و ثبت رکورد اجرای بازتولیدپذیر.
تمرین نقشی
مسیرهای کانتکست و بازیابی را بسازید که بتوان کیفیت آن‌ها را به طور مستقل اندازه‌گیری کرد.
خروجی: یک سیستم بازیابی همراه با پیکره متنی مستند، پیکربندی ایندکس و معیارهای بازیابی.
پروژه اثبات
مسیر داده را به یک نرم‌افزار ارزیابی‌شده در مقیاس محیط عملیاتی متصل کنید.
خروجی: یک پایپ‌لاین داده هوش مصنوعی با قابلیت ردگیری، بررسی‌های کیفی سرتاسری و ارزیابی در سطح اپلیکیشن.
شواهد آمادگی برای مصاحبه و کار
نشان دهید که دورسنجی (تله‌متری) چگونه خطاهای داده، بازیابی و تولید مدل را از یکدیگر متمایز می‌کند.
خروجی: تحلیل خطایی که یک علامت یا نشانه در محیط عملیاتی را به مرحله مربوطه در پردازش داده یا بازیابی متصل می‌کند.
درس‌ها به ترتیب
- مدیریت داده در پروژه‌های هوش مصنوعی با Hugging Face
- مهندسی و انتخاب ویژگی در یادگیری ماشین
- پایپ‌لاین‌های یادگیری ماشین: جلوگیری از نشت داده و ورود به پروداکشن
- پایپ‌لاین داده برای پیش‌آموزش مدل‌های زبانی بزرگ
- امبدینگ و بازنمایی برداری: راهنمای جامع جستجوی معنایی
- مهندسی بافتار: مدیریت پنجره، بودجه‌بندی توکن، حافظه و بازیابی
- معماری RAG چیست؟ راهنمای کامل ساخت پایپ‌لاین بازیابی و تولید
- راهنمای جامع RAG پیشرفته: جست‌وجوی ترکیبی، بازرتبه‌بندی و قطعه‌بندی هوشمند
- ارزیابی و تست اپلیکیشن‌های مدل زبانی (LLM Evals)
- ساخت اپلیکیشن LLM آماده پروداکشن: معماری، استریمینگ و تابآوری
- راهنمای انتخاب استک مشاهده‌پذیری مدل‌های زبانی (LLM Observability)
تخمین زمان فقط شامل ساعات تدریس است. پروژه‌های پورتفولیو و تمرین‌ها به زمان بیشتری نیاز دارند.
پروژه‌ی نمونه‌کار
پایپ‌لاین داده هوش مصنوعی با قابلیت ردگیری محاسبات
یک مسیر بازتولیدپذیر برای داده و بازیابی بسازید که ورودی‌ها، تبدیل‌ها، بررسی‌های کیفی و اثرات آن بر بخش‌های پایینی سیستم قابل‌بررسی باشند.
- یک پایپ‌لاین بازتولیدپذیر ورود داده و تبدیل
- بررسی‌های مربوط به نشت داده، اسکیما و کیفیت داده
- نتایج ارزیابی امبدینگ و بازیابی
- مشاهده‌پذیری برای خطاهای وابسته به داده
- مستند مربوط به منشأ و سندیت داده و دستورالعمل بازگشت به عقب (rollback)
پروژه‌های پیشنهادی
- میز کار ترمیم فایلهای CSVبه صاحب یک فایل اسپردشیت کمک کنید تا برچسبهای ناهمخوان، تاریخها و مقادیر مفقود را از طریق یک توالی مشخص از تبدیل‌ها ترمیم کند. تمام سلولهای تغییریافته را پیشنمایش دهید، موارد مبهم را برای بازبینی نگه دارید و یک فایل CSV تمیز را همراه با دستورالعمل قابلاستفادهی مجدد برای تبدیل‌ها و مقایسه HTML صادر کنید.
- ممیزی بخش‌بندی مجموعهدادهیک گیت کنترلی مجموعه‌داده که رکوردهای مسبب نشت محتوا یا نشت داده‌های حوادث را مشخص می‌کند. رکوردهای {train,test} یا رکوردهای {records} را با پارامترهای split 0.25-- و seed experiment-1-- به CLI ارسال کنید. گزینه check-- را در CI اضافه کنید تا در صورت غیرقابلاستفاده بودن بخش‌بندی، با کد exit2 خارج شود.
- گیت کنترلی قرارداد دادهیک قرارداد داده نسخه‌بندی‌شده و کمحجم تعریف کنید، انواع فیلدها و محدودهها را بررسی کنید، تمام ردیفهای تکراری را بیابید و رکوردهای پذیرفتهشده را جدا از بخش قرنطینه خروجی بگیرید. کد خروج CLI به عنوان گیت ورود داده عمل می‌کند، در حالی که گزارشی خطبهخط دلایل رد شدن را شرح می‌دهد.
- میز کار بازبینی استخراج اسنادفیلدهای ساختاریافته را از یک سند متنی استخراج کنید، اسپنهای دقیق منبع را بررسی کنید و پیش از خروجی نهایی، مقادیر مبهم را تأیید کنید.
- گیت کنترلی پاکسازی داده‌های حساس متنیالگوهای ایمیل ASCII، آدرسهای معتبر IPv4 و شناسههای متنی مشخص را شناسایی کنید. اسپنهای دارای همپوشانی را merge کنید، اجتماع آن‌ها را بدون افشای مقادیر اصلی جایگزین نمایید و یک خروجی JSONL پاکسازیشده به همراه یک گزارش HTML قابل‌بررسی صادر کنید.
- پایپ‌لاین تازگی داده برای RAGیک ایندکس اسناد با آدرسدهی با محتوا پیاده‌سازی کنید که مجهز به ردیابی حذفیات، بررسی نسخه و بازیابی آگاه از تازگی داده‌ها باشد.
از کجا بدانید آماده‌اید
- می‌تواند منشأ و سندیت داده را از داده خام تا ورودی مدل یا بازیابی شرح دهد.
- می‌تواند از نشت داده جلوگیری کند و درستی تبدیل‌های ویژگی را اعتبارسنجی نماید.
- می‌تواند کیفیت بازیابی را به طور جداگانه از کیفیت تولید متن ارزیابی کند.
- می‌تواند علت‌های مربوط به داده، امبدینگ، بازیابی یا مدل را بر اساس شواهد تشخیص دهد.
- می‌تواند نتیجه یک پایپ‌لاین را بازتولید کرده و نحوه بازگشت به عقب (rollback) آن را مستند کند.
این مسیر چه چیزی را پوشش می‌دهد
کامل
- پایپ‌لاین‌های داده و ویژگی
- امبدینگ و بازیابی
- ارزیابی RAG
- مشاهده‌پذیری هوش مصنوعی
بخشی
- منشأ داده و تکامل اسکیما
- ارکستراسیون پایپ‌لاین و بازپر (backfill)
- حاکمیت داده
بیرون از دوره
- مدیریت انبارهای داده یا دریاچه‌های داده سازمانی
- مرجعیت در زمینه انطباق (compliance)
- تجربه نوبت پاسخگویی (آنکال) برای پلتفرم داده فعال در محیط عملیاتی
این بخش یک دوره تخصصی تکمیلی پس از مبانی پایه است. این مسیر کار با داده‌های آموزشی، ویژگی‌ها و بازیابی را پوشش می‌دهد، اما ادعای تسلط بر تمام پلتفرم‌های انبار داده، دریاچه داده، استریمینگ یا حاکمیت داده را ندارد.
تکمیل این مسیر نشان می‌دهد که شما قادرید یک پایپ‌لاین داده هوش مصنوعی با قابلیت ردگیری بسازید و ارزیابی کنید. این دوره تضمین‌کننده یک موقعیت شغلی یا اثبات‌کننده تجربه مدیریت پلتفرم‌های داده بزرگ سازمانی نیست.