مسیر شغلی
مهندسی محصول با مدل‌های زبانی بزرگ (LLM Product Engineering)
LLM Product Engineering
تبدیل قابلیت‌های مدل زبانی به رفتارهای محصولیِ ارزیابی‌شده، امن و به‌صرفه که توان تاب‌آوری در برابر ترافیک محیط عملیاتی را داشته باشند.
- ۱۲ درس
- ۱۴ ساعت و ۴۵ دقیقه زمان درس‌ها
- ۶ پروژه‌ی پیشنهادی
آیا می‌خواهید قابلیت‌های مدل زبانی را به یک قابلیت محصولی مطمئن با رفتار کاربری قابل سنجش تبدیل کنید؟
این مسیر برای شماست اگر…
- می‌خواهید رفتار مدل را مستقیماً به محصولی برای تعامل با کاربر نهایی متصل کنید.
- از برقراری تعادل میان کیفیت، ایمنی، تاخیر و هزینه لذت می‌برید.
- رفتار سنجیده‌شده در محصول را به دموهای ایزوله‌ی مدل ترجیح می‌دهید.
در این نقش چه می‌کنید
- شکل‌دهی به رفتار مدل با پرامپت‌ها، اسکیماها، کانتکست، بازیابی و ابزارها.
- تعریف مجموعه‌های ارزیابی و گاردریل‌ها متناسب با نیازمندی‌های محصول.
- ایجاد تعادل میان کیفیت، تاخیر، هزینه و ریسک‌های عملیاتی.
- عرضه از طریق رابط‌های محیط عملیاتی و مراحل انتشار کنترل‌شده.
عنوان‌های رایج آگهی‌ها: Applied AI EngineerLLM EngineerAI Product Engineer
پیش از شروع
- مبانی مشترک مهندسی نرم‌افزار و هوش مصنوعی را تکمیل کرده یا دانش عملی معادل آن را نشان دهید.
- بتوانید API یک مدل را فراخوانی کرده و یک رابط وب یا سرویس کوچک بسازید.
- با اصول اولیه‌ی ارزیابی، تست و مدیریت خطاهای محیط عملیاتی آشنا باشید.
مرحله‌ها
هسته‌ی مشترک
شکل‌دهی به رفتار مدل زبانی از طریق پرامپت‌ها، اسکیماها، کانتکست، بازیابی و ابزارها.
خروجی: یک پیش‌نمونه از قابلیتی مستند با قرارداد کاربری تایپ‌شده و رفتار مشاهده‌پذیر ابزار یا بازیابی.
تمرین نقش شغلی
سنجش کیفیت و کنترل هزینه و ایمنی پیش از قرارگیری در معرض محیط عملیاتی.
خروجی: مجموعه‌ی ارزیابی همراه با تست‌های گاردریل و کارنامه‌ی کیفیت، تاخیر و هزینه.
پروژه‌ی اثبات مهارت
بسته‌بندی قابلیت به‌شکل یک برنامه‌ی کاربردی در سطح محیط عملیاتی در پسِ کنترل‌های عملیاتی.
خروجی: یک قابلیت مبتنی بر LLM مستقرشده همراه با مسیریابی، محدودیت‌ها، هوک‌های مشاهده‌پذیری و رفتارهای مستندشده در زمان بروز خطا.
شواهد مصاحبه و آمادگی شغلی
نمایش نحوه‌ی پیشبرد قابلیت از طریق انتشار کنترل‌شده همراه با شواهد بازگشت به عقب (Rollback).
خروجی: یک مطالعه‌ی موردی محصول شامل نتایج ارزیابی، بده‌بستان‌های هزینه، درگاه‌های انتشار و تصمیم‌گیری برای بازگشت به عقب.
درس‌ها به ترتیب
- مهندسی پرامپت: الگوها و تکنیک‌های هدایت دقیق مدل‌های زبانی
- خروجی‌های ساختاریافته در مدل‌های زبانی: از JSON تا دیکود مقید
- امبدینگ و بازنمایی برداری: راهنمای جامع جستجوی معنایی
- مهندسی بافتار: مدیریت پنجره، بودجه‌بندی توکن، حافظه و بازیابی
- معماری RAG چیست؟ راهنمای کامل ساخت پایپ‌لاین بازیابی و تولید
- فراخوانی تابع و استفاده از ابزار در مدل‌های زبانی
- ارزیابی و تست اپلیکیشن‌های مدل زبانی (LLM Evals)
- کش، محدودیت نرخ درخواست و بهینه‌سازی هزینه‌های مدل‌های زبانی
- گاردریل‌ها، امنیت و فیلتر محتوا در مدل‌های زبانی (LLM)
- ساخت اپلیکیشن LLM آماده پروداکشن: معماری، استریمینگ و تاب‌آوری
- درگاه‌های هوش مصنوعی (AI Gateways) — بررسی LiteLLM، Portkey، Kong AI Gateway و Bifrost
- استقرار تدریجی مدل‌های زبانی: ترافیک سایه و استقرار قناری
زمان تخمینی تنها مربوط به جلسات آموزشی است. کارهای مربوط به پورتفولیو و تمرین نیازمند زمان مجزاست.
پروژه‌ی نمونه‌کار
قابلیت مبتنی بر LLM برای محیط عملیاتی
ساخت یک قابلیت مستند مبتنی بر LLM با قرارداد کاربری شفاف، کیفیت قابل‌سنجش، کنترل‌های ایمنی و طرح انتشار مرحله‌بندی‌شده.
- قرارداد کاربری و اسکیمای خروجی ساختاریافته
- یک برنامه‌ی کاربردی مستند با استفاده از بازیابی یا ابزارها
- یک مجموعه‌ی ارزیابی و گزارش گاردریل
- یک کارنامه‌ی سنجش کیفیت، تاخیر و هزینه
- مستندات استقرار و انتشار مرحله‌بندی‌شده
پروژه‌های پیشنهادی
- شمارنده توکن و سنجشگر هزینهساخت یک توکنایزر تقریبی صریح، حسابداری دقیق مصرف ثبت‌شده، محاسبه‌ی هزینه طبق جدول تعرفه و اعمال سقف بودجه. تخمین‌ها برچسب‌گذاری می‌شوند و هرگز به‌عنوان آمار توکنایزر ارائه‌دهنده نمایش داده نمی‌شوند. قیمت‌ها ورودی‌های مجموعه‌داده‌ی نمونه هستند نه ادعایی درباره‌ی قیمت‌های لحظه‌ای ارائه‌دهندگان.
- گارد خروجی اسکیمای JSONبررسی اولیه اسکیما و گزارش اصلاح محدود برای قراردادهای خروجی مدل. فراخوانی guard(raw,schema) در مرز برنامه، یا repair(generate,schema,maxAttempts) که در آن generate ساختار Issue[] و شماره‌ی تلاش (شروع از 1) را دریافت می‌کند.
- پرسش و پاسخ روی اسناد با ارجاع‌دهی و LangChainرسید استناد که پشتیبانی دقیق منبع را از میزان ارتباط آن با پرسش تفکیک می‌کند. ایمپورت تابع query(directory, question, model). یک کالبکِ مدل، خروجی JSON با قالب {source:chunk_id,quote:exact_text} را برمی‌گرداند. آرگومان --response یک پاسخ ضبط‌شده را پذیرفته و همان گیت را اعمال می‌کند.
- ایجنت گزارش پژوهشیساخت پایپ‌لاین پشتیبان ابزارهای پژوهش عمیق: جستجو در یک پیکره متنی، استخراج تکه متن‌های دقیق، برنامه‌ریزی پژوهش، نگارش صرفاً بر اساس شواهد، راستی‌آزمایی تک‌تک ادعاها، انتشار یک گزارش HTML همراه با پانویس و ردگیری محاسبات، و در نهایت امتیازدهی به آن با استفاده از مجموعه‌داده‌ی نمونه ارزیابی عمومی ثبت‌شده در مخزن.
- گیت‌وی LLM همراه با طرح‌های پشتیبان (Fallback)ساخت یک پروکسی HTTP محلی غیر-استریمینگ با طرح پشتیبان واقعی میان ارائه‌دهندگان، اعتبارسنجی محیطی به ازای هر ارائه‌دهنده، محدودیت‌های پاسخ و یک مهلت زمانی کلی. تایید کامل مسیر ارتباطی با سرورهای loopback.
- بازیابی پاسخ‌های استریمینگساخت نمای پاسخ در مرورگر و جریان رویداد محلی برای توسعه‌دهندگانی که خروجی دستیار را یکپارچه‌سازی می‌کنند. مدیریت بایت‌های چندبخشی UTF-8، شناسه‌های رویداد، اتصال مجدد، لغو درخواست و ارجاعات ناقص. حفظ تمایز میان یک پیش‌نویس ناتمام و یک پاسخ کامل، همراه با امکان دانلود ردگیری محاسبات رویداد برای بازتولید خطاهای رندرینگ.
از کجا بدانید آماده‌اید
- توانایی انتخاب پرامپت‌ها، اسکیماها، بازیابی و ابزارها بر اساس نیازمندی‌های محصول.
- توانایی ایجاد مجموعه‌ی ارزیابی پیش از تنظیم رفتار مدل.
- توانایی شناسایی و تست مرزهای ایمنی و نقاط شکست.
- توانایی اندازه‌گیری هم‌زمان کیفیت، تاخیر و هزینه.
- توانایی تشریح تصمیمات مربوط به استقرار، گیت‌وی، انتشار قناری و بازگشت به عقب (Rollback).
این مسیر چه چیزی را پوشش می‌دهد
کامل
- طراحی پرامپت و خروجی ساختاریافته
- کانتکست، بازیابی و ابزارها
- ارزیابی و گاردریل‌های LLM
- انتشار در محیط عملیاتی با در نظر گرفتن هزینه
بخشی
- شناسایی محصول (Product Discovery)
- تحقیقات تجربه‌ی کاربری
- عملیات کامل ابری (Cloud Ops)
بیرون از دوره
- تخصصی‌سازی محصول در حوزه‌ی صوت و تصویر
- مالکیت آموزش مدل‌های پایه (Foundation Models)
- مدیریت محصول تجاری
این بخش، یک لایه‌ی تخصصی پس از مبانی مشترک است و روی مهندسی محصول با LLM تمرکز دارد. این دوره تمام مدهای هوش مصنوعی کاربردی را پوشش نمی‌دهد و جایگزین شناسایی محصول و مدیریت محصول فعال در محیط عملیاتی نیست.
تکمیل این مسیر نشان می‌دهد که شما قادر به ساخت و ارزیابی یک قابلیت LLM در مقیاس محیط عملیاتی هستید؛ اما تضمینی برای استخدام یا اثبات مالکیت یک محصول تجاری فعال نخواهد بود.