فاز 17
زیرساخت و تولید
هوش مصنوعی را به دنیای واقعی ببرید: مقیاس، پایش و بهینه‌سازی.
- 29 درس
- حدود 30 ساعت
- مقایسه پلتفرم‌های ابری LLM: بررسی AWS Bedrock، Vertex AI و Azure OpenAIمقایسه معماری، تاخیر، هزینه و سازوکارهای فین‌اپس در سه غول ابری AWS Bedrock، Vertex AI و Azure OpenAI برای سرویس‌دهی مدل‌های زبانی بزرگ.
- اقتصاد پلتفرم‌های استنتاج هوش مصنوعی؛ مقایسه شش ارائه‌دهنده بزرگراهنمای مقایسه اقتصادی شش پلتفرم استنتاج هوش مصنوعی برای انتخاب بهینه بین صورت‌حساب توکنی و دقیقه‌ای بر مبنای بار کاری.
- مقیاس‌بندی خودکار GPU در کوبرنتیز با Karpenter و KAI Schedulerراهنمای عملی معماری سه‌لایه‌ای مقیاس‌بندی خودکار GPU در Kubernetes با ترکیب Karpenter، KAI Scheduler و سیگنال‌های واقعی استنتاج.
- موتورهای سرو مدل: تحلیل PagedAttention، Continuous Batching و Chunked Prefillبررسی فنی موتور vLLM؛ چگونگی هم‌افزایی PagedAttention، دسته‌بندی پیوسته و پیش‌پرکنی تکه‌تکه برای رساندن توان پردازش مدل به بالاترین حد ممکن.
- دیکودینگ حدسی با EAGLE-3 در پروداکشنراهنمای عملی استقرار دیکودینگ حدسی EAGLE-3 در vLLM و روش سنجش نرخ پذیرش آلفا پیش از فعال‌سازی در پروداکشن.
- سرویس‌دهی با کش پیشوند: معماری RadixAttention و بازاستفاده از KVراهنمای مهندسی استفاده از کش پیشوند و RadixAttention برای کاهش چشمگیر هزینه فاز Prefill و ارتقای توان سرویس‌دهی LLM با موتور SGLang.
- کامپایل استنتاج برای سخت‌افزار اختصاصی: FP8 و NVFP4 در معماری Blackwellراهنمای تحلیل معماری TensorRT-LLM روی Blackwell و موازنه‌ی بین قابلیت حمل و کاهش 7 برابری هزینه‌ی استنتاج با دقت‌های FP8 و NVFP4.
- معیارهای ارزیابی استنتاج LLM — آشنایی با TTFT، TPOT، ITL و Goodputراهنمای تخصصی معیارهای استنتاج LLM شامل TTFT، TPOT و Goodput؛ چرا میانگین معیار غلطی است و چگونه صدک‌های P99 تجربه کاربر را مشخص می‌کنند.
- راهنمای عملیاتی کوانتیزه‌سازی: AWQ، GPTQ، GGUF، FP8 و NVFP4راهنمای انتخاب قالب بهینه‌ی کوانتیزه‌سازی (AWQ، GPTQ، GGUF، FP8، NVFP4) برای سرویس‌دهی مدل‌های زبانی با کمترین افت کیفیت و حافظه.
- کاهش زمان راه‌اندازی سرد در استقرار بدون سرور مدل‌های زبانیراهکارهای عملی پنج‌گانه برای کاهش تأخیر راه‌اندازی سرد مدل‌های زبانی بزرگ و حفظ صرفه اقتصادی زیرساخت سرورلس.
- سرویس‌دهی چندمنطقه‌ای مدل‌های زبانی و مکان‌مندی کش KVراهنمای معماری مسیریابی آگاه از کش KV و کاهش تاخیر TTFT در استقرار چندمنطقه‌ای مدل‌های زبانی به همراه چک‌لیست بازیابی فاجعه.
- استنتاج لبه: اجرای مدل‌های زبانی روی Apple ANE، کوالکام، WebGPU و Jetsonبررسی گلوگاه پهنای باند حافظه در استنتاج روی لبه و راهنمای استقرار مدل‌های زبانی روی Apple ANE، کوالکام، WebGPU و پلتفرم‌های Jetson.
- راهنمای انتخاب استک مشاهده‌پذیری مدل‌های زبانی (LLM Observability)راهنمای عملی انتخاب ابزار مناسب مانیتورینگ، ردگیری و ارزیابی مدل‌های زبانی بزرگ بر اساس استک فنی، مجوزها، هزینه و قابلیت سلف‌هاست.
- اقتصاد کش پرامپت و کش معنایی در مدل‌های زبانیراهنمای مهندسی کش دو لایه‌ای پرامپت (L1 و L2) برای کاهش تا 90 درصدی هزینه‌های API مدل‌های زبانی و اجتناب از تله‌های افت نرخ اصابت.
- کاهش 50 درصدی هزینه‌ها با Batch API در مدل‌های زبانیراهنمای استفاده از Batch API در ارائه‌دهندگان بزرگ مدل‌های زبانی برای دریافت 50 درصد تخفیف و کاهش 90 درصدی هزینه‌ها همراه با کش‌گذاری.
- مسیریابی مدل برای کاهش هزینه در ابعاد بزرگراهنمای عملی پیاده‌سازی مسیریابی مدل و آبشار استنتاج (Cascading) برای کاهش 20 تا 60 درصدی هزینه‌های استفاده از مدل‌های زبانی با حفظ کامل کیفیت خروجی.
- سرویس‌دهی تفکیک‌شده پیش‌پرکنی و رمزگشایی با NVIDIA Dynamo و llm-dراهنمای تفکیک فازهای Prefill و Decode در استنتاج مدل‌های زبانی با استفاده از NVIDIA Dynamo و llm-d برای بهینه‌سازی مصرف سخت‌افزار و کاهش هزینه‌ها.
- معماری پروداکشن vLLM: تخلیه کش KV و مسیریابی آگاه از کشراهنمای تخصصی پیاده‌سازی استک عملیاتی vLLM، بررسی Connector API، تخلیه ناهمگام کش کلید-مقدار روی RAM با LMCache و جلوگیری از پیش‌پرکنی‌های تکراری.
- درگاه‌های هوش مصنوعی (AI Gateways) — بررسی LiteLLM، Portkey، Kong AI Gateway و Bifrostبررسی و مقایسه جامع درگاه‌های هوش مصنوعی مانند LiteLLM، Portkey و Kong AI بر اساس تاخیر، مدیریت خطا و سقف بار کاری.
- استقرار تدریجی مدل‌های زبانی: ترافیک سایه و استقرار قناریراهنمای گام‌به‌گام استقرار تدریجی LLM با ترافیک سایه، استقرار قناری و مدیریت بازگشت سریع با پرچم‌های قابلیت.
- تست A/B برای قابلیت‌های مبتنی بر مدل‌های زبانی: کار با Statsig و GrowthBookراهنمای جامع سنجش اثر تغییرات پرامپت، مدل و پارامترهای تولید در پروداکشن با تست‌های A/B، متدهای آماری CUPED و ابزارهای GrowthBook و Statsig.
- تست بار روی API مدل‌های زبانی: چرا k6 و Locust به شما دروغ می‌گویند؟بررسی خطاهای رایج در تست بار مدل‌های زبانی، تله‌های GIL و پرامپت یکنواخت، و مقایسه ابزارهایی مانند k6، LLMPerf و GenAI-Perf.
- کاربرد هوش مصنوعی در SRE: پاسخ به رخدادها با سیستم‌های چندایجنتآموزش پیاده‌سازی هوش مصنوعی در مهندسی قابلیت اطمینان سایت (AI SRE) با معماری چندایجنت، ران‌بوک‌های ساختاریافته و رفع خودکار و ایمن خرابی‌ها.
- مهندسی آشوب در سرویس‌های عملیاتی مدل‌های زبانیراهنمای عملی مهندسی آشوب در سیستم‌های LLM؛ شناسایی آسیب‌پذیری‌های پنهان زیرساخت استنتاج پیش از وقوع بحران در پروداکشن.
- امنیت در هوش مصنوعی: مدیریت کلیدها، چرخش رمزها، لاگ بازرسی و گاردریلراهکارهای استاندارد برقراری امنیت در سیستم‌های LLM: مدیریت والت، چرخش کلیدها، پاک‌سازی PII و محدودسازی ترافیک شبکه.
- انطباق و استانداردهای قانونی در محصولات هوش مصنوعیراهنمای عملی انطباق سیستم‌های هوش مصنوعی با استانداردهای SOC 2، HIPAA، GDPR، ISO 42001 و قانون هوش مصنوعی اروپا جهت مذاکرات تجاری سازمانی.
- فین‌اپس برای مدل‌های زبانی: اقتصاد واحد و انتساب هزینه در معماری چندمستأجریراهنمای مهندسی فین‌اپس برای LLMها؛ شیوه‌ی انتساب دقیق هزینه‌ها در معماری چندمستأجری و مهار مصارف غیرمنتظره‌ی توکن.
- انتخاب موتور استنتاج خودمیزبان LLM بر اساس سخت‌افزار و مقیاسراهنمای تصمیم‌گیری فنی برای انتخاب میان vLLM ،SGLang ،llama.cpp و Ollama با توجه به سخت‌افزار، مقیاس کاربران و نوع بار کاری.
- طراحی رابط کاربری دمو برای مدل‌های زبانی: از تابع تا وب‌اپلیکیشن امنتبدیل مدل هوش مصنوعی به یک دموی وب پایدار و امن با مدیریت استریم، محدودیت نرخ درخواست و سقف هزینه بدون نیاز به فریم‌ورک‌های سنگین.