فاز 19
پروژه‌های پایانی
هرچه یاد گرفته‌اید را ثابت کنید: سیستم‌هایی در حد نمونه‌کار حرفه‌ای.
- 85 درس
- حدود 105 ساعت
- ساخت ایجنت کدنویسی ترمینال: از رابط متنی تا ثبت Pull Requestپیاده‌سازی یک ایجنت کدنویسی کامل مبتنی بر ترمینال؛ شامل حلقه‌ی ابزار، ساندباکس امن، سیستم مدیریت هزینه و باز کردن خودکار Pull Request.
- پروژه نهایی 2: پیاده‌سازی RAG روی کدبیس و جستجوی معنایی چندریپازیتوریطراحی و پیاده‌سازی سیستم جستجوی معنایی کد در سطح چند ریپازیتوری با قطعه‌بندی بر پایه AST، سرچ ترکیبی، گراف نمادها و ایندکس‌گذاری افزایشی Git.
- پروژه پایانی 3 — ساخت ایجنت صوتی بلادرنگ (ASR به LLM به TTS)معماری و ساخت ایجنت صوتی بلادرنگ با تاخیر زیر 800ms، مدیریت ورود ناگهانی به کلام (Barge-in) و ابزارها با LiveKit و WebRTC.
- پرسش‌وپاسخ اسناد چندوجهی با رویکرد تصویرمحور، جداول و نمودارهاطراحی و پیاده‌سازی سیستم پرسش‌وپاسخ تصویرمحور روی اسناد PDF با تعامل متأخر (ColPali/ColQwen) و استناد به نواحی شواهد بدون نیاز به خط لوله سنتی OCR.
- پروژه پایانی: ساخت ایجنت پژوهشی خودکار به سبک AI-Scientistپیاده‌سازی پایپ‌لاین ایجنت پژوهشی خودکار برای برنامه‌ریزی، اجرای امن آزمایش‌ها در ساندباکس، تولید مقاله در LaTeX و داوری گروهی به سبک NeurIPS.
- پروژه پایانی: ساخت ایجنت عیب‌یابی دوآپس برای کوبرنتیزپیاده‌سازی یک ایجنت ایمن برای عیب‌یابی و تریاژ خودکار رخدادهای Kubernetes با گراف دانش، ابزارهای فقط‌خواندنی FastMCP و دروازه تأیید انسانی در Slack.
- پروژه‌ی پایانی 07: پایپ‌لاین سرتاسری فاین‌تیونینگ (از داده تا SFT، DPO و سرو)طراحی و پیاده‌سازی پایپ‌لاین کامل فاین‌تیونینگ مدل‌های زبانی از پاک‌سازی داده و آموزش با Axolotl و TRL تا کوانتیزه‌سازی و سرو کارآمد با vLLM.
- پروژه‌ی پایانی: ساخت سیستم RAG عملیاتی برای حوزه‌های حساسراهنمای جامع پیاده‌سازی چت‌بات RAG در محیط عملیاتی با بازیابی ترکیبی، کش پرامپت، گاردریل‌های ایمنی و ارزیابی جامع با RAGAS.
- ساخت ایجنت مهاجرت خودکار کد در مقیاس ریپازیتوریطراحی و پیاده‌سازی ایجنت هوشمند مهاجرت کدهای سازمانی با ترکیب موتورهای بازنویسی قطعی و مدل‌های زبانی در ساندباکس ایزوله.
- پروژه پایانی مهندسی نرم‌افزار چندایجنت: ساخت کارخانه کدنویسی موازیطراحی و پیاده‌سازی کارخانه نرم‌افزاری چندایجنت با معماری موازی، پروتکل A2A، مدیریت تعارضات مرج و ارزیابی دقیق روی SWE-bench Pro.
- پروژه نهایی: پیاده‌سازی داشبورد مشاهده‌پذیری و ارزیابی LLMپیاده‌سازی یک پلتفرم خودمیزبان مشاهده‌پذیری برای LLM با ClickHouse، ردیابی تریس‌ها بر پایه OpenTelemetry و سیستم ارزیابی خودکار با DeepEval و RAGAS.
- پروژه‌ی پایانی: پایپ‌لاین درک ویدیو، جست‌وجو و پرسش و پاسخطراحی و پیاده‌سازی پایپ‌لاین کامل درک ویدیو در مقیاس 100 ساعت با بخش‌بندی صحنه‌ها، ایندکس چندبرداری، مدل‌های VLM و ارجاع زمانی دقیق.
- پروژه پایانی MCP بی‌وضعیت: اتصال به رجیستری و حاکمیت دادهراهنمای عملی و جامع ساخت سرور Stateless MCP با Streamable HTTP، تفکیک لایه‌های رجیستری و اعمال دقیق مجوزها و خط‌مشی‌های سازمانی.
- پیاده‌سازی سرور استنتاج با دیکودینگ حدسی (Speculative Decoding)راهنمای عملی راه‌اندازی سرور استنتاج با دیکودینگ حدسی در vLLM برای دستیابی به شتاب 2.5 برابری در تولید توکن و بهینه‌سازی تاخیر دنباله.
- پروژه نهایی ایمنی مدل‌های زبانی: ساخت پایپ‌لاین گاردریل و میدان آزمون تیم قرمزطراحی بستر ایمنی چندلایه با طبقه‌بندهای نوین و راه‌اندازی میدان خودکار تیم قرمز برای کشف آسیب‌پذیری‌ها و ایمن‌سازی کاربردی LLMها.
- طراحی ایجنت مستقل گیت‌هاب: تبدیل خودکار ایشو به پول‌ریکوئستراهنمای گام‌به‌گام طراحی ایجنت پس‌زمینه‌ی گیت‌هاب که ایشوها را در ساندباکس ایزوله بررسی می‌کند و PR نهایی سبز و تست‌شده تحویل می‌دهد.
- پروژه‌ی نهایی: ساخت معلم خصوصی هوشمند چندوجهی و انطباقی با حافظهپیاده‌سازی یک سامانه‌ی تدریس انطباقی و چندوجهی به سبک سقراطی با مدل‌سازی یادگیرنده، گراف برنامه‌ی درسی در Neo4j و پشته‌ی صوتی تعاملی.
- قرارداد حلقه در بستر آزمایشی ایجنتقرارداد حلقه‌ی پایدار برای بستر ایجنت‌ها بر پایه‌ی ماشین وضعیت قطعی، نقاط واگذاری، هوک‌ها و مدیریت بودجه.
- پیاده‌سازی رجیستری ابزارها با اعتبارسنجی اسکیمایاد بگیرید چگونه یک رجیستری مطمئن برای ابزارهای ایجنت بسازید و آرگومان‌ها را با زیرمجموعه‌ای سبک از JSON Schema اعتبارسنجی کنید.
- پیاده‌سازی پروتکل JSON-RPC 2.0 روی ورودی و خروجی استانداردراهنمای گام‌به‌گام پیاده‌سازی پروتکل استاندارد JSON-RPC 2.0 روی stdio در پایتون برای ارتباط کلاینت و سرور ابزارها بدون نیاز به ساخت فرایند مجزا.
- پیاده‌سازی دیسپچر فراخوانی ابزارها (Dispatcher) در ایجنت‌های هوش مصنوعیآموزش گام‌به‌گام پیاده‌سازی لایه دیسپچر برای کنترل تایم‌اوت، مدیریت خطاها، تلاش مجدد و محدودسازی هم‌زمانی فراخوانی ابزارها در ایجنت‌های نرم‌افزاری.
- جریان کنترل برنامه‌ریزی و اجرا در ایجنت‌هاطراحی و پیاده‌سازی سیستم برنامه‌ریزی و اجرا (Plan-Execute) به همراه منطق بازبرنامه‌ریزی، اعمال سقف بودجه مراحل و مدیریت شکست‌ها در ایجنت‌ها.
- گیت‌های اعتبارسنجی و بودجه‌ی مشاهدات در بستر ایجنت‌هاپیاده‌سازی زنجیره‌ای از گیت‌های اعتبارسنجی قطعی و دفترکل مشاهدات برای مهار هزینه‌ی توکن و جلوگیری از خطرات امنیتی فراخوانی ابزارها در ایجنت.
- پیاده‌سازی ساندباکس اجرای کد با لیست سیاه و زندان مسیر در پایتونپیاده‌سازی یک ساندباکس توسعه‌یافته با پایتون برای مهار دستورات مخرب ایجنت، حبس دسترسی به ریشه پروژه و مدیریت امن زیرفرایندها.
- طراحی بستر ارزیابی ایجنت‌های هوش مصنوعی با وظایف آزمایشی ثابتپیاده‌سازی یک بستر ارزیابی کامل برای سنجش خودکار ایجنت‌های کدنویسی با وظایف ثابت، اعتبارسنجی قطعی و محاسبه‌ی معیارهای pass@1، pass@k، تاخیر و هزینه.
- مشاهده‌پذیری ایجنت‌ها با اسپن‌های OpenTelemetry GenAI و متریک‌های Prometheusپیاده‌سازی ردگیری محاسبات با قراردادهای OpenTelemetry GenAI و تولید متریک‌های متنی Prometheus با کتابخانه‌ی استاندارد پایتون بدون وابستگی خارجی.
- درس پایانی: ساخت ایجنت کدنویسی سرتاسری روی بستر آزمایشییکپارچه‌سازی گیت‌ها، ساندباکس، ارزیابی و قابلیت مشاهده‌پذیری در یک ایجنت کدنویسی خودکفا برای رفع یک باگ واقعی در پایتون.
- پیاده‌سازی توکنایزر BPE از صفر با پایتونپیاده‌سازی گام‌به‌گام الگوریتم کدگذاری جفت‌بایت (BPE) در سطح بایت از صفر با پایتون، شامل ساخت جدول ادغام و مدیریت توکن‌های ویژه.
- ساخت دیتاست با پنجره‌ی لغزان برای پیش‌آموزش در PyTorchآموزش ساخت پایپ‌لاین داده برای پیش‌آموزش مدل‌های زبانی با پنجره‌ی لغزان، شیفت توکن‌ها و بُر زدن قطعی در PyTorch.
- امبدینگ توکن و امبدینگ مکانی در پایتورچآموزش ساخت و ترکیب امبدینگ توکن با امبدینگ‌های مکانی یادگیری‌پذیر و سینوسی در پایتورچ برای ورود به بلوک‌های ترنسفورمر.
- پیاده‌سازی خوداتنشن چندسر (Multi-Head Self-Attention) در پایتورچپیاده‌سازی بهینه و گام‌به‌گام بلوک خوداتنشن چندسر همراه با ماسک علّی در PyTorch و تحلیل ابعاد تنسورها.
- پیاده‌سازی بلوک ترنسفورمر از صفر در PyTorchپیاده‌سازی پایه‌ای بلوک ترنسفورمر دیکودر با PyTorch، مقایسه پایداری آموزش Pre-LN در برابر Post-LN و تحلیل جریان گرادیان در لایه‌های عمیق.
- سرهم‌بندی مدل GPT: پیاده‌سازی معماری 124M و تولید متنسرهم‌بندی 12 بلوک ترنسفورمر، امبدینگ توکن و موقعیت در یک کلاس کامل 124 میلیونی GPT و تولید متن با نمونه‌برداری چندجمله‌ای و top-k در PyTorch.
- حلقه‌ی آموزش و ارزیابی در مدل‌های زبانی: ساخت پایپ‌لاین کامل با PyTorchاسکلت استاندارد حلقه‌ی آموزش و ارزیابی مدل GPT شامل تفکیک وزن در AdamW، وارم‌آپ کسینوسی، تراز تانسورها و لاگ‌گیری استاندارد را بسازید.
- بارگذاری وزن‌های از پیش آموزش‌دیده GPT-2 با Safetensorsآموزش بارگذاری وزن‌های safetensors در معماری محلی GPT-2، تطبیق نام‌ها و ترانهاده کردن ماتریس‌ها بدون ابزارهای جانبی.
- فاین‌تیونینگ دسته‌بند متنی با تعویض سر مدل زبانیآموزش ساخت دسته‌بند متن با تعویض سرِ خروجی مدل زبانی و مقایسه‌ی دو سازوکار بدنه‌ی منجمد و فاین‌تیونینگ کامل در PyTorch.
- آموزش فاین‌تیونینگ نظارت‌شده (SFT) با ترنسفورمر و PyTorchتبدیل مدل پایه به دنبال‌کننده‌ی دستور با فاین‌تیونینگ نظارت‌شده (SFT)، ماسک‌گذاری توکن‌های ورودی در PyTorch و ارزیابی به روش تطابق دقیق.
- آموزش پیاده‌سازی DPO از صفر: بهینه‌سازی مستقیم ترجیحات در پایتونآموزش پیاده‌سازی الگوریتم بهینه‌سازی مستقیم ترجیحات (DPO) از صفر با PyTorch بدون نیاز به آموزش مدل پاداش مجزا و پیچیدگی‌های PPO.
- طراحی پایپ‌لاین ارزیابی مدل زبانی (Evaluation Pipeline)پیاده‌سازی یک پایپ‌لاین کامل برای ارزیابی چندبعدی مدل‌های زبانی با سنجه‌های پرپلکسیتی، تطابق دقیق، F1 توکن و داوری محلی در قالب یک گزارش وزندار یکپارچه.
- دانلود استریمینگ و پایدار دیتاسِت‌های حجیم با MinHash و LSHساخت یک سیستم دانلود استریمینگ با قابلیت Resume ضدخرابی، فشرده‌زدایی بی‌درنگ و حذف نمونه‌های متنی تقریباً تکراری با MinHash و LSH.
- پیکره توکن‌سازی‌شده HDF5 برای آموزش مدل‌های زبانیپیاده‌سازی پایپ‌لاین استریمینگ توکن‌ها در فرمت تکه‌بندی‌شده HDF5 و خواندن بهینه با دیتا لودر پنجره‌ی لغزان برای پیش‌آموزش مدل‌های زبانی.
- زمان‌بندی نرخ یادگیری کسینوسی با وارم‌آپ خطی در PyTorchپیاده‌سازی برنامه‌ی زمان‌بندی کسینوسی نرخ یادگیری همراه با پیش‌گرمایش خطی در AdamW و پایش هم‌زمان نُرم گرادیان برای آموزش پایدار مدل‌ها.
- برش گرادیان و آموزش با دقت ترکیبی (AMP) در PyTorchپیاده‌سازی حلقه‌ی پایدار آموزش مدل با تلفیق Gradient Clipping و Mixed Precision جهت پیشگیری از انفجار گرادیان و مقادیر NaN.
- انباشت گرادیان (Gradient Accumulation): آموزش دسته‌های بزرگ با حافظه محدودآموزش دسته‌های بزرگ با حافظه محدود GPU از طریق تکنیک انباشت گرادیان، مقیاس‌بندی تابع زیان و همگام‌سازی بهینه‌ساز در PyTorch.
- ذخیره و بازیابی چک‌پوینت در آموزش مدل‌های یادگیری عمیقراهنمای ذخیره و بازیابی چک‌پوینت به‌صورت اتمیک در PyTorch همراه با ثبت وضعیت کامل RNG و شاردینگ فایل‌های حجیم.
- آموزش DDP و FSDP در PyTorch از صفرپیاده‌سازی گام‌به‌گام و از صفر لایه‌های توزیع داده DDP و شاردینگ پارامتر FSDP در PyTorch با بک‌اند gloo روی پردازنده‌ی اصلی.
- ساخت بستر ارزیابی مدل زبانی (LM Eval Harness) از صفرراهنمای ساخت یک چارچوب سبک و ماژولار برای ارزیابی مدل‌های زبانی با پنج معیار سنجش، وظایف چندگانه و تولید تابلوی امتیازات قابل بازتولید.
- تولید خودکار فرضیه و فیلتر نوآوری در ایجنت‌های پژوهشیآموزش گام‌به‌گام تولید فرضیه‌های متنوع برای ایجنت‌های پژوهشی با تکنیک افزایش پله‌ای دما، فیلتر امبدینگ و رتبه‌بندی آزمون‌پذیری بدون وابستگی خارجی.
- پیاده‌سازی بازیابی مقالات با BM25 و گراف استنادیساخت سیستم هیبریدی بازیابی مقالات علمی با ترکیب جستجوی واژگانی BM25 و پیمایش BFS روی گراف استنادات بدون کتابخانه‌های حجیم.
- پیاده‌سازی Experiment Runner برای اجرای امن آزمایش‌ها در Subprocessطراحی و پیاده‌سازی رانر اجرای آزمایش‌ها در زیرفرایند پایتون با محدودیت زمانی، سقف مصرف حافظه و خروجی ساختاریافته JSON.
- طراحی ارزیاب نتایج و صدور رأی آماری فرضیه‌هاپیاده‌سازی ارزیاب خودکار نتایج آزمایش‌ها با آزمون آماری جفت‌شده و تفکیک بهبود واقعی از نویز تصادفی.
- تولید خودکار مقاله در LaTeX: معماری مبتنی بر اسکلت و مانیفستتبدیل مقاله پژوهشی به داده‌های ساختاریافته در پایتون، رندر تضمین‌شده در LaTeX و اعتبارسنجی پیش از نگارش متن.
- حلقه ناقد در سیستم‌های زبانی: مهندسی همگرایی و بازنگری ساختاریافتهطراحی حلقه نقد و بازنگری خودکار با ساختار برداری پنج‌بُعدی، شروط همگرایی دقیق و سقف بودجه برای جلوگیری از اجرای بی‌پایان.
- پیاده‌سازی زمان‌بند تکرار و اجرای هم‌روند آزمایش‌هاطراحی یک اسکژولر هوشمند مبتنی بر UCB1 و asyncio برای اولویت‌بندی، اجرای هم‌روند و هرس شاخه‌های فرضیه در چرخه‌های پژوهشی خودکار.
- پیاده‌سازی سرتاسری حلقه‌ی پژوهش خودکار در پایتوناتصال قطعی و بدون فریم‌ورک ماژول‌های پژوهش خودکار از فرضیه‌سازی تا نگارش مقاله در پایتون.
- آموزش ساخت لایه Patch Embedding و ورودی ترنسفورمر بینایی (ViT)آموزش پیاده‌سازی گام‌به‌گام توکن‌ساز تصویر (Patch Embedding) و امبدینگ موقعیت دوبعدی برای ترنسفورمرهای بینایی.
- پیاده‌سازی انکودر ترنسفورمر بینایی (ViT): از توکن‌های تصویر تا تجمیع با CLSپیاده‌سازی کامل انکودر ترنسفورمر بینایی (ViT-Base) شامل بلوک‌های Pre-LN، خوداتنشن چندسر و نحوه‌ی عملکرد توکن CLS در استخراج ویژگی‌های تصویر.
- لایه‌ی پروجکشن برای هم‌ترازی مدالیته در مدل‌های بینایی-زبانپیاده‌سازی لایه‌ی پروجکشن دولایه‌ی MLP برای تصویر کردن بردار ویژگی‌های تصویر به فضای امبدینگ متن و هم‌ترازی آن‌ها با تابع زیان کسینوسی.
- پیاده‌سازی کراس‌اتنشن و بلوک دیکودر تصویر-زبانپیاده‌سازی بلوک کراس‌اتنشن و ساخت دیکودر تصویر-زبان به روش ادغام دیرهنگام همراه با مدیریت ماسک‌های خوداتنشن و کش کلید/مقدار.
- پیش‌آموزش بینایی-زبان: ترکیب زیان کنتراستیو InfoNCE و مدل‌سازی زبانپیاده‌سازی گام‌به‌گام پیش‌آموزش مدل بینایی-زبان با ترکیب زیان کنتراستیو InfoNCE و مدل‌سازی زبان برای کپشن‌نویسی و رتبه‌بندی هم‌زمان.
- ارزیابی مدل‌های چندوجهی: پیاده‌سازی R@K، VQA و BLEU-4پیاده‌سازی پایه‌ای سه معیار کلیدی ارزیابی مدل‌های چندوجهی: بازیابی تصویر با R@K، پاسخ به پرسش‌های تصویری (VQA) و کپشن‌نویسی با BLEU-4.
- مقایسه‌ی استراتژی‌های قطعه‌بندی متن در RAGمرزبندی نادرست قطعه‌ها سقف دقت کل پایپ‌لاین RAG را خراب می‌کند؛ در این درس پنج روش اصلی قطعه‌بندی را از صفر ساخته و با Recall@K می‌سنجیم.
- بازیابی ترکیبی با BM25 و امبدینگ‌های متراکمپیاده‌سازی بازیابی ترکیبی در پایتون با ترکیب BM25 و امبدینگ‌های متراکم از طریق الگوریتم Reciprocal Rank Fusion برای بهبود چشمگیر دقت سیستم‌های RAG.
- بازرتبه‌بندی با کراس‌ان‌کودر: ارتقای دقت بازیابی در RAGدر این درس با پیاده‌سازی گام‌به‌گام کراس‌ان‌کودر و اتصال آن به بازیاب اولیه، کیفیت پاسخ‌ها را در سامانه‌های RAG به‌طور چشمگیر ارتقا می‌دهید.
- بازنویسی پرسش در RAG: پیاده‌سازی HyDE، Multi-Query و Decompositionیاد بگیرید چطور با بازنویسی پرسش کاربر به کمک HyDE، چندپرسشی و تجزیه، دقت و نرخ بازیابی سیستم‌های RAG را افزایش دهید.
- ارزیابی پایپ‌لاین RAG: معیارهای بازیابی، رتبه‌بندی و پاسخراهنمای عملی ارزیابی سیستم‌های RAG با محاسبه‌ی معیارهای بازیابی، رتبه‌بندی، وفاداری و ارتباط پاسخ برای شناسایی دقیق محل خرابی پایپ‌لاین.
- پیاده‌سازی پایپ‌لاین سرتاسری RAG همراه با ارزیابی و دموترکیب تکه‌ساز، بازیاب ترکیبی، بازنویس، بازرتبه‌بند و تولیدکننده‌ی پاسخ در یک پایپ‌لاین سرتاسری همراه با مکانیزم ارجاع و تست خودکار.
- طراحی فرمت مشخصات فنی وظایف ارزیابی مدل‌های زبانیقرارداد داده‌ای و اعتبارسنج سخت‌گیرانه‌ی JSONL برای ساخت یک بستر ارزیابی پایدار، استاندارد و مقایسه‌پذیر میان مدل‌های زبانی مختلف.
- پیاده‌سازی معیارهای کلاسیک ارزیابی LLM: از BLEU تا ROUGEپیاده‌سازی پنج معیار کلاسیک ارزیابی مدل‌های زبانی شامل BLEU، ROUGE-L، F1، دقت و تطابق دقیق از صفر در پایتون با قوانین توکن‌سازی شفاف.
- ارزیابی و اجرای امن کد در مدل‌های زبانی با زیرفرایند ایزولهپیاده‌سازی بستر اجرای امن و ارزیابی کد تولیدشده توسط مدل‌های زبانی با زیرفرایند ایزوله، محدودیت حافظه و زمان، و محاسبه‌ی شاخص pass-at-k.
- محاسبه پرپلکسیتی و کالیبراسیون در ارزیابی مدل‌های زبانیپیاده‌سازی معیارهای پرپلکسیتی، خطای کالیبراسیون مورد انتظار (ECE) و امتیاز برایر برای سنجش دقیق و قابل اعتماد عدم قطعیت در مدل‌های زبانی.
- تجمیع نتایج و ساخت لیدربورد ارزیابی مدل‌های زبانییاد بگیرید چگونه نتایج ناهمگن ارزیابی مدل‌ها را با نرمال‌سازی، محاسبه‌ی بازه‌ی اطمینان بوت‌استرپ و نرخ برد به یک لیدربورد قابل دفاع تبدیل کنید.
- یکپارچه‌سازی پایپ‌لاین ارزیابی مدل‌های زبانی: ساخت رانر کاملاتصال قطعات پایپ‌لاین ارزیابی: ساخت یک رانر کامل برای ارزیابی مدل‌های زبانی با اجرای موازی، سنجش کالیبراسیون و خروجی لیدربورد.
- پیاده‌سازی عملیات جمعی در آموزش توزیع‌شده از صفرپیاده‌سازی چهار عملیات جمعی پایه‌ای آموزش توزیع‌شده (Allreduce، Broadcast، Allgather و Reduce-scatter) از صفر در پایتون و اعتبارسنجی با PyTorch.
- آموزش پیاده‌سازی DDP از صفر در PyTorch برای موازی‌سازی دادهدر این درس یک ماژول DistributedDataParallel را از صفر با پایتون می‌سازیم تا منطق همگام‌سازی گرادیان‌ها و همپوشانی ارتباطی در موازی‌سازی داده را دقیق بیاموزیم.
- خرد کردن وضعیت بهینه‌ساز با ZeRO-1: پیاده‌سازی و تحلیل حافظهبا خرد کردن وضعیت بهینه‌ساز Adam در ZeRO-1، بیش از 60 درصد حافظه آموزش مدل‌های زبانی بزرگ را بدون افزایش ترافیک ارتباطی شبکه آزاد کنید.
- موازی‌سازی پایپ‌لاین و تحلیل حباب (Pipeline Parallelism)آموزش موازی‌سازی پایپ‌لاین در مدل‌های زبانی بزرگ، زمان‌بندی ریزدسته‌ها با GPipe و 1F1B و تحلیل کسری حباب بیکاری پردازنده‌ها.
- چک‌پوینت تکه‌تکه‌شده و ادامه‌ی اتمیک در آموزش توزیع‌شدهیاد بگیرید چگونه با چک‌پوینت‌های تکه‌تکه‌شده و نوشتن اتمیک، وضعیت مدل‌های زبانی حجیم را سریع، موازی و بدون خطر داده‌های ناقص ذخیره و بازیابی کنید.
- آموزش توزیع‌شده سرتاسری: پیاده‌سازی کامل MiniGPT با DDP و ZeRO-1ترکیب عملی DDP، تکنیک ZeRO-1 و چک‌پوینت‌های شاردشده در قالب یک حلقه‌ی آموزش توزیع‌شده‌ی کامل برای مدلی بر پایه‌ی معماری ترنسفورمر.
- دسته‌بندی موضوعی حملات جیل‌بریک در مدل‌های زبانیپیاده‌سازی یک رده‌بندی 6 گانه برای برچسب‌گذاری پرامپت‌های جیل‌بریک و تبدیل تهدیدهای امنیتی مدل‌های زبانی به معیارهای ارزیابی قابل اندازه‌گیری با پایتون.
- ساخت شناساگر تزریق پرامپت با معماری چندلایه و معیارهای ارزیابیطراحی و پیاده‌سازی شناساگر تزریق پرامپت با معماری سه‌لایه (نرمال‌سازی، زیررشته و ریجکس) همراه با سنجش سیستماتیک دقت و بازخوانی در پایتون.
- ارزیابی امتناع مدل‌های زبانی: سنجش امتناع افراطی و تفریطیطراحی چارچوب ارزیابی برای سنجش امتناع افراطی، تفریطی و کالیبراسیون مدل زبانی بدون تکیه بر فراخوانی‌های پرنوسان.
- یکپارچه‌سازی کلاسیفایرهای خروجی مدل‌های زبانی با مسیریاب خط‌مشیطراحی و یکپارچه‌سازی کلاسیفایرهای سمت خروجی مدل با یک مسیریاب خط‌مشی برای تشخیص مسمومیت کلامی، PII و نشت پرامپت به همراه منطق پاک‌سازی داده‌ها.
- موتور قوانین بنیادین (Constitutional Rules Engine): اعتبارسنجی و اصلاح خودکار خروجی LLMآموزش ساخت موتور قوانین توصیفی (Rules Engine) و ماژول اصلاح خودکار (Fixer) برای سنجش شروط قراردادی و ارتقای ایمنی پاسخ‌های LLM.
- پروژه جامع 87: پیاده‌سازی گیت ایمنی سرتاسری برای مدل‌های زبانیترکیب شناساگر ورودی، فیلتر استریمینگ و موتور قوانین در قالب یک گیت ایمنی سه‌مرحله‌ای همراه با ثبت ردگیری کامل محاسبات برای هر درخواست.