ابزارهای تیم قرمز مدل‌های زبانی: راهنمای Garak، Llama Guard و PyRIT

پس از بررسی انواع حملات مانند جیل‌بریک و تزریق پرامپت، چالش اصلی تیم‌های فنی انتقال این آزمون‌ها به فرایندهای خودکار، تکرارپذیر و سازگار با محیط عملیاتی (Production) است. اجرای دستی آزمون‌های امنیتی روی مدل‌های زبانی بزرگ، زمان‌بر بوده و امکان پایش مداوم مدل‌ها را پس از هر به‌روزرسانی فراهم نمی‌کند.

در سال 2026 پشته‌ی امنیتی تیم قرمز بر سه ابزار کلیدی تکیه دارد: Llama Guard به عنوان دسته‌بند دفاعی ورودی و خروجی، Garak به عنوان اسکنر خودکار آسیب‌پذیری‌ها، و PyRIT برای هدایت کمپین‌های تهاجمی چندنوبتی. ترکیب این سه ابزار به تیم‌ها اجازه می‌دهد سدهای دفاعی را پیش و پس از مدل قرار دهند و آزمون‌های پسرفت را منظم اجرا کنند.

کدها و چارچوب‌های ارزیابی این درس برای اجرا روی محیط‌های محلی و سیستم‌های لبه طراحی شده‌اند؛ برای نمونه نسخه‌های سبک مانند Llama Guard 3-1B-INT4 حتی روی سخت‌افزارهای ضعیف‌تر و بدون نیاز به GPUهای پرهزینه‌ی خارجی نیز قابل آزمایش هستند.

پشته‌ی ابزارهای تیم قرمز (Red-team stack) در سال 2026 بر پایه‌ی سه ابزار محیط عملیاتی (پروداکشن) شکل گرفته است: Llama Guard (محصول Meta) — یک دسته‌بند مبتنی بر Llama-3.1-8B که روی 14 دسته‌بندی خطرات MLCommons فاین‌تیون شده است؛ نسخه‌ی Llama Guard 4 در سال 2025 نیز یک دسته‌بند ذالتاً چندحالته با 12B پارامتر است که از هرس کردن Llama 4 Scout به‌دست آمده است. Garak (محصول NVIDIA) — اسکنر متن‌باز آسیب‌پذیری‌های مدل‌های زبانی بزرگ که به آزمون‌های ارزیابی (Probe) ایستا، پویا و انطباقی برای توهم، نشت داده، تزریق پرامپت، سمیت و جیل‌بریک مجهز است. PyRIT (محصول Microsoft) — ابزار اجرای کمپین‌های چندنوبتی تیم قرمز با تکنیک‌های Crescendo ،TAP و زنجیره‌های تبدیل سفارشی برای بهره‌برداری‌های عمیق. مستندات Llama Guard 3 در مقاله‌ی «Llama 3 Herd of Models» شرکت Meta (به شماره‌ی arXiv:2407.21783) آمده است؛ مدل Llama Guard 3-1B-INT4 در arXiv:2411.17713 بررسی شده؛ و معماری آزمون‌های ارزیابی Garak نیز در github.com/NVIDIA/garak مستند است. این ابزارها در سال 2026 رابط عملیاتی میان پژوهش‌های تیم قرمز (درس‌های 12 تا 15) و مرحله‌ی استقرار (از درس 17 به بعد) به شمار می‌روند.

اهداف یادگیری

• جایگاه Llama Guard 3/4 را در پشته‌ی ایمنی مشخص کنید: دسته‌بند ورودی، دسته‌بند خروجی، یا هر دو.
• 14 دسته‌بندی خطرات MLCommons را نام ببرید و به یکی از موارد کمتر بدیهی آن (سوءاستفاده از مفسر کد) اشاره کنید.
• معماری ارزیابی در Garak را شرح دهید: آزمون‌های ارزیابی (Probes)، آشکارسازها (Detectors)، و بسترهای آزمایشی (Harnesses).
• ساختار کمپین‌های چندنوبتی در PyRIT و نحوه‌ی ترکیب آن با آزمون‌های Garak را توضیح دهید.

صورت مسئله

در درس‌های 12 تا 15 با سطح حمله (Attack surface) آشنا شدید. در محیط عملیاتی به ارزیابی‌های تکرارپذیر و مقیاس‌پذیر نیاز دارید. در سال 2026 سه ابزار میدان‌دار این حوزه هستند: Llama Guard (دسته‌بند دفاعی)، Garak (اسکنر امنیتی) و PyRIT (هماهنگ‌کننده‌ی کمپین‌ها). هرکدام از این ابزارها لایه‌ی متفاوتی از چرخه‌ی حیات تیم قرمز را هدف می‌گیرند.

مفاهیم کلیدی

Llama Guard (محصول Meta)

مدل Llama Guard 3 نسخه‌ای از Llama-3.1-8B است که برای دسته‌بندی ورودی و خروجی بر اساس 14 دسته‌بندی استاندارد MLCommons AILuminate فاین‌تیون شده است:

• جرایم خشن، جرایم غیرخشن، موارد جنسی، سوءاستفاده‌ی جنسی از کودکان (CSAM)، افترا
• مشاوره‌های تخصصی، حریم خصوصی، مالکیت فکری (IP)، سلاح‌های کور و کشتار جمعی، نفرت‌پراکنی
• خودکشی و خودآزاری، محتوای جنسی، انتخابات، سوءاستفاده از مفسر کد (Code-interpreter abuse)

این مدل از 8 زبان پشتیبانی می‌کند. نحوه‌ی استفاده: قرار دادن پیش از مدل زبانی (پایش ورودی)، پس از مدل زبانی (پایش خروجی)، یا هر دو طرف. این دو حالت توزیع‌های داده‌ای متفاوتی برای آموزش تولید می‌کنند — اما Llama Guard 3 در قالب یک مدل واحد عرضه می‌شود که از پس هر دو سناریو برمی‌آید.

مدل Llama Guard 3-1B-INT4 (بر اساس arXiv:2411.17713، با حجم 440MB و سرعت پردازش حدود 30 توکن بر ثانیه روی پردازنده‌ی موبایل) نسخه‌ی کوانتیزه‌شده‌ی آن برای دستگاه‌های لبه (Edge) است.

نسخه‌ی Llama Guard 4 (آوریل 2025) با 12B پارامتر، ذاتاً چندحالته است و از Llama 4 Scout مشتق شده است. این مدل جایگزین هر دو نسخه‌ی قبلی (8B متنی و 11B تصویری) شده و در قالب یک دسته‌بند واحد، ورودی‌های متنی و تصویری را با هم ارزیابی می‌کند.

Garak (محصول NVIDIA)

یک اسکنر متن‌باز آسیب‌پذیری با معماری زیر:

• آزمون‌های ارزیابی (Probes): مولدهای حمله برای ارزیابی توهم، نشت داده، تزریق پرامپت، سمیت و جیل‌بریک. این آزمون‌ها در سه نوع ایستا (پرامپت‌های ثابت)، پویا (پرامپت‌های تولیدشده) و انطباقی (واکنش به خروجی هدف) عمل می‌کنند.
• آشکارسازها (Detectors): امتیازدهی به خروجی‌ها در مقایسه با حالت‌های شکست (Failure modes) مورد انتظار — مانند محتوای سمی، داده‌ی نشت‌کرده یا جیل‌بریک موفق.
• بسترهای آزمایشی (Harnesses): مدیریت جفت‌های آزمون-آشکارساز، اجرای کمپین‌ها و تولید گزارش‌ها.

ابزار TrustyAI با ادغام Garak و لایه‌های محافظتی Llama-Stack (دسته‌بند ورودی Prompt-Guard-86M و دسته‌بند خروجی Llama-Guard-3-8B)، ارزیابی سرتاسری (End-to-end) اهداف مجهز به سپر امنیتی را ممکن می‌کند. در این ساختار، امتیازدهی مبتنی بر سطح شدت (TBSA) جایگزین خروجی باینری قبولی/ردی شده است؛ به این معنی که یک مدل می‌تواند در همان آزمون، سطح شدت 3 را با موفقیت پشت سر بگذارد اما در سطح شدت 5 مردود شود.

PyRIT (محصول Microsoft)

جعبه‌ابزار شناسایی ریسک در پایتون (Python Risk Identification Toolkit) برای اجرای کمپین‌های چندنوبتی تیم قرمز. این ابزار حول سه مؤلفه شکل گرفته است:

• مبدل‌ها (Converters): بازنویسی و تبدیل پرامپت اولیه — از طریق بازگویی (Paraphrase)، کدگذاری، ترجمه یا نقش‌آفرینی.
• هماهنگ‌کننده‌ها (Orchestrators): اجرای کمپین با راهبردهای گوناگون: Crescendo (تشدید تدریجی)، TAP (تکنیک انشعابی یا branching) و RedTeaming (حلقه‌ی سفارشی).
• سیستم امتیازدهی (Scoring): استفاده از مدل زبانی در نقش داور (LLM-as-judge) یا دسته‌بند در نقش داور.

ابزار PyRIT نسخه‌ی سنگین‌تر Garak است. Garak هزاران آزمون تک‌نوبتی را اجرا می‌کند؛ در مقابل، PyRIT کمپین‌های عمیق و چندنوبتی را برای شکستن قفل‌های امنیتی در حالت‌های شکستِ بسیار خاص پیاده می‌کند.

پشته‌ی امنیتی

مدل Llama Guard را در هر دو سمت مدل بگذارید. Garak را هر شب برای بررسی پسرفت‌ها (Regression) اجرا کنید. کمپین‌های PyRIT را هم پیش از انتشار نهایی اجرا کنید. این چیدمان، پیکربندی پیش‌فرض بیشتر سامانه‌ها در محیط عملیاتی سال 2026 است.

تله‌های ارزیابی

• هویت مدل داور: هر سه ابزار می‌توانند از یک LLM به‌عنوان داور استفاده کنند؛ کالیبراسیون (Calibration) داور عامل اصلی نرخ موفقیت حمله (ASR) گزارش‌شده است (درس 12). هنگام مشخص کردن ابزار، حتماً مدل داور را هم قید کنید.
• کهنگی آزمون ارزیابی (Probe staleness): با پچ شدن مدل‌ها در برابر آزمون‌ها، آزمون‌های Garak کهنه می‌شوند و اثر خود را از دست می‌دهند. آزمون‌های انطباقی (با ساختار PAIR) دیرتر از آزمون‌های ایستا کهنه می‌شوند.
• نرخ مثبت کاذب Llama Guard روی محتوای مجاز: نسخه‌های اولیه‌ی Llama Guard روی محتواهای سیاسی و موضوعات LGBTQ+ بیش از حد اخطار می‌دادند؛ کالیبراسیون Llama Guard 3/4 بهتر شده، ولی هنوز برای هر محیط عملیاتی اختصاصی کالیبره نشده است.

جایگاه این مبحث در فاز 18

درس‌های 12 تا 15 خانواده‌های حمله را معرفی کردند. درس 16 ابزارهای محیط عملیاتی را پوشش می‌دهد. درس 17 (WMDP) به ارزیابی قابلیت دومنظوره (Dual-use) می‌پردازد. و در نهایت درس 18 چارچوب‌های ایمنی پیشرو (Frontier Safety Frameworks) را بررسی می‌کند که این ابزارها را درون یک ساختار سیاست‌گذاری قرار می‌دهند.

پیاده‌سازی عملی

اسکریپت code/main.py یک دسته‌بند ساده به سبک Llama Guard (بر پایه‌ی کلمات کلیدی + ویژگی‌های معنایی روی 14 دسته‌بندی)، یک بستر آزمایشی کوچک به سبک Garak (حلقه‌ی آزمون-آشکارساز) و یک زنجیره‌ی تبدیل چندنوبتی به سبک PyRIT می‌سازد. می‌توانید این سه ابزار را در برابر یک هدف ساختگی (Mock) اجرا کنید و نشانه‌های پوشش متفاوت هرکدام را ببینید.

تحویل نهایی

این درس فایل outputs/skill-red-team-stack.md را تولید می‌کند. این فایل با دریافت شرح یک پیاده‌سازی عملیاتی مشخص می‌کند کدام‌یک از این سه ابزار مناسب است، در هرکدام چه چیزهایی باید پیکربندی شود و تست‌های پسرفت باید با چه دوره‌ی تناوبی اجرا شوند.

تمرین‌ها

1. اسکریپت code/main.py را اجرا کنید. نرخ شناسایی دسته‌بندِ شبیه به Llama Guard را در حملات تک‌نوبتی در برابر حملات چندنوبتی مقایسه کنید.

2. یک آزمون ارزیابی جدید برای Garak بسازید: درخواستی مخرب که با Base64 کدگذاری شده است. میزان شناسایی آن را با دسته‌بندِ شبیه به Llama Guard بسنجید.

3. زنجیره‌ی تبدیل به سبک PyRIT را با افزودن یک مبدلِ «ترجمه به فرانسوی، سپس بازنویسی» گسترش دهید. نرخ موفقیت حمله را دوباره اندازه‌گیری کنید.

4. فهرست دسته‌بندی خطرات Llama Guard 3 را بخوانید. دو دسته‌بندی پیدا کنید که داده‌های آموزشی آن‌ها در عمل باعث نرخ بالای مثبت کاذب روی محتوای معتبر برنامه‌نویسان می‌شود.

5. اصول طراحی Garak و PyRIT را با یکدیگر مقایسه کنید. برای هرکدام یک سناریوی استقرار بیاورید که نشان دهد چرا در آن مورد، ابزار مناسب‌تری است.

اصطلاحات کلیدی

برای مطالعه‌ی بیشتر

• Meta — Llama Guard 3 (in Llama 3 Herd paper, arXiv:2407.21783) — دسته‌بند 8B
• Meta — Llama Guard 3-1B-INT4 (arXiv:2411.17713) — دسته‌بند کوانتیزه‌شده برای دستگاه‌های موبایل
• NVIDIA Garak — GitHub — مخزن کد و مستندات این اسکنر
• Microsoft PyRIT — GitHub — جعبه‌ابزار اجرای کمپین‌های ارزیابی ریسک