بسیاری از دیواره‌های آتش و گاردریل‌های ایمنی مدلهای زبانی بر پایه‌ی تحلیل متن، کلیدواژه‌ها یا پرپلکسیتی عمل میکنند. حملاتی مثل بازنویسی یا نقش‌آفرینی تلاش میکنند معنای عبارت را دستکاری کنند، اما حملهی ArtPrompt رویکردی کاملاً متفاوت دارد: عبارات حساس را به تصاویر متنی و هنر اسکی (ASCII Art) تبدیل میکند تا لایه‌های امنیتی متنی متوجه کلمات خطرناک نشوند.
چالش اصلی اینجاست که مدلهای توانمند امروزی میتوانند این اشکال بصری را بخوانند و مقصود مهاجم را بفهمند، درحالی‌که فیلترهای سبک کلمات کلیدی، پرامپت را متنی بیخطر ارزیابی میکنند. درک این شکاف میان لایه‌ی ارزیابی ایمنی و توان پردازش بصری مدل، برای هر مهندسی که به دنبال امن‌سازی پایدار سیستم‌های مبتنی بر هوش مصنوعی است اهمیتی اساسی دارد.
جیانگ، شو، نیو، شیانگ، راماسوبرامانیان، لی، پووندران، «ArtPrompt: ASCII Art-based Jailbreak Attacks against Aligned LLMs» (کنفرانس ACL 2024، شناسه arXiv:2402.11753). توکنهای مرتبط با ایمنی را در یک درخواست مخرب ماسک کنید، آنها را با بازنمایی هنر اسکی (ASCII art) از همان حروف جایگزین کنید و پرامپت استتارشده را بفرستید. مدلهای GPT-3.5، GPT-4، Gemini، Claude و Llama-2 همگی در تشخیص پایدار توکنهای هنر اسکی شکست می‌خورند. این حمله فیلترهای پرپلکسیتی (PPL)، دفاع‌های مبتنی بر بازنویسی (Paraphrase defenses) و توکن‌سازی مجدد (Retokenization) را دور میزند. موضوعات مرتبط: بنچمارک ViTC توانایی تشخیص پرامپتهای بصری غیرمعنایی را میسنجد؛ حملهی StructuralSleight نیز این ایده را به ساختارهای متنی رمزشدهی نامتعارف (درختها، گرافها و JSON تودرتو) به‌عنوان خانواده‌ای از حملات مبتنی بر کدگذاری تعمیم میدهد.
اهداف یادگیری
- تشریح حملهی ArtPrompt: مرحله‌ی شناسایی کلمات، جایگزینی با هنر اسکی و ساخت نهایی پرامپت استتارشده.
- توضیح دلایل ناکارآمدی دفاع‌های استاندارد (PPL، بازنویسی و توکن‌سازی مجدد) در برابر ArtPrompt.
- تعریف ViTC و توصیف سازوکار سنجش آن.
- تشریح حملهی StructuralSleight به‌عنوان نسخه‌ی تعمیم‌یافته روی ساختارهای متنی رمزشدهی نامتعارف (UTES).
صورت مسئله
حملات مبتنی بر بازنویسی و نقش‌آفرینی (درس 12) و حملات مبتنی بر بافت طولانی (درس 13) روی الگوهای متنی عمل میکنند. در مقابل، ArtPrompt در سطح تشخیص بصری وارد عمل می‌شود: مدل توکن ممنوعه را تجزیه نمی‌کند، بلکه تصویری را می‌خواند که با کاراکترها ترسیم شده است. فیلتر ایمنی فقط چند علامت نگارشی بیخطر میبیند؛ در حالی که مدل کلمه را درک میکند.
مبانی نظری
دو مرحله‌ی حملهی ArtPrompt
مرحله‌ی 1. شناسایی کلمات (Word Identification). حمله‌کننده با ارسال درخواست مخرب به یک مدل زبانی، کلمات حساس از نظر ایمنی را مشخص میکند (مثلاً کلمه‌ی «bomb» در عبارت «how to make a bomb»).
مرحله‌ی 2. تولید پرامپت استتارشده (Cloaked Prompt Generation). هر کلمه‌ی شناسایی‌شده با تصویر هنر اسکی آن جایگزین می‌شود (بلوکی 7x5 یا 7x7 از کاراکترها که شکل حرف را می‌سازند). مدل شبکه‌ای از علائم نگارشی و فاصله‌ها را دریافت میکند که مدلی با توانمندی کافی می‌تواند آن را به‌صورت کلمه تشخیص دهد؛ اما فیلتر ایمنی فقط یک شبکه از کاراکترها میبیند.
نتیجه: GPT-4، Gemini، Claude، Llama-2 و GPT-3.5 همگی شکست می‌خورند. نرخ موفقیت حمله روی زیرمجموعه‌ی بنچمارک نویسندگان بالای 75% است.
چرا دفاع‌های استاندارد شکست می‌خورند؟
- فیلتر پرپلکسیتی (PPL filter): هنر اسکی پرپلکسیتی بالایی دارد، اما هر ورودی جدید دیگری هم همین‌طور است. تنظیم آستانه‌ای که ArtPrompt را مسدود کند، ورودیهای ساختاریافتهی معتبر را هم مسدود میکند.
- بازنویسی (Paraphrase): بازنویسی پرامپت قاعدتاً باید هنر اسکی را از بین ببرد؛ اما در عمل، مدلهای بازنویسی اغلب این ساختار را حفظ میکنند یا مجدداً می‌سازند.
- توکن‌سازی مجدد (Retokenization): تغییر نحوه‌ی خرد کردن توکن‌ها این واقعیت را عوض نمی‌کند که سیستم بینایی مدل در حال تشخیص شکل حروف است.
ریشه‌ی مشکل اینجاست که فیلترهای ایمنی در سطح توکن یا معنا عمل میکنند، اما ArtPrompt در سطح تشخیص بصری کار میکند.
بنچمارک ViTC
این بنچمارک توانایی تشخیص پرامپتهای بصری غیرمعنایی را ارزیابی میکند؛ یعنی سنجش قدرت مدل در خواندن هنر اسکی، فونت‌های نمادین (Wingdings) و سایر محتواهای بصری غیرمتنی. میزان کارایی ArtPrompt با دقت مدل در بنچمارک ViTC همبستگی دارد: هرچه مدل متن‌های بصری را بهتر بخواند، ArtPrompt روی آن موفق‌تر عمل میکند. این موضوع نشان‌دهنده‌ی یک مصالحه‌ی بنیادین میان توانمندی و ایمنی است.
ساختارهای نامتعارف متنی (StructuralSleight)
این روش، ایده‌ی ArtPrompt را تعمیم میدهد: ساختارهای متنی رمزشدهی نامتعارف (Uncommon Text-Encoded Structures یا UTES). مواردی مثل درختها، گرافها، JSON تودرتو، CSV داخل JSON و بلوکهای کد با قالب diff. اگر ساختاری در دادههای تراز ایمنی کم‌یاب باشد اما مدل توانایی پردازش آن را داشته باشد، می‌تواند محتوای مخرب را پنهان کند.
پیامد دفاعی: سیستم‌های ایمنی باید توانایی پوشش تمام بازنمایی‌های ساختاریافته‌ای را داشته باشند که مدل می‌تواند تحلیل کند؛ مجموعه‌ای که بسیار گسترده است و مدام بزرگ‌تر می‌شود.
همتای این حملات در مدلهای چندوجهی تصویری
مدلهای زبانی تصویری (مانند GPT-5.2، Gemini 3 Pro، Claude Opus 4.5 و Grok 4.1) سطح حمله را گسترش می‌دهند. حملاتی شبیه به ArtPrompt با استفاده از تصاویر واقعی، به‌مراتب قدرتمندتر از معادل‌های هنر اسکی هستند؛ زیرا انکودرهای تصویر سیگنال‌های غنی‌تری تولید میکنند.
جایگاه این مبحث در فاز 18
درس‌های 12 تا 14 سه بردار حملهی مستقل را بررسی میکنند: بهینه‌سازی تکرارشونده (PAIR)، طول بافت (MSJ) و کدگذاری (ArtPrompt/StructuralSleight). درس 15 از حملات متمرکز بر مدل فاصله می‌گیرد و به حملات مرز سیستم (تزریق غیرمستقیم پرامپت) می‌پردازد. درس 16 نیز ابزارهای دفاعی را معرفی خواهد کرد.
پیاده‌سازی عملی
فایل code/main.py یک نسخه‌ی ساده از ArtPrompt می‌سازد. می‌توانید کلمات مشخصی را در یک درخواست مخرب با کاراکترهای هنر اسکی استتار کنید، رد شدن رشته‌ی استتارشده از فیلتر کلیدواژه را بررسی کنید و (در صورت تمایل) رشته‌ی استتارشده را با یک بازشناس ساده رمزگشایی (Decode) کنید.
خروجی نهایی
این درس فایل outputs/skill-encoding-audit.md را تولید میکند. این گزارشِ دفاع در برابر جیل‌بریک (شکستن قفل ایمنی)، خانواده‌های حملات کدگذاری پوشش‌داده‌شده (هنر اسکی، base64، زبان leet، هوموگلیف‌های UTF-8 و UTES) و لایه‌ی دفاعی مهارکننده‌ی هرکدام را فهرست میکند.
تمرین‌ها
-
اسکریپت
code/main.pyرا اجرا کنید. بررسی کنید که آیا رشته‌ی استتارشده از یک فیلتر کلیدواژه‌ی ساده عبور میکند یا خیر. میزان تغییرات لازم در سطح کاراکتر را گزارش دهید. -
یک روش کدگذاری دوم پیاده‌سازی کنید: base64 برای همان کلمه‌ی هدف. نرخ دور زدن فیلتر و دشواری بازیابی را با ArtPrompt مقایسه کنید.
-
بخش 4.3 مقاله‌ی جیانگ و همکاران (2024) درباره‌ی نتایج پنج مدل را بخوانید. دلیلی پیشنهاد کنید که چرا مقاومت Claude در برابر ArtPrompt روی همین بنچمارک، بالاتر از Gemini است.
-
یک دفاع پیش از تولید (Pre-generation defense) طراحی کنید که بخش‌های شبیه به هنر اسکی را در پرامپت تشخیص دهد. نرخ مثبت کاذب (False-positive rate) آن را روی کدهای معتبر، جدول‌ها و نمادهای ریاضی اندازه بگیرید.
-
مقاله‌ی StructuralSleight ده ساختار کدگذاری را فهرست میکند. طرح کلی یک سیستم دفاعی جامع را ترسیم کنید که هر 10 مورد را پوشش دهد و هزینه‌ی پردازشی آن را به ازای هر پرامپت محافظت‌شده تخمین بزنید.
اصطلاحات کلیدی
| اصطلاح | اصطلاح عامیانه | مفهوم دقیق فنی |
|---|---|---|
| ArtPrompt | «حملهی هنر اسکی» | جیل‌بریک (شکستن قفل ایمنی) دومرحله‌ای که کلمات مرتبط با ایمنی را با بازنمایی‌های هنر اسکی ماسک میکند. |
| استتار (Cloaking) | «مخفی کردن کلمه» | جایگزینی یک توکن ممنوعه با بازنمایی بصری خاصی که مدل می‌خواند اما فیلتر تشخیص نمی‌دهد. |
| UTES | «ساختار نامتعارف» | ساختار متنی رمزشدهی نامتعارف (مانند درخت، گراف یا JSON تودرتو) برای قاچاق محتوای مخرب. |
| ViTC | «توانایی درک متن بصری» | بنچمارکی برای سنجش توانایی مدل در خواندن کدگذاری‌های بصری غیرمعنایی. |
| فیلتر پرپلکسیتی | «دفاع PPL» | رد کردن پرامپتهای با پرپلکسیتی بالا؛ شکست می‌خورد چون ورودیهای ساختاریافتهی معتبر هم امتیاز بالایی می‌گیرند. |
| توکن‌سازی مجدد | «دفاع تغییر توکنایزر» | پیش‌پردازش پرامپت با یک توکنایزر متفاوت؛ شکست می‌خورد چون فرایند درک مدل از جنس تشخیص بصری است. |
| هوموگلیف (Homoglyph) | «کاراکترهای شبیه به هم» | کاراکترهای یونیکد با ظاهری کاملاً مشابه حروف لاتین که فیلترهای تطبیق زیررشته را دور می‌زنند. |
برای مطالعه‌ی بیشتر
- مقاله‌ی ArtPrompt از جیانگ و همکاران (ACL 2024، شناسه arXiv:2402.11753) — مقاله‌ی جیل‌بریک با هنر اسکی
- مقاله‌ی StructuralSleight از لی و همکاران (شناسه arXiv:2406.08754) — تعمیم حمله با استفاده از UTES
- مقاله‌ی PAIR از چائو و همکاران (درس 12، شناسه arXiv:2310.08419) — حملهی مکمل با بهینه‌سازی تکرارشونده
- مقاله‌ی Many-shot Jailbreaking از آنیل و همکاران (درس 13) — حملهی مکمل با تکیه بر طول پرامپت