حریم خصوصی تفاضلی برای مدل‌های زبانی بزرگ

مدل‌های زبانی بزرگ در زمان آموزش حجم عظیمی از داده‌ها را پردازش می‌کنند و پژوهش‌های متعدد نشان داده‌اند که این مدل‌ها می‌توانند بخش‌هایی از داده‌های متنی را کلمه‌به‌کلمه به خاطر بسپارند و در خروجی فاش کنند. اگر با داده‌های حساس کاربردی، گزارش‌های مالی یا پرونده‌های اختصاصی سرکار دارید، استفاده‌ی مستقیم از روش‌های سنتی فاین‌تیونینگ خطرات جدی برای نشت اطلاعات به دنبال خواهد داشت.

راهکار ریاضی و اثبات‌پذیر برای کنترل این خطر، حریم خصوصی تفاضلی (Differential Privacy) است. استاندارد صنعتی این حوزه بر پایه‌ی الگوریتم DP-SGD شکل گرفته که با برش گرادیان و افزودن نویز، تضمین می‌کند خروجی مدل به هیچ داده‌ی آموزشی منفردی وابسته نباشد. از آنجا که آموزش کامل مدل‌ها با این روش منابع پردازشی بسیار سنگینی می‌طلبد، امروزه ترکیب LoRA با DP-SGD گزینه‌ی پیش‌فرض مهندسی شده است.

در این درس مفاهیم پایه حریم خصوصی تفاضلی، موازنه میان کارایی و حفظ داده، روش‌های ارزیابی مانند حملات استنتاج عضویت (MIA) و راهکارهای جدید زمان استنتاج مثل PMixED را بررسی می‌کنید تا بتوانید امنیت اطلاعات مدل‌های زبانی خود را بسنجید و ارتقا دهید.

الگوریتم DP-SGD همچنان استاندارد اصلی است؛ به‌روزرسانی‌های گرادیان همراه با تزریق نویز، تضمین‌های صوریِ (اپسیلون، دلتا) را فراهم می‌کنند. سربار محاسباتی، حافظه و افت کارایی (utility) در این روش چشمگیر است؛ فاین‌تیونینگ خصوصی و بهینه‌از‌نظر‌تعداد‌پارامتر (LoRA + DP-SGD) پیکربندی رایج سال 2025 به شمار می‌رود (ACM 2025). دو دسته از شواهد در تقابل با یکدیگرند: حمله‌ی استنتاج عضویت مبتنی بر قناری (canary-based membership inference یا MIA) (Duan et al., 2024) از موفقیت محدود در برابر مدل‌های زبانی خبر می‌دهد؛ در مقابل، استخراج داده‌های آموزشی (Carlini et al., 2021; Nasr et al., 2025) بخش‌های درخورتوجهی از متن‌های حفظ‌شده را عیناً بازیابی می‌کند. حل این تناقض (arXiv:2503.06808، مارس 2025): شکاف در چیزی است که اندازه گرفته می‌شود؛ یعنی قناری‌های درج‌شده در برابر داده‌های «دارای بیشترین قابلیت استخراج». طراحی‌های جدید قناری، MIA مبتنی بر تابع زیان (loss) را بدون نیاز به مدل‌های سایه (shadow models) ممکن کرده و نخستین ممیزی (audit) غیربدیهی DP را روی یک مدل زبانی بزرگ که با داده‌های واقعی و تضمین‌های واقع‌گرایانه‌ی DP آموزش دیده است، ارائه می‌دهند. رویکردهای جایگزین: PMixED (arXiv:2403.15638) — پیش‌بینی خصوصی در زمان استنتاج با استفاده از ترکیب متخصصان روی توزیع‌های توکن بعدی؛ تولید داده‌های مصنوعی با حفظ حریم خصوصی تفاضلی (Google Research 2024). حمله‌ی نوظهور: معکوس‌سازی حریم خصوصی تفاضلی از طریق بازخورد مدل زبانی بزرگ — نشت امتیاز اطمینان.

اهداف یادگیری

• تعریف حریم خصوصی تفاضلی (اپسیلون، دلتا) و بیان شیوه‌ی کار DP-SGD.
• توضیح تناقض سال‌های 2024–2025: چرایی ارائه‌ی تصویرهای متفاوت توسط MIA مبتنی بر قناری و استخراج داده‌های آموزشی.
• تشریح PMixED و دلیل اینکه چرا پیش‌بینی خصوصی در زمان استنتاج، جایگزینی برای آموزش با DP است.
• تشریح حمله‌ی معکوس‌سازی حریم خصوصی تفاضلی از طریق بازخورد مدل زبانی بزرگ.

صورت مسئله

مدل‌های زبانی بزرگ داده‌ها را حفظ می‌کنند. Carlini و همکاران در سال 2021 نشان دادند که مدل‌های زبانی در محیط عملیاتی (پروداکشن)، در صورت درخواست، متن‌های آموزشی را کلمه‌به‌کلمه بازتولید می‌کنند. حریم خصوصی تفاضلی (Differential Privacy یا DP) دفاع صوری و ریاضی در برابر این پدیده است: مدل را طوری آموزش دهید که خروجی آن نسبت به هر نمونه‌ی آموزشی منفرد، به شکل اثبات‌پذیری حساس نباشد. شواهد سال‌های 2024–2025 نشان می‌دهد که DP-SGD ضروری است، اما مقادیر ε به‌کاررفته ممکن است با مدل تهدید همخوانی نداشته باشند.

مفاهیم پایه

حریم خصوصی تفاضلی (ε, δ)

الگوریتم تصادفیِ $M$ دارای حریم خصوصی تفاضلیِ $(\varepsilon, \delta)$ است، اگر برای هر دو مجموعه‌داده که تنها در یک نمونه با هم تفاوت دارند و برای هر رویداد $S$ داشته باشیم:

$$P(M(D) \in S) \le e^{\varepsilon} \cdot P(M(D') \in S) + \delta.$$

تفسیر: توزیع خروجی آن‌قدر به هم نزدیک است (که با ε مشخص می‌شود) که اثر داده‌های هر فرد به‌تنهایی به‌طور قابل‌اتکا قابل‌استنتاج نیست، مگر با احتمال ناچیز δ.

الگوریتم DP-SGD

ارائه‌شده توسط Abadi و همکاران در سال 2016. دستورالعمل استاندارد:

1. نمونه‌برداری از یک دسته‌ی کوچک (mini-batch).
2. محاسبه‌ی گرادیان‌ها به‌ازای هر نمونه.
3. برش گرادیانِ (gradient clipping) هر نمونه با آستانه‌ی C.
4. جمع گرادیان‌های برش‌خورده و افزودن نویز گاوسی با انحراف معیار $\sigma \cdot C$.
5. استفاده از مجموعِ نویزدار برای به‌روزرسانی پارامترها.

هزینه‌ی حریم خصوصی توسط یک حسابدار (Moments Accountant یا حسابدار Rényi DP) ردیابی می‌شود. مقادیر گزارش‌شده‌ی ε در مقالات مدل‌های زبانی بزرگ، بسته به مدل تهدید، حساسیت داده‌ها و هدف کارایی، تفاوت چشمگیری دارند؛ هیچ مقدار پیش‌فرضی که همه‌جا «امن» باشد وجود ندارد. نمونه‌های منتشرشده در برخی سناریوهای آموزش مدل‌های زبانی بزرگ، بازه‌ای در حدود ε ≈ 1–10 را در بر می‌گیرند، اما این‌ها صرفاً برای نمونه‌اند و مقادیر پیش‌فرض توصیه‌شده نیستند. مقادیر پایین‌تر ε معمولاً به نویز بیشتری نیاز دارند و می‌توانند افت کارایی را افزایش دهند.

ترکیب LoRA و DP-SGD

اجرای کامل DP-SGD روی مدل‌های پیشرو (frontier models) بسیار پرهزینه و نشدنی است. روش LoRA (Hu et al. 2022) به‌روزرسانی‌های گرادیان را به یک تطبیق‌دهنده‌ی (adapter) کوچک محدود می‌کند و حافظه‌ی لازم برای ذخیره‌ی گرادیان‌های هر نمونه را کاهش می‌دهد. ترکیب LoRA + DP-SGD پیکربندی رایج سال 2025 است. تضمین‌های DP روی تطبیق‌دهنده اعمال می‌شوند و مدل پایه بدون تغییر و ثابت باقی می‌ماند.

تناقض سال‌های 2024–2025

دو دسته از شواهد در برابر هم قرار دارند:

• حمله‌ی MIA مبتنی بر قناری (Duan et al. 2024). درج قناری‌های یکتا در داده‌های آموزشی و سنجش اینکه آیا مهاجمِ استنتاج عضویت می‌تواند آن‌ها را شناسایی کند یا خیر. این روش موفقیت محدودی را روی مدل‌های زبانی گزارش می‌دهد و نشان می‌دهد که MIA دشوار است.
• استخراج داده‌های آموزشی (Carlini 2021, Nasr et al. 2025). پرامپت‌دادن به مدل با یک پیشوند و ارزیابی اینکه آیا متن آموزشی را کلمه‌به‌کلمه بازآفرینی می‌کند یا خیر. این روش حفظ‌کردن چشمگیری را گزارش می‌کند و نشان می‌دهد که MIA در مفهوم کاربردی‌اش آسان است.

حل تناقض در مارس 2025 (arXiv:2503.06808): این دو روش معیارهای متفاوتی را می‌سنجند. حمله‌ی MIA روی قناری‌های درج‌شده این سؤال را مطرح می‌کند: «آیا نمونه‌ی e در D هست؟». اما استخراج داده این سؤال را می‌پرسد: «چه بخشی از D را می‌توانم بیرون بکشم؟». برای حفظ حریم خصوصی، آن نمونه‌ای اهمیت دارد که «بیشترین قابلیت استخراج» را داشته باشد؛ قناری‌ها این خطر را کمتر از مقدار واقعی برآورد می‌کنند، چون طوری تنظیم نشده‌اند که به‌راحتی استخراج‌شدنی باشند.

طراحی‌های جدید قناری، روش MIA مبتنی بر تابع زیان را بدون نیاز به مدل‌های سایه ممکن کرده و نخستین ممیزی غیربدیهی DP را روی یک مدل زبانی بزرگ، با داده‌های واقعی و تضمین‌های واقع‌گرایانه‌ی DP به دست می‌دهند.

رویکردهای جایگزین برای آموزش با DP

• روش PMixED (arXiv:2403.15638). پیش‌بینی خصوصی در زمان استنتاج. این روش ترکیبی از متخصصان روی توزیع توکن بعدی به کار می‌برد؛ هر متخصص بخشی از داده‌های آموزشی را می‌بیند؛ در مرحله‌ی تجمیع برای تضمین DP، نویز اضافه می‌شود. این رویکرد نیاز به آموزش با DP را کاملاً کنار می‌گذارد.
• تولید داده‌های مصنوعی با DP (Google Research 2024). فاین‌تیونینگ با LoRA با استفاده از DP-SGD، نمونه‌برداری داده‌های مصنوعی و سپس آموزش یک طبقه‌بند نهایی روی همین داده‌های مصنوعی.

هر دو روش، هزینه‌ی افت کارایی ناشی از آموزش کامل با DP را دور می‌زنند، اما مدل تهدید متفاوتی را مبنا قرار می‌دهند.

معکوس‌سازی حریم خصوصی تفاضلی از طریق بازخورد مدل زبانی بزرگ

یک حمله‌ی نوظهور در سال 2025. در این حمله، از امتیازهای اطمینانِ مدلی که با DP آموزش دیده، به‌عنوان یک مرجع حقیقت (اوراکل) برای شناسایی مجدد افراد استفاده می‌شود. حتی زمانی که خروجی‌ها نشت اطلاعات ندارند، توزیع‌های اطمینان ممکن است داده‌ها را لو بدهند.

راهکار دفاعی: امتیازهای اطمینان را فاش نکنید، یا آن‌ها را قبل از نمایش کوتاه (truncate) یا کوانتایز کنید. این نیازمندی علاوه‌بر آموزش به روش (ε, δ)-DP ضروری است.

جایگاه این درس در فاز 18

درس‌های 20 و 21 به سوگیری و عدالت اختصاص دارند. درس 22 به موضوع حریم خصوصی می‌پردازد. درس 23 به منشأ و سندیت (provenance) از طریق واترمارک‌گذاری می‌پردازد. درس 27 نیز لایه‌ی مقرراتیِ منشأ و سندیت داده‌ها را پوشش می‌دهد.

استفاده از ابزارهای واقعی

فایل code/main.py الگوریتم DP-SGD را روی یک مجموعه‌داده‌ی نمونه برای طبقه‌بندی دودویی شبیه‌سازی می‌کند. می‌توانید ضریب نویز σ و نرم برش C را پیمایش (sweep) کنید و بودجه‌ی (ε, δ) و هزینه‌ی افت دقت را بسنجید. یک «حمله‌ی قناری» نیز نمونه‌ی آموزشی منحصربه‌فردی را اضافه می‌کند و با آزمون log-loss بررسی می‌کند که آیا این نمونه قبل و بعد از اعمال DP قابل‌تشخیص است یا خیر.

خروجی این درس

این درس فایل outputs/skill-dp-audit.md را تولید می‌کند. این خروجی با دریافت ادعای DP درباره‌ی استقرار یک مدل زبانی، موارد زیر را ارزیابی می‌کند: مقادیر (ε, δ)، حسابدار مورد استفاده، پروتکل ارزیابی MIA و اینکه آیا بردارهای مربوط به نشت امتیاز اطمینان ارزیابی شده‌اند یا خیر.

تمرین‌ها

1. اسکریپت code/main.py را اجرا کنید. مقدار $\sigma \in \lbrace 0.5, 1.0, 2.0 \rbrace$ را پیمایش کرده و موازنه‌ی بین (ε, δ) و دقت را گزارش کنید. نقطه‌ای را که در آن کارایی مدل کاملاً افت می‌کند مشخص کنید.

2. فرایند درج قناری و آزمون log-loss را پیاده‌سازی کنید. نرخ تشخیص را قبل و بعد از DP-SGD در $\sigma = 1.0$ اندازه‌گیری کنید.

3. مقاله‌ی Nasr و همکاران در سال 2025 را درباره‌ی استخراج داده‌های آموزشی بخوانید. چرا موفقیت استخراج داده در مقادیر ملایم ε از بین نمی‌رود؟ این موضوع چه پیامی درباره‌ی استفاده از MIA به‌عنوان روش ارزیابی دارد؟

4. سازوکار استقراری را بر پایه‌ی PMixED (arXiv:2403.15638) طراحی کنید که به‌طور کامل در زمان استنتاج اجرا شود. PMixED به کدام مدل تهدید پاسخ می‌دهد که DP-SGD از عهده‌ی آن برنمی‌آید؟

5. طرح کلی حمله‌ی «معکوس‌سازی DP از طریق بازخورد مدل زبانی بزرگ» را ترسیم کنید. راهکاری دفاعی برای محدود کردن نشت امتیاز اطمینان طراحی کرده و هزینه‌ی پیاده‌سازی آن را در محیط عملیاتی برآورد کنید.

اصطلاحات کلیدی

برای مطالعه‌ی بیشتر

• Abadi et al. — DP-SGD (arXiv:1607.00133) — الگوریتم استاندارد آموزش با DP
• Carlini et al. — Extracting Training Data (arXiv:2012.07805) — مقاله‌ی مرجع در زمینه‌ی استخراج داده
• Duan et al. — Canary MIA on LLMs (arXiv:2402.07841, 2024) — بررسی موفقیت محدود MIA
• Kowalczyk et al. — Auditing DP for LLMs (arXiv:2503.06808, March 2025) — حل تناقض موجود
• PMixED (arXiv:2403.15638) — پیش‌بینی خصوصی در زمان استنتاج