سؤال مصاحبه

بررسی سه درخواست در تجمیع‌کننده‌ی گیت ایمنی

Walk three requests through the gate's aggregator

  • سطح ۳: ارشد
  • کدخوانی
  • ۱۲ دقیقه

مرحله‌ی تجمیع داده‌ها در گیت ایمنی (Safety Gate) زیر را بخوانید. سپس سه درخواست را در آن بررسی کنید: پرامپتی که آشکارساز آن را بالاتر از آستانه‌ی مسدودسازی پرچم‌گذاری می‌کند، پرامپتی بی‌خطر که استریم خروجی آن پیش از موعد قطع می‌شود، و پرامپتی بی‌خطر که خروجی‌اش یکی از قوانین با شدت بالا را نقض می‌کند. در پایان بگویید این جدول طبق طراحی اولیه‌اش چه اشکالاتی دارد.

SEVERITY_RANK = {"none": 0, "low": 1, "medium": 2, "high": 3}

def _aggregate(self, pre, during, post):
    signals = []
    if pre.category != "benign":
        if pre.confidence >= self.block_confidence:
            signals.append(("pre", SEVERITY_RANK["high"]))
        elif pre.confidence >= self.note_confidence:
            signals.append(("pre", SEVERITY_RANK["medium"]))
        else:
            signals.append(("pre", SEVERITY_RANK["low"]))
    if during.terminated_early:
        signals.append(("during", SEVERITY_RANK["medium"]))
    if post is not None:
        signals.append(("post.classifier", SEVERITY_RANK.get(post.classifier_severity, 0)))
        if post.rules_max_severity:
            signals.append(("post.rules", SEVERITY_RANK.get(post.rules_max_severity, 0)))
    if not signals:
        return "allow"
    max_rank = max(rank for _, rank in signals)
    if max_rank >= SEVERITY_RANK["high"]:
        return "block"
    if max_rank >= SEVERITY_RANK["medium"]:
        return "redact"
    if max_rank >= SEVERITY_RANK["low"]:
        return "warn"
    return "allow"

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

درخواست اول پیش از تولید مسدود می‌شود: هر دسته‌بندی غیربی‌خطر که اطمینان آن در سطح آستانه‌ی مسدودسازی یا بالاتر از آن باشد، رتبه‌ی «بالا» (high) می‌گیرد و این رتبه به مسدودسازی (block) نگاشت می‌شود. درخواست دوم مشمول پاک‌سازی داده‌های حساس (redact) می‌شود: قطع زودهنگام، به‌خودی‌خود یک سیگنال «متوسط» (medium) است؛ بنابراین خروجی ناقص از بخش‌های پاک‌سازی و اصلاح‌گر (fixer) عبور می‌کند و ارسال می‌شود. درخواست سوم مسدود می‌شود: شدت بالای نقض قانون، هم‌رتبه‌ی شدت بالای طبقه‌بند ارزیابی می‌شود. در طراحی این جدول، مقدار ماکسیمم ملاک عمل است؛ به همین دلیل سیگنال‌ها هرگز با یکدیگر جمع نمی‌شوند. در نتیجه، سه سیگنال پایین همچنان در حد هشدار (warn) باقی می‌مانند و هم‌نشینی یک پرچم متوسط در آشکارساز با یک یافته‌ی متوسط در طبقه‌بند، در حد پاک‌سازی داده‌های حساس می‌ماند.

پاسخ کامل

آستانه‌ها

این گیت ایمنی، آستانه‌ی اطمینان برای مسدودسازی را روی 0.85 و آستانه‌ی ثبت یادداشت را روی 0.5 تنظیم کرده است. اگر حکم ارزیابی (verdict) آشکارساز برای یک دسته‌بندی غیربی‌خطر برابر یا بالاتر از 0.85 باشد، بالا محسوب می‌شود و فرآیند را پیش از اجرای مدل مسدود می‌کند. مقادیر بین 0.5 و 0.85 متوسط و مقادیر کمتر از 0.5 پایین (low) در نظر گرفته می‌شوند. حکم بی‌خطر هیچ سیگنالی به سیستم اضافه نمی‌کند.

درخواست اول: پرامپت پرچم‌گذاری‌شده

آشکارساز، دسته‌بندی غیربی‌خطر را با اطمینان بالای 0.85 برمی‌گرداند. سیگنال مرحله‌ی پیش از تولید، رتبه‌ی بالا می‌گیرد. گیت اصلاً مدل را فراخوانی نمی‌کند؛ بلکه امتناع مدل (refusal) را برمی‌گرداند و یک ردگیری محاسبات (trace) ثبت می‌کند که شامل حکم ارزیابی آشکارساز است و بخش پس از تولید ندارد.

درخواست دوم: پرامپت بی‌خطر با قطع استریم

آشکارساز وضعیت را بی‌خطر اعلام می‌کند؛ بنابراین از مرحله‌ی پیش از تولید سیگنالی نداریم. فیلتر استریمینگ (streaming)، دو چانکِ چهار توکنی را بافر می‌کند و الگوی عبارات ادامه‌دار را با regex روی این پنجره تطبیق می‌دهد؛ با تطبیق الگو، تکرارکننده (iterator) متوقف شده و خروجی با برچسب قطع زودهنگام علامت‌گذاری می‌شود. این وضعیت یک سیگنال متوسط است. ارزیابی پس از تولید روی متن ناقص اجرا می‌شود؛ اگر طبقه‌بند و قوانین مقدار none برگردانند، ماکسیمم همان متوسط خواهد بود و اقدام نهایی پاک‌سازی داده‌های حساس است: بخش‌های پاک‌سازی طبقه‌بند و اصلاح‌گر قوانین روی خروجی ناقص اعمال می‌شوند و این خروجی همراه با ردگیری محاسبات ارسال می‌شود.

درخواست سوم: پرامپت بی‌خطر با قانون شدت بالا

سیگنال پیش از تولید و قطع زودهنگام استریم نداریم. مسیریاب (router) طبقه‌بند مقدار none برمی‌گرداند. موتور قوانین (rules engine) یک نقض قانون (violation) با شدت بالا گزارش می‌کند؛ مثلاً وجود نام یک کتابخانه‌ی داخلی در خروجی. سیگنال قوانین در رتبه‌ی بالا قرار می‌گیرد و اقدام نهایی مسدودسازی است؛ درست مثل این‌که طبقه‌بند موردی با شدت بالا شناسایی کرده باشد.

محدودیت‌های پذیرفته‌شده در این طراحی

  • عدم انباشت سیگنال‌ها (No accumulation): مقدار ماکسیمم، تعداد سیگنال‌های فعال‌شده را نادیده می‌گیرد. در نتیجه، چند سیگنال ضعیف که در کنار هم نشان‌دهنده‌ی یک حمله‌اند، باز هم در حد هشدار باقی می‌مانند.
  • نبود وزن‌دهی (No weights): یک سیگنال متوسط از آشکارساز و یک سیگنال متوسط از طبقه‌بند وزن یکسانی دارند؛ بدون توجه به این‌که سابقه‌ی عملکرد هرکدام چه بوده است.
  • کوچک بودن پنجره (A short window): فیلتر استریمینگ فقط دو چانک را نگه می‌دارد؛ بنابراین اگر یک عبارت ادامه‌دار میان چانک‌های بیشتری پخش شده باشد، از دستش فرار می‌کند. البته مرحله‌ی پس از تولید لایه‌ی پشتیبان است، و تزریق‌های پیشوندی (prefix injection) که اثرشان تنها بعد از ماجرا مشخص می‌شود، از گیتی که فقط پس از پایان کار خروجی را بررسی می‌کند جان سالم به در می‌برند.
  • آستانه‌های ثابت (Fixed thresholds): در تمرین پروژه‌ی پایانی، یک امتیاز وزن‌دار با فعال‌سازی در یک آستانه پیشنهاد شده است؛ آستانه‌ای که با پیمایش آن روی پیکره متنی (corpus) و خواندن دقت (precision) و بازخوانی (recall) برای هر دسته‌بندی تنظیم می‌شود.

هدف اصلی گیت، ثبت ردگیری درخواست (Request Trace) برای هر ورودی همراه با حکم ارزیابی هر چک‌پوینت (checkpoint)، اقدام نهایی و تاخیر (latency) است؛ نه کسب نمره‌ای بی‌نقص روی پیکره متنی.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا قطع پیش از موعد در سطح متوسط است و بالا نیست؟ پاسخ مورد انتظار: تطبیق regex در یک پنجره‌ی دوچانکی، شواهد (evidence) ضعیف‌تری نسبت به یافته‌ی قطعی و با شدت بالای طبقه‌بند است؛ ضمن این‌که خروجی ناقص همچنان از فیلتر پاک‌سازی داده‌های حساس رد می‌شود.
  • سطح 3: اگر یک پرچم پایین از آشکارساز و یک نقض قانون پایین هم‌زمان برسند، چه چیزی ارسال می‌شود؟ پاسخ مورد انتظار: یک هشدار با اعلانی نرم ارسال می‌شود؛ ماکسیممِ دو سیگنال پایین همچنان پایین است و جدول، سیگنال‌ها را با هم جمع نمی‌کند.
  • سطح 4: یک تجمیع‌کننده‌ی وزن‌دار چه تغییری ایجاد می‌کند و هزینه‌ی آن چیست؟ پاسخ مورد انتظار: سیگنال‌ها در جهت رسیدن به یک آستانه با هم جمع می‌شوند؛ بنابراین چند سیگنال ضعیف می‌توانند باعث مسدودسازی شوند. هزینه‌ی آن، تنظیم دقیق آستانه است که با پیمایش روی پیکره متنی و خواندن دقت و بازخوانی به ازای هر دسته‌بندی تعیین می‌شود.
  • سطح 4: بافر دوچانکی چه چیزی را از دست می‌دهد و چه بخشی جلوی آن را می‌گیرد؟ پاسخ مورد انتظار: عبارت ادامه‌داری که در بیش از چانک‌های موجود در بافر پخش شده باشد؛ مرحله‌ی پس از تولید نقش لایه‌ی پشتیبان را ایفا می‌کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «هر لایه‌ای که فعال شد، بلافاصله درخواست را مسدود کنید.» سیگنال‌های پایین و متوسط برای این تعریف شده‌اند که پرامپت‌های بی‌خطر با تطبیق‌های ضعیف دچار امتناع نشوند؛ جدول این موارد را به هشدار و پاک‌سازی داده‌های حساس نگاشت می‌کند.
  • «آستانه‌ی مسدودسازی را پایین بیاورید تا فراخوانی‌های مدل کمتر شود.» آستانه‌ی پایین باعث می‌شود دقت معمولی آشکارساز در سناریوهای نقش‌آفرینی (role play)، درخواست‌های خلاقانه را به امتناع مدل تبدیل کند؛ در پروژه‌ی پایانی، مسدودسازی روی 0.85 تنظیم شده است.
  • «کد نمونه با کد خروج صفر اجرا شد، پس گیت جلوی تمام حملات را گرفته است.» دمو طبق طراحی‌اش خودبه‌خود پایان می‌یابد؛ خروجی تحویلی همان ردگیری است و شمارش‌های خلاصه‌شده نشان می‌دهند چه مواردی توانسته‌اند عبور کنند.

کجای دوره آموزش داده می‌شود

در پروژه‌ی پایانی گیت ایمنی سرتاسری (end-to-end) جدول تجمیع، سه چک‌پوینت و ردگیری محاسبات ارائه شده است.