سؤال مصاحبه

محدودیت‌هایی که یک دسته‌بند نمی‌تواند ببیند

Constraints a classifier cannot see

  • سطح ۲: میانی
  • طراحی
  • ۹ دقیقه

یک دستیار پشتیبانی هرگز نباید امتناع مدل (Refusal) را بدون ارائه‌ی گام بعدی تمام کند، و یک دستیار برنامه‌نویسی هم باید هر پاسخ حاوی کدی را با یک بلوک کد قابل‌اجرا یا یک فرضِ تصریح‌شده ببندد. یک دسته‌بند محتوا (Content classifier) هیچ‌کدام از این دو مورد را تشخیص نمی‌دهد. مؤلفه‌ای طراحی کنید که چنین محدودیت‌هایی را اعمال کند و بگویید پس از نقض قانون (Violation) چه اتفاقی می‌افتد.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

این محدودیت‌ها را در یک فایل قوانین توصیفی (Declarative rules file) بگذارید؛ فایلی که در سیستم کنترل نسخه (Version Control) کنار کد اصلی نگهداری می‌شود و فرایند بازبینی مستقل خودش را دارد. هر قانون شامل نام، سطح حساسیت، توضیح، یک گزاره (Predicate) برای تعیین زمان در دامنه (Scope) بودن قانون، و گزاره‌ای است که پاسخ حتماً باید آن را برآورده کند؛ همراه با بررسی‌های اتمی که با all of ،any of و not با هم ترکیب می‌شوند. پس از نقض قانون، یک اصلاح‌گر (Fixer) ویرایشی توصیفی و موضعی روی متن پیاده می‌کند، موتور قوانین (Rules engine) نسخه‌ی بازنگری‌شده را دوباره می‌سنجد، و تفاوت‌های بازنگری (Diff) ساختاریافته میان دو نسخه در ردگیری محاسبات (Trace) ثبت می‌شود.

پاسخ کامل

چرا نباید از دسته‌بند استفاده کنیم؟

این‌ها محدودیت‌هایی از جنس قرارداد هستند: گزاره‌هایی روی پاسخ، مکالمه و خط‌مشی‌ها. یک فرد غیرفنی هم باید بتواند آن‌ها را بخواند. دسته‌بند الگوها را تشخیص می‌دهد؛ در حالی که قانون یک قرارداد صریح را بیان می‌کند.

ساختار قانون

- name: end-with-runnable-or-assumption
  severity: medium
  applies_when:
    contains_regex: '```python'
  must:
    any_of:
      - ends_with_regex: '```\s*$'
      - contains_regex: 'assumption:'
  explanation: "Code responses must end in a closing fence or an explicit assumption."
  fix:
    append_if_missing: "\n\nAssumption: example inputs are valid."

گزاره‌های اتمی عبارتند از: شامل regex، فاقد regex، خاتمه‌یافته با regex، آغازشده با regex، حداکثر تعداد کلمات و حداقل تعداد کلمات. ترکیب‌ها هم شامل all of ،any of و not می‌شوند. موتور قوانین ابتدا گزاره‌ی دامنه را ارزیابی می‌کند؛ اگر قانون صدق نکند، وضعیت «غیرقابل‌اعمال» (Not applicable) را ثبت می‌کند تا گزارش نشان دهد قانون ارزیابی شده است. در غیر این صورت، گزاره‌ی الزامی یکی از دو وضعیتِ «قبول» (Pass) یا «نقض قانون» را برمی‌گرداند. سطوح حساسیت شامل کم، متوسط و زیاد هستند و درگاه بررسی (Gate) با نقض یک قانون سطح‌بالا دقیقاً مثل حکم ارزیابی (Verdict) سطح‌بالای یک دسته‌بند برخورد می‌کند: مسدودسازی (Block).

شیوه‌نامه‌ی بنیادین نهایی

شش قانون داریم: امتناع مدل باید شامل پیشنهاد یا هدایت مجدد باشد؛ پاسخ‌های حاوی کد باید تمیز و درست بسته شوند؛ داده‌های نمونه نباید ساختار ایمیل یا شماره‌تلفن داشته باشند؛ خطوطی که با عبارتی دال بر ارجاع آغاز می‌شوند باید ارجاع درون‌پرانتز داشته باشند؛ نام دو کتابخانه‌ی داخلی هرگز نباید در خروجی بیاید؛ و طول پاسخ‌ها نباید از 800 کلمه بیشتر شود. دو مورد آخر از پنج مورد اول دارای حساسیت بالا هستند؛ بقیه حساسیت کم یا متوسط دارند.

پس از نقض قانون

اصلاح‌گر فهرستی از عملیات توصیفی است که بر اساس نام قانون نگاشت می‌شوند: الصاق به انتها در صورت فقدان (Append if missing)، افزودن به ابتدا در صورت فقدان (Prepend if missing) و جایگزینی regex. این بخش فقط ویرایش‌های موضعی انجام می‌دهد؛ بازنویسی ساختاری به لایه‌ای کاملاً جداگانه تعلق دارد. موتور قوانین دوباره روی متن اصلاح‌شده اجرا می‌شود و تفاوت‌های بازنگری شامل رکوردهای افزودن، حذف و ویرایش میان پیش‌نویس و نسخه‌ی بازنگری‌شده ثبت می‌شود تا بازبین بتواند عملکرد اصلاح‌گر را در طول زمان ارزیابی و ممیزی کند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا گزاره را به دو بخش دامنه (Scope) و الزامی (Must) تقسیم می‌کنیم؟ پاسخ مورد انتظار: تا اگر قانونی خارج از دامنه بود، این موضوع را صریحاً ثبت کند؛ قانون مربوط به کد روی پاسخی که کد ندارد، به‌جای وضعیت قبول، «غیرقابل‌اعمال» ثبت می‌کند و گزارش نشان می‌دهد که موتور قوانین آن را بررسی کرده است.
  • سطح 2: چرا این فایل در قالب YAML نگهداری می‌شود و نه داخل کد برنامه؟ پاسخ مورد انتظار: تا افراد غیرفنی هم بتوانند آن را بخوانند و بازبینی کنند، تاریخچه و فرایند بازبینی مستقل خودش را داشته باشد، و موتور قوانین هم به‌صورت عمومی (Generic) باقی بماند.
  • سطح 3: اصلاح‌گر چه کارهایی را نمی‌تواند انجام دهد، و چرا این یک مزیت است؟ پاسخ مورد انتظار: بازنویسی‌های ساختاری؛ ویرایش‌های توصیفی و موضعی رفتار آن را قطعی (Deterministic) و به‌کمک تفاوت‌های بازنگری، قابل‌ممیزی نگه می‌دارند.
  • سطح 3: درگاه بررسی با نقض یک قانون با حساسیت بالا چطور برخورد می‌کند؟ پاسخ مورد انتظار: دقیقاً مشابه حکم ارزیابی سطح‌بالا در یک دسته‌بند، یعنی مسدودسازی (Block).
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «دسته‌بند را آموزش دهید تا نبودِ گام‌های بعدی را تشخیص دهد.» این محدودیت یک گزاره روی پاسخ است؛ قانونی که توضیح داشته باشد هم خواناست و هم قابل‌آزمون، در حالی که دسته‌بند هیچ‌کدام از این دو ویژگی را ندارد.
  • «اجازه دهید خود مدل نقض قانون را برطرف کند.» اصلاح‌گر رفتاری قطعی دارد تا تفاوت‌های بازنگری قابل‌ممیزی باشند؛ بازنویسی توسط مدل به لایه‌ی جداگانه‌ای تعلق دارد.
  • «قانون همان رجکس (Regex) است.» قانون از نام، گزاره و توضیح تشکیل شده است؛ اگر هرکدام نباشد، دیگر با یک قاعده‌ی مهندسی طرف نیستیم، بلکه بر پایه‌ی حدس و حس پیش رفته‌ایم.

کجای دوره آموزش داده می‌شود

پروژه‌ی نهایی موتور قوانین شیوه‌نامه‌ی بنیادین گرامر قوانین، اصلاح‌گر و تفاوت‌های بازنگری را پوشش می‌دهد.