سؤال مصاحبه

امتیازدهی به کدهای تولیدشده بدون فراخوانی مستقیم در فرایند ارزیابی

Score generated code without an exec in the eval process

  • سطح ۳: ارشد
  • طراحی
  • ۱۰ دقیقه

باید با اجرای کدهای تولیدشده به آن‌ها امتیاز دهید. یکی از هم‌تیمی‌هایتان پیشنهاد می‌کند تابع ارزیابی مفسر (eval) را داخل یک بلوک try در همان فرایند بستر آزمایشی (harness process) فراخوانی کنید. به‌جای این کار، قرارداد اجرایی (execution contract) مناسب را طراحی کنید و بگویید که سقف زمانی (timeout)، کرش کردن و برخورد با لیست سیاه (denylist) هرکدام چگونه در نتیجه بازتاب می‌یابند.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

هر کاندیدا را در یک زیرفرایند (subprocess) مفسر جدید همراه با سقف زمانی واقعی (wall clock timeout)، سقف حجم خروجی و لیست سیاه واردات (import denylist) اجرا کنید؛ هرگز کد را داخل فرایند بستر آزمایشی اجرا نکنید. امتیاز نهایی، نسبت عبور از اعتبارسنجی‌ها (assertions) است. سقف زمانی، خطای نحوی (syntax error)، شکست اعتبارسنجی و هر کرش دیگری، هرکدام به یک دلیل خروج (exit reason) مشخص نگاشت می‌شوند؛ بنابراین بازبین می‌تواند راه‌حل کند را از راه‌حل اشتباه تفکیک کند، درحالی‌که امتیاز بیشتر آن‌ها صفر است.

پاسخ کامل

چرا زیرفرایند؟

فراخوانی درون‌فرایندی (in-process) تاب مقاومت در برابر یک حلقه‌ی بی‌نهایتِ تولیدشده را ندارد، و نمی‌تواند جلوی فراخوانی مخربی را بگیرد که کل سیستم فایل را پاک می‌کند. وقتی برای هر کاندیدا یک مفسر جدید اجرا می‌کنید، کد از ورودی استاندارد خوانده می‌شود، پاکت JSON نتایج هر اعتبارسنجی روی خروجی استاندارد نوشته می‌شود، و اگر بیش از حد طول بکشد، فرایند بسته خواهد شد؛ درحالی‌که بستر آزمایشی بدون مشکل به کارش ادامه می‌دهد.

قرارداد اجرایی

  1. استخراج: نخستین بلوک کد محصور را از خروجی مدل استخراج کنید؛ دقیقاً با همان قاعده‌ی پس‌پردازشی که مشخصات وظیفه (task spec) تعیین کرده است.
  2. ساخت: اسکریپت اجراکننده (runner) را در اطراف کد و همراه با رشته‌های اعتبارسنجیِ وظیفه بسازید.
  3. ایجاد زیرفرایند: یک مفسر تازه با بودجه‌ی زمانی پیش‌فرض 3 ثانیه‌ی واقعی اجرا کنید؛ اجراکننده این بازه را بین 0.1 تا 30 ثانیه مهار (clamp) می‌کند.
  4. سقف خروجی: اجراکننده خروجی استاندارد را استریم می‌کند و اگر حجم کل خروجی از 256 KB فراتر رفت، فرایند فرزند را می‌کشد؛ این حالت به‌صورت خطایی با جزئیات سرریز خروجی (output overflow) ثبت می‌شود.
  5. منع واردات: ماژول‌های خطرناک را با بازنویسی آن‌ها طوری مسدود کنید که خطای وارد کردن ماژول رخ دهد: دستورات شل سیستم‌عامل، subprocess، socket، shutil، کتابخانه‌های ارسال درخواست (requests) و رابط توابع خارجی (FFI). این فهرست صرفاً یک لایه‌ی محافظتی کمکی است؛ کنترل‌های اصلی و باربر، همان سقف زمانی و سقف خروجی هستند.

واژگان دلایل خروج

دلیل خروج معنا
pass تمام اعتبارسنجی‌ها پاس شدند
assertion_fail کد اجرا شد و دست‌کم یکی از اعتبارسنجی‌ها شکست خورد
syntax_error کد اصلاً وارد (import) نشد
timeout سقف زمانی واقعی منقضی شد
error هرگونه کرش دیگر، از جمله برخورد با لیست سیاه و سرریز خروجی

امتیاز به‌صورت کسری باقی می‌ماند: دو اعتبارسنجیِ موفق از سه تا، معادل 0.667 است. دلیل خروج به‌صورت متادیتا ثبت می‌شود تا لایه‌ی تابلوی امتیازات (leaderboard) تصمیم بگیرد که اتمام سقف زمانی، امتیاز صفر تلقی شود یا داده‌ی گم‌شده (missing data).

عملکرد بستر آزمایشی کوچک‌تر

بستر آزمایشی کوچک‌تری که در درس تابلوی امتیازات آمده، پیش‌بینی را در یک فضای نام (namespace) با توابع درونی پالایش‌شده (stripped builtins) اجرا می‌کند و تست آن تایید می‌کند که وارد کردن ماژول سیستم‌عامل با شکست مواجه شود. این بستر همچنین برای کنترل محدودیت نرخ درخواست (rate limit)، اندازه‌ی دسته (batch size) را محدود می‌کند و فایل‌های وظیفه را با یک هش ثابت نگه می‌دارد تا اگر امتیازی تغییر کرد، بتوان رد آن را تا تغییر فایل وظیفه پیگیری کرد.

این طراحی برای چه مواردی مناسب نیست؟

این راهکار یک ساندباکس (sandbox) ایمن برای اجرای کدهای غیرقابل‌اعتمادِ وب باز نیست؛ بستری هم برای وظایف وضعیت‌دار (stateful) که به فایل یا شبکه نیاز دارند محسوب نمی‌شود. این سناریوها قطعاً به کانتینر یا یک میکرو‌وی‌ام (microVM) نیاز دارند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا لیست سیاه ابزار اصلی کنترل نیست؟ پاسخ مورد انتظار: کدی که مصمم باشد می‌تواند از هر حفاظ درون‌فرایندی فرار کند؛ سقف زمانی واقعی و سقف خروجی، بدون توجه به رفتار کد، زمان اجرا و حجم خروجی را محدود می‌کنند. البته این دو کنترلی روی مصرف حافظه یا نوشتن روی دیسک ندارند، بنابراین در محیط عملیاتی (production) به سیستم فایل فقط‌خواندنی و ایزوله‌سازی شبکه، یا یک کانتینر نیاز خواهید داشت.
  • سطح 3: اگر کاندیدایی داخل یک حلقه‌ی بی‌نهایت مدام خروجی چاپ کند، کدام ابزار کنترلی فعال می‌شود؟ پاسخ مورد انتظار: سقف خروجی در 256 KB فعال می‌شود و این وضعیت به‌صورت خطا با جزئیات سرریز خروجی ثبت خواهد شد؛ سقف زمانی بعد از آن وارد عمل می‌شد.
  • سطح 4: تابلوی امتیازات باید با سقف زمانی چگونه برخورد کند؛ صفر یا داده‌ی گم‌شده؟ پاسخ مورد انتظار: باید این تصمیم مستند شود؛ اگر برای وظیفه‌ی مورد نظر، کد کند غلط محسوب می‌شود آن را صفر در نظر بگیرید، و اگر تنها درستی عملکرد را می‌سنجید، آن را داده‌ی گم‌شده لحاظ کنید؛ با کمک فیلدِ دلیل خروج می‌توانید هر دو حالت را گزارش دهید.
  • سطح 4: از چه نقطه‌ای به بعد رشته‌های اعتبارسنجی دیگر کافی نیستند؟ پاسخ مورد انتظار: وقتی که ارزیابی باید کاملاً منطبق بر فرایند CI محیط عملیاتی باشد؛ در این صورت باید آن‌ها را با فایل‌های واقعی آزمون واحد (unit test) درون کانتینر جایگزین کنید و دیگر نام این رشته‌ها را آزمون نگذارید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «یک بلوک try دور فراخوانی، خودش ساندباکس است.» این کار صرفاً استثناها را می‌گیرد، نه حریف حلقه‌های بی‌نهایت می‌شود، نه مانع حذف فایل‌هاست و نه جلوی پر شدن حافظه را می‌گیرد.
  • «لیست سیاه همه‌چیز را ایمن می‌کند.» این فهرست فقط یک لایه‌ی پشتیبان و احتیاطی است؛ در پروژه‌ی پایانی تصریح شده که این روش کاملاً نفوذناپذیر نیست.
  • «سقف زمانی را به‌عنوان کرش ثبت کنید.» این دو مورد را در دلایل خروج جدا نگه دارید؛ شاید امتیاز هر دو صفر باشد، اما دلیل خروج نشان می‌دهد که آیا لازم است بودجه‌ی زمانی را افزایش دهید یا خیر.

کجای دوره آموزش داده می‌شود

پروژه‌ی پایانی معیار اجرای کد به بررسی قرارداد زیرفرایندها، دلایل خروج و محدودیت‌ها می‌پردازد، و در پروژه‌ی پایانی بستر ارزیابی مدل زبانی، پیش‌بینی‌ها در یک فضای نام پالایش‌شده اجرا و فایل‌های وظیفه تثبیت می‌شوند.