سؤال مصاحبه

تحلیل نحوه‌ی تخصیص آزمایش در مسیریاب پرامپت

Read the prompt router's experiment assignment

  • سطح ۲: میانی
  • کدخوانی
  • ۸ دقیقه

این تابع در اپلیکیشن محیط عملیاتی (production)، نسخه‌ی پرامپت را برای هر درخواست مشخص می‌کند. توضیح دهید که این کد دقیقاً چه کاری انجام می‌دهد، چرا شناسه‌ی کاربر (user id) را همراه با نام آزمایش هش می‌کند، و عدد 10 در تنظیمات آزمایش برای یک کاربر در طول یک هفته چه مفهومی دارد.

AB_EXPERIMENTS = {
    "general_chat_v2_test": {
        "template": "general_chat",
        "control": "v1",
        "variant": "v2",
        "traffic_pct": 10,
    },
}


def select_prompt(template_name, user_id, variables):
    versions = PROMPT_TEMPLATES.get(template_name)
    if not versions:
        raise ValueError(f"Unknown template: {template_name}")
    version = "v1"
    for exp_name, exp in AB_EXPERIMENTS.items():
        if exp["template"] == template_name:
            bucket = int(hashlib.md5(f"{user_id}:{exp_name}".encode()).hexdigest(), 16) % 100
            if bucket < exp["traffic_pct"]:
                version = exp["variant"]
            else:
                version = exp["control"]
            break
    template = versions.get(version, versions["v1"])
    return template, template.template.format(**variables)

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

این کد شناسه‌ی کاربر و نام آزمایش را هش می‌کند، باقیمانده‌ی آن را بر 100 می‌گیرد، و کاربرانی را که باکت (bucket) آن‌ها کمتر از درصد ترافیک باشد، به شاخه‌ی متغیر (variant) می‌فرستد. از آنجا که تابع هش قطعی (deterministic) است، کاربر در تمام درخواست‌هایش در طول مدت اجرای آزمایش، در همان شاخه‌ی (arm) ثابت قرار می‌گیرد. قرار دادن نام آزمایش در هش باعث استقلال باکت‌های دو آزمایش مختلف از یکدیگر می‌شود؛ در نتیجه، کسانی که در یک آزمایش نسخه‌ی متغیر را دیده‌اند، لزوماً همان کاربران آزمایش بعدی نخواهند بود. با درصد ترافیک 10، حدود یک‌دهمِ کاربران در تمام طول هفته و در همه‌ی درخواست‌هایشان نسخه‌ی متغیر را می‌بینند و سایر کاربران اصلاً آن را دریافت نمی‌کنند.

پاسخ کامل

خط‌به‌خط

  1. نسخه‌ی پیش‌فرض v1 است؛ بنابراین قالبی که آزمایشی برای آن تعریف نشده باشد، همیشه مقداردهی و اجرا می‌شود.
  2. حلقه، آزمایش مربوط به این قالب را پیدا می‌کند و روی اولین مورد متوقف می‌شود. یعنی در هر زمان، فقط یک آزمایش برای هر قالب اجرا می‌شود.
  3. باکت، حاصل هش رشته‌ی user_id:exp_name است که به شکل عدد صحیح خوانده شده و باقیمانده‌اش بر 100 محاسبه می‌شود. نتیجه مقداری بین 0 تا 99 خواهد بود.
  4. اگر باکت کمتر از traffic_pct باشد، نسخه‌ی متغیر و در غیر این صورت، نسخه‌ی کنترل (control) به کاربر اختصاص می‌یابد.
  5. قالب پرامپت با متغیرهای درخواست رندر می‌شود.

چرا هش باید قطعی باشد؟

نکته‌ی کلیدی درس کاملاً صریح است: شناسه‌ی کاربر را هش کنید و سراغ انتخاب تصادفی نروید. قرعه‌کشی تصادفی در هر درخواست باعث می‌شود کاربر مدام بین دو پرامپت جابه‌جا شود؛ در نتیجه کاربر دو رفتار متفاوت می‌بیند و در سنجه‌های به ازای کاربر، اثر هر دو شاخه با هم مخلوط می‌شود. همچنین، تثبیت شاخه به ازای هر کاربر تضمین می‌کند که تعداد موارد مواجهه (exposure count)، دقیقاً برابر با تعداد کاربران باشد؛ موضوعی که تحلیل آزمایش به آن نیاز دارد.

چرا نام آزمایش در کلید هش قرار می‌گیرد؟

بدون نام آزمایش، باکت کاربر در همه‌ی آزمایش‌ها یکسان می‌ماند؛ در این صورت، همیشه همان یک‌دهم مشخص از کاربران، در هر آزمایش گروه متغیر را تشکیل می‌دهند. در نتیجه، آزمایش‌ها به هم وابسته می‌شوند و اثرات به‌جامانده از یک آزمایش به آزمایش بعدی سرایت می‌کند. نام آزمایش مثل یک سالت (salt) عمل می‌کند و باعث می‌شود هر آزمایش تقسیم‌بندی اختصاصی خودش را داشته باشد.

نکاتی که باید به آن‌ها دقت کنید

  • باقیمانده بر 100، گام‌های یک‌درصدی ایجاد می‌کند. اگر سهم کوچک‌تری بخواهید، به مقسوم‌علیه بزرگ‌تری نیاز دارید.
  • در دمو، 1000 شناسه‌ی کاربر ساختگی از انتخاب‌گر عبور داده شده و سهم گروه‌های کنترل و متغیر چاپ می‌شود. این یک بررسی ارزان‌قیمت نرخ نمونه‌گیری (sample ratio check) است و باید در قالب آزمون (test) نوشته شود.
  • وجود break یعنی آزمایش دوم روی همان قالب هرگز اجرا نمی‌شود. ساختار فایل تنظیمات این را نشان می‌دهد، اما سیستم خطایی صادر نمی‌کند.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا کاربر در درخواست‌های مختلف در همان شاخه باقی می‌ماند؟ انتظار می‌رود: چون هشِ یک شناسه‌ی کاربر و نام آزمایش یکسان، هر بار دقیقاً همان باکت قبلی را برمی‌گرداند.
  • سطح 2: اگر دو آزمایش برای یک قالب تنظیم شوند چه اتفاقی می‌افتد؟ انتظار می‌رود: حلقه اولین مورد منطبق را برمی‌دارد و متوقف می‌شود؛ در نتیجه آزمایش دوم هیچ کاربری دریافت نمی‌کند.
  • سطح 3: چرا شناسه‌ی کاربر را به‌تنهایی هش نمی‌کنیم؟ انتظار می‌رود: در همه‌ی آزمایش‌ها همان کاربران قبلی به گروه متغیر می‌روند؛ بنابراین آزمایش‌ها همبسته شده و اثرهای متداخل، نتایج را مخدوش می‌کنند.
  • سطح 3: دمو چطور این تقسیم‌بندی را بررسی می‌کند و شما چه چیزی به آن اضافه می‌کنید؟ انتظار می‌رود: 1000 شناسه‌ی ساختگی را از انتخاب‌گر عبور می‌دهد و سهم هر دو گروه را چاپ می‌کند. برای یک بررسی نرخ نمونه‌گیری واقعی، می‌توان همین اعتبارسنجی را روی لاگ‌های واقعی مواجهه پیاده کرد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «انتخاب تصادفی زیرِ درصد تعیین‌شده ساده‌تر بود و نتیجه‌اش فرقی نداشت.» این کار به ازای هر درخواست تصمیم می‌گیرد؛ بنابراین کاربر بین شاخه‌ها جابه‌جا شده و هر دو پرامپت را می‌بیند.
  • «تابع هش ضعیف است، پس تخصیص کاربر به‌درستی انجام نمی‌شود.» هش در اینجا نقش امنیتی ندارد؛ فقط باید قطعی باشد و داده‌ها را یکنواخت پخش کند.
  • «این درصد، سهم درخواست‌ها است.» این مقدار، سهم کاربران است؛ چون باکت بر اساس کاربر محاسبه می‌شود و ثابت می‌ماند.

کجای دوره آموزش داده می‌شود

درس اپلیکیشن محیط عملیاتی مسیریاب پرامپت را همراه با تخصیص آزمایش مبتنی بر هش پیاده‌سازی می‌کند و در بخش دموی خود، سهم تفکیک را می‌سنجد.