سؤال مصاحبه

هزینه‌ی قطعی بودن برای یک سرور عملیاتی

What determinism costs a live server

  • سطح ۳: ارشد
  • بده‌بستان
  • ۱۰ دقیقه

تیم ارزیابی شما خروجی‌های بیت‌به‌بیت یکسان از سرور عملیاتی می‌خواهد و از شما خواسته پایایی دسته (batch invariance) را برای تمام ترافیک فعال کنید. این کار چه چیزهایی را تغییر می‌دهد، چه هزینه‌ای دارد و پاسخ شما چیست؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

این حالت، کرنل‌هایی را که حاصل‌جمع‌های خود را بر اساس اندازه‌ی دسته تقسیم می‌کنند، با کرنل‌هایی جایگزین می‌کند که ترتیب کاهش (reduction) ثابتی دارند؛ بنابراین یک درخواست، چه به‌تنهایی پردازش شود و چه درون یک دسته، لاجیت‌های یکسانی تولید می‌کند. هزینه‌ی این کار افت سرعت است، به‌ویژه در همزمانی‌های پایین: روی پردازنده‌ی L4 ما، زمان به ازای هر توکن در مدل کوچک برای 1 کاربر 2.4 برابر و برای 32 کاربر 1.4 برابر شد؛ در مدل Qwen3-8B نیز برای 8 کاربر این زمان 1.4 برابر شد و نرخ خروجی 27 درصد افت کرد. من این قابلیت را برای سرورهای ارزیابی و مسیرهای پیش‌روی شبیه‌سازی‌شده (rollout) روشن می‌کنم، اما برای ترافیک محیط عملیاتی، پس از اندازه‌گیری هزینه در سطح همزمانی واقعی سرویس، آن را خاموش نگه می‌دارم؛ زیرا در SGLang با بک‌اند پیش‌فرض، کش پیشوند (prefix caching) نیز غیرفعال می‌شود.

پاسخ کامل

این حالت چه بخش‌هایی را تغییر می‌دهد

در vLLM، فلگ VLLM_BATCH_INVARIANT=1 به پردازنده‌ی گرافیکی با قابلیت محاسباتی 8.0 یا بالاتر نیاز دارد (شامل L4 و GB10) و قابلیت‌های افزایش سرعتی را که ترتیب جمع‌ها را برهم می‌زنند غیرفعال می‌کند؛ از جمله all-reduce سفارشی با موازی‌سازی تنسور (tensor parallelism). این ویژگی در نسخه‌ی 0.31.0 هنوز آزمایشی (beta) است.

در SGLang، فلگ --enable-deterministic-inference عملیات ضرب ماتریسی، سافت‌مکس لگاریتمی (log-softmax)، میانگین، نرمال‌سازی RMS و ضرب دسته‌ای را با کرنل‌های پایا جایگزین می‌کند؛ بک‌اند نمونه‌برداری ساده را اجباری می‌سازد؛ all-reduce را روی ساختار درختی تنظیم می‌کند تا جمع‌های موازی‌سازی تنسور با ترتیبی ثابت انجام شوند؛ فقط برخی از بک‌آندهای اتنشن را می‌پذیرد؛ radix cache را خاموش می‌کند مگر اینکه بک‌اند انتخابی از آن پشتیبانی کند؛ و به هر درخواستی که فاقد sampling_seed باشد، سید 42 اختصاص می‌دهد. قانون کش از همه مهم‌تر است: با بک‌اند پیش‌فرض روی GB10، لاگ سیستم اعلام کرد که radix cache سازگار نیست؛ بنابراین هر پیشوند تکراری، هزینه‌ی کامل پیش‌پرکنی (prefill) خود را دوباره پرداخت کرد. روی L4، این حالت بک‌اند متفاوتی را انتخاب کرد که کش را روشن نگه می‌دارد.

اندازه‌گیری‌های این راهنما

اجرای vLLM روی پردازنده‌ی L4 با فرکانس قفل‌شده روی 900 مگاهرتز برای مدل Qwen3-0.6B؛ اجراها به ترتیب پیش‌فرض، پایا و مجدداً پیش‌فرض انجام شدند، با دو سید برای هر حالت و پاک‌سازی کش پیش از هر اجرا:

کاربران میانه‌ی TPOT، پیش‌فرض / پایا توکن خروجی بر ثانیه، پیش‌فرض / پایا
1 6.9 / 16.9 میلی‌ثانیه (2.4 برابر) 140.6 / 58.7 (58٪ کمتر)
8 9.9 / 18.2 میلی‌ثانیه (1.8 برابر) 755 / 420 (44٪ کمتر)
32 18.8 / 25.9 میلی‌ثانیه (1.4 برابر) 1,565 / 1,154 (26٪ کمتر)

روی مدل Qwen3-8B با 8 کاربر، زمان به ازای هر توکن 1.4 برابر شد و حجم خروجی 27 درصد افت کرد؛ در 32 کاربر، این ارقام به ترتیب 1.3 برابر و 23 درصد بودند. هرچه کاربران بیشتری در هر گام سهیم شدند، هزینه‌ی نسبی کاهش یافت و این هزینه روی مدل کوچک‌تر بیشتر بود.

در SGLang روی GB10 با مدل Qwen3-30B-A3B، یک بار اجرا به ازای هر سرور در همزمانی 8: نرخ خروجی از 78.92 به 64.83 توکن بر ثانیه رسید (18 درصد افت) و میانه‌ی زمان به ازای هر توکن از 97.30 به 117.43 میلی‌ثانیه افزایش یافت. در آن اجرا radix cache خاموش بود؛ بنابراین بارهای کاری شامل پیشوندهای مشترک، هزینه‌ای بسیار بیشتر از این رقم پرداخت می‌کنند.

اندازه‌گیری‌های سایر تیم‌ها

مقاله‌ای درباره‌ی رفتار غیرقطعی نشان داد که اجرای 1,000 درخواست Qwen3-8B روی vLLM در حالت پیش‌فرض 26 ثانیه، با کرنل‌های پایا 55 ثانیه و با یک کرنل اتنشن بهتر 42 ثانیه طول کشید. پژوهشی در سال 2026 تاخیر کرنل‌های پایا را بیش از دو برابر و افت نرخ پردازش را تا 74 درصد ثبت کرد. یک بررسی اعتبارسنجی نیز نشان داد که حالت‌های قطعی هر دو موتور تحت برخی تغییرات در نحوه‌ی اجرا (مانند قطعه‌بندی پرامپت و استفاده‌ی مجدد از کش کلید-مقدار (KV cache)) لاجیت‌های متفاوتی دادند. این راهنما این موارد را مستقیماً اندازه نگرفته است.

مواردی که این حالت پوشش نمی‌دهد

در نسخه‌ی 0.31.0، مدلی در vLLM که بک‌اند اتنشن اختصاصی خود را انتخاب کند از این بررسی رد می‌شود؛ در نتیجه خروجی آن همچنان ممکن است به دسته وابسته باشد. نسخه‌ی بعدی تک‌تک لایه‌های اتنشن را بررسی می‌کند، اما اصلاحیه‌ی مدل‌های متخصص (MoE) که از موازی‌سازی داده، تنسور و موازی‌سازی متخصصان همراه با کامپایل استفاده می‌کنند در آن گنجانده نشده است. در SGLang گزارش شده که یک مدل فضای حالت پیوندی پایا نیست؛ برخی معماری‌های جدیدتر هنوز پشتیبانی نمی‌شوند؛ یک کرنل پنجره‌ی لغزان در حالت پیشوند چندین خروجی حریصانه (greedy) تولید کرد که مشکل آن هنوز حل نشده است؛ و یک الگوریتم حدسی پس از راه‌اندازی مجدد، متن متفاوتی تولید کرد، زیرا تنظیم خودکار کرنل در هر بار راه‌اندازی تاکتیک‌های متفاوتی برگزید.

پاسخ پیشنهادی من

از این حالت فقط در جایی استفاده کنید که محصول نهایی بیت‌های یکسان است: مسیرهای پیش‌روی یادگیری تقویتی و ارزیابی‌هایی که باید بازتولیدپذیر باشند. ترافیک محیط عملیاتی را روی کرنل‌های پیش‌فرض نگه دارید؛ ارزش کش پیشوند و کرنل‌های سریع‌تر از خروجی‌های بیت‌به‌بیت یکسان بیشتر است. هزینه را در همان سطح همزمانی واقعی سرویس خود بسنجید، نه در یک نقطه، و دقیقاً همان پیکربندی نهایی را آزمایش کنید: مدل، بک‌اند اتنشن، چینش موازی‌سازی، اندازه‌ی قطعه‌ها و تنظیمات کش. هنگام مقایسه‌ی دو اجرا، کش را بین آن‌ها پاک کنید و نوع داده (dtype) را یکسان نگه دارید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا هزینه‌ی نسبی در همزمانی‌های بالاتر کاهش یافت؟ پاسخ مورد انتظار: کرنل‌های پایا تقسیم‌بندی‌های سریعی را که یک پردازنده‌ی گرافیکی بیکار استفاده می‌کرد کنار می‌گذارند و این اتلاف، سهم بزرگی از یک گام پردازشی کوچک است؛ با افزایش تعداد ردیف‌ها در هر گام، هزینه‌ی حفظ ترتیب ثابت سهم کوچک‌تری پیدا می‌کند (1.4 برابر در 32 کاربر در مقایسه با 2.4 برابر در 1 کاربر).
  • سطح 3: در SGLang، افت 18 درصدی هزینه‌ی واقعی یک بار کاری چت را دست‌پایین برآورد می‌کند. چرا؟ پاسخ مورد انتظار: با بک‌اند پیش‌فرض اتنشن، حالت قطعی radix cache را خاموش می‌کند؛ بنابراین هر پیشوند تکراری، هزینه‌ی پیش‌پرکنی کامل خود را از نو می‌پردازد. اگر پردازنده‌ی گرافیکی پشتیبانی می‌کند، بک‌اندی را انتخاب کنید که کش را روشن نگه دارد.
  • سطح 4: دو سرور هر دو این حالت را اجرا می‌کنند، اما باز هم برای یک پرامپت یکسان، متن‌های حریصانه‌ی متفاوتی تولید می‌کنند. سه دلیل نام ببرید. پاسخ مورد انتظار: تفاوت در سخت‌افزار یا نسخه‌ی موتور؛ بخش‌هایی از مدل که این حالت پوشش نمی‌دهد (مانند لایه‌ی اتنشنی که بک‌اند خود را انتخاب می‌کند یا لایه‌ی فضای حالت پیوندی)؛ و تنظیم خودکار کرنل که در هر راه‌اندازی تاکتیک‌های متفاوتی را برگزیده است.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «وقتی پردازنده‌ی گرافیکی بیکار است، این حالت هزینه‌ای ندارد.» بیشترین هزینه در همزمانی پایین رخ می‌دهد (2.4 برابر زمان به ازای هر توکن برای 1 کاربر روی مدل کوچک)؛ زیرا کرنل‌های پایا تقسیم‌بندی‌های سریعی را که یک پردازنده‌ی گرافیکی بیکار به کار می‌بُرد کنار می‌گذارند.
  • «آن را برای محیط عملیاتی روشن کنید، زیرا درستی خروجی بر همه‌چیز مقدم است.» ترافیک عملیاتی از کش پیشوند و کرنل‌های سریع سود بسیار بیشتری می‌برد تا بیت‌های یکسان؛ موضع این راهنما استفاده از این حالت برای مسیرهای پیش‌روی و ارزیابی‌ها، و سنجش هزینه در همان سطح همزمانی ترافیک سرویس است.
  • «این فلگ همه‌ی مدل‌ها را پوشش می‌دهد.» در نسخه‌ی 0.31.0 مدلی که بک‌اند اتنشن اختصاصی خود را انتخاب کند از بررسی رد می‌شود، لایه‌های فضای حالت پیوندی پوشش داده نشده‌اند، و اصلاحیه‌ی مدل‌های متخصص همراه با کامپایل در نسخه‌ی بعدی نیست؛ باید دقیقاً همان پیکربندی خود را بسنجید.
  • «سید 42 درخواست‌های دارای نمونه‌برداری را تکرارپذیر می‌کند.» این کار باعث می‌شود تمام درخواست‌های فاقد sampling_seed اعداد تصادفی یکسانی دریافت کنند؛ این یعنی علاوه بر تکرارپذیری، خروجی میان کاربران مختلف هم کاملاً یکسان می‌شود. برای هر درخواستی که باید بازتولیدپذیر باشد، یک sampling_seed اختصاصی تنظیم کنید.

کجای دوره آموزش داده می‌شود

بخش دریافت خروجی‌های تکرارپذیر هزینه را روی L4 اندازه می‌گیرد و بخش استنتاج قطعی SGLang فهرست تغییرات اعمال‌شده توسط این فلگ را ارائه می‌دهد.