یک سید (seed) بهتنهایی خروجی یکسانی در دستههای شلوغ تضمین نمیکند، و پایا بودن دسته (batch invariance) هم به قیمت افت سرعت تمام میشود.
شاید برای شما هم پیش آمده باشد که ارزیابیها را اجرا کنید و نمرات در هر اجرا تغییر کنند. پس از مطالعهی این بخش، میتوانید برای درخواستی مشخص، خروجی کاملاً ثابتی بگیرید.
دلایل تغییر خروجیها
مستندات vLLM اشاره میکنند که این فریمورک بهطور پیشفرض و برای حفظ سرعت پردازش، خروجی یکسان را تضمین نمیکند. سه عامل نتیجهی یک درخواست را دستخوش تغییر میکنند:
- دسته (Batch). کرنلها (kernel) حاصلجمعهای خود را بر اساس اندازهی دسته تقسیم میکنند. ترتیبی که یک درخواست یکسان برای جمع اعدادش دنبال میکند، در دستهای 3 تایی با دستهای 30 تایی فرق دارد. حاصلجمع ممیز شناور هم وابسته به ترتیب عملیات است. اختلافی جزئی در حتی یک لاجیت (logit) میتواند توکنِ نمونهبرداریشده را عوض کند و از آن به بعد تمام توکنهای بعدی متفاوت خواهند شد.
- زمانبندی (Schedule). در سرور چندفرایندیِ پیشفرض، زمان ورود هر درخواست مشخص میکند که به کدام دسته بپیوندد.
- کش پیشوند (Prefix cache). درخواستی که از بلوکهای کششده استفادهی مجدد میکند، پرامپت خود را متفاوت از درخواستی بدون تطابق کش پردازش میکند. در آزمایشهای ما روی نسخهی 0.31.0، کش گرم خروجی حریصانه (greedy) را در 11 مورد از 32 پرامپت تغییر داد. مقالهی سال 2026 با عنوان «Same Request, Different Answer» نیز دقیقاً به همین رفتار در vLLM 0.11 اشاره کرده است.
- نوع داده (Dtype). انواع دادهی BF16 و FP16 اعداد را متفاوت گرد میکنند؛ بنابراین مدلی یکسان با این دو نوع داده، متنهای متفاوتی تولید میکند.
مقدار سید در انجین فعلی بهصورت پیشفرض روی 0 تنظیم شده است و نمیتوانید آن را بردارید. دیکودینگ حدسی (speculative decoding) به این نیاز دارد که همهی ورکرها توکنهای یکسانی نمونهبرداری کنند. در نتیجه، سید همیشه وجود دارد ولی بهتنهایی کافی نیست.
انتخاب راهحل متناسب با شرایط
| شرایط | راهحل | هزینه |
|---|---|---|
ارزیابیهای آفلاین با کلاس LLM |
تنظیم VLLM_ENABLE_V1_MULTIPROCESSING=0، استفاده از سید یکسان و ارسال پرامپتهای مشابه با ترتیبی کاملاً یکسان |
انجین در فرایندِ خودتان اجرا میشود، بنابراین زمانبندی دقیقاً تکرارپذیر است |
| سرور با ترافیک زنده | فعال کردن حالت پایا در برابر دسته، طبق توضیحات بخش بعد | کندتر شدن کرنلها برای تمام درخواستها |
| ارزیابیهای حریصانهای که باید کاملاً یکسان باشند | ترکیب نمونهبرداری حریصانه با یکی از دو راهحل بالا | مشابه بالا |
هر راهحلی نیازمند سختافزار یکسان، نسخهی vLLM مشابه و تنظیمات کاملاً یکدست است. انتشاری تازه یا پردازندهی گرافیکی جدید، کرنلها را تغییر میدهد و به دنبال آن خروجیها نیز عوض میشوند.
فعال کردن حالت پایا در برابر دسته
هنگام بالا آوردن سرور، این متغیر محیطی را تنظیم کنید:
VLLM_BATCH_INVARIANT=1 vllm serve Qwen/Qwen3-8B 2>&1 | tee server.log
این حالت به پردازندهی گرافیکی NVIDIA با قابلیت محاسباتی 8.0 یا بالاتر نیاز دارد که مدلهای L4 و GB10 را شامل میشود. مستندات vLLM مدل Qwen3-8B را جزو مدلهای آزمایششده در این حالت معرفی کردهاند. این قابلیت برخی از ویژگیهای سرعتی را که ترتیب جمع زدن را به هم میریزند غیرفعال میکند؛ از جمله all-reduce سفارشی به همراه موازیسازی تنسور (tensor parallelism).
ما یک آزمون ارزیابی (probe) با مدل کوچک Qwen3-0.6B روی کارت L4 اجرا کردیم. با فعال بودن این حالت، یک پرامپت حریصانه چه بهتنهایی و چه داخل دستهای از 32 درخواست، خروجی کاملاً یکسانی تولید کرد. با خاموش بودن آن، دو خروجی متفاوت شدند. البته آزمایش یک پرامپت روی مدلی کوچک سند محکمی برای کار شما نیست؛ پس تستی را که در انتهای این صفحه آمده، روی مدل خودتان پیاده کنید.
بررسی عوامل تغییردهندهی خروجی در آزمایشهای ما
ما سؤالات ShareGPT را بعد از یک پرامپت سیستم مشترکِ حدوداً 170 توکنی، بهصورت حریصانه، با 128 توکن خروجی و در حالت خاموش بودن فرایند تفکر (thinking off) فرستادیم. سپس خروجیها را توکن به توکن با اجرای دوم مقایسه کردیم. این تست در تاریخهای 2026-10-22 و 2026-10-23 روی GPU دوم نود L4 با مدل Qwen/Qwen3-0.6B انجام شد. این GPU با کاربر دیگری به اشتراک گذاشته شده بود و فرکانس پردازندهی آن قفل نبود.
فرکانس پردازنده روی سرعت اجرا اثر میگذارد، نه روی توکنهای نمونهبرداری حریصانه. با این حال، هر شمارش ثبتشده حاصل یک نشست (session) روی یک GPU است.
comparison SGLang 0.6B vLLM 0.6B
flushed repeat against fresh 0 of 32 0 of 32
cache off against cache off 0 of 32 0 of 32
fresh against warm cache 21 of 32 (45) 11 of 32 (57)
cache on against cache off 25 of 32 (26) 21 of 32 (48)جدول برای همزمانی 1. عدد داخل قلاب، میانهٔ جایگاه اولین توکنِ متفاوت است. ستون SGLang از همان آزمون ارزیابی روی SGLang 0.5.22 بهدست آمده است.
- یک کاربر، وضعیت کش یکسان. تکرار آزمایش پس از بازنشانی کش، یا تکرار با کش خاموش، متنی کاملاً یکسان برای تمام 32 پرامپت تولید کرد.
- یک کاربر، کش گرم. ارسال همان پرامپتها در مواجهه با کش گرم، خروجی 11 مورد از 32 درخواست را تغییر داد. مقایسهی حالت کش روشن با کش خاموش هم خروجی 21 مورد از 32 درخواست را عوض کرد.
- چندین کاربر. با ارسال همزمان درخواستهای 64 کاربر در حالتی که کش خاموش بود، دو اجرا در 50 مورد از 64 خروجی با هم فرق داشتند. اندازهی دسته بهتنهایی اکثر خروجیها را تغییر داد؛ بهگونهای که امکان تفکیک اثر کش در این بار کاری وجود نداشت.
- نوع داده. 64 سؤال را با یک کاربر و کش خاموش فرستادیم. مقایسهی BF16 با FP16، خروجی 48 مورد از 64 درخواست را برای Qwen3-0.6B و 56 مورد از 64 درخواست را برای Qwen3-1.7B تغییر داد. اولین توکن متفاوت، با مقدار میانه در جایگاههای 51 و 56 ظاهر شد. تکرار آزمایش با همان نوع داده، هیچ تفاوتی ایجاد نکرد.
بنابراین برای یک کاربر، بازنشانی کش جهت تکرار دقیق خروجی حریصانه کفایت میکند؛ اما در آزمایشهای ما زیر بار کاری بالا، بازنشانی کش کافی نبود. برای سرورهای زنده، راهکار اصلی همین حالت پایا در برابر دسته است که در این صفحه بررسی شده، هرچند ما آن را زیر بار کاری سنگین آزمایش نکردیم. ارقام ما مربوط به مدلهایی کوچک روی یک GPU هستند، پس حتماً مدل خودتان را ارزیابی کنید.
مواردی که حالت پایا در برابر دسته پوشش نمیدهد
این قابلیت در نسخهی 0.31.0 آزمایشی (beta) است. گزارشهای تیمهای دیگر به سه محدودیت اشاره دارند که ما خودمان آنها را نسنجیدهایم:
- هزینهی سرعت. در مقالهی سپتامبر 2025 با عنوان «Defeating Nondeterminism in LLM Inference»، آزمایشگاه Thinking Machines Lab تعداد 1000 درخواست را با مدل Qwen3-8B روی vLLM اجرا کرد. پردازش در حالت پیشفرض 26 ثانیه زمان برد؛ با کرنلهای پایا در برابر دسته به 55 ثانیه رسید و با یک کرنل اتنشن (attention) بهینهتر 42 ثانیه طول کشید. مقالهی CoRun در سال 2026 گزارش میدهد که کرنلهای پایا در برابر دسته تاخیر (latency) را بیش از دو برابر میکنند و نرخ پردازش (throughput) را تا 74 درصد کاهش میدهند.
- سایر تغییرات در فرایند اجرا. مقالهی سال 2026 با عنوان «Vosti: Specifying, Implementing, and Verifying Deterministic LLM Inference» تغییراتی مانند قطعهبندی متن پرامپت (prompt chunking) و استفادهی مجدد از کش کلید-مقدار (KV cache) را بررسی کرد. حالت پایا در برابر دسته در vLLM، تحت برخی از این شرایط لاجیتهای متفاوتی تولید میکرد.
- برخی مسیرهای پردازشی مدلها. در نسخهی 0.31.0، مدلی که بکاند اتنشن خود را مستقلاً انتخاب میکند، بررسی این حالت را دور میزند؛ بنابراین خروجی آن همچنان میتواند به دسته وابسته بماند. نسخهی 0.32.0 بکاند تکتک لایههای اتنشن را ارزیابی میکند. با این حال، راهکار اصلاحی برای مدلهای MoE با ترکیب موازیسازی داده، تنسور و متخصصان (expert parallelism) تحت torch.compile هنوز به نسخهی 0.32.0 راه نیافته است.
بنابراین دقیقاً همان ترکیبی را بسنجید که در عمل سرو میکنید: مدل، چیدمان موازیسازی، تنظیمات کش پیشوند و سهمیهی توکن (token budget).
بررسی نتیجه
یک ارزیابی یکسان را دو بار اجرا کنید و خروجیها را توکن به توکن با هم بسنجید، نه صرفاً از روی نمرهی کلی. بین دو اجرا، کش پیشوند را ریست کنید یا سرور را مجدداً بالا بیاورید، درست همانطور که در صفحهی بنچمارک توضیح داده شده است. اگر خروجیها مغایرت داشتند، همان پرامپت ناموفق را دو بار بهصورت تکی بفرستید. چنانچه پاسخها در حالت تکی یکسان بودند، دستهبندی درخواستها علت اصلی این تفاوت است.
افت سرعت روی پردازندهی L4 ما
ما افت سرعت را در تاریخ 2026-10-23 روی کارت L4 خود با قفل کردن فرکانس روی 900 مگاهرتز اندازه گرفتیم. اجراها به ترتیب پیشفرض، پایا در برابر دسته و مجدداً پیشفرض پیش رفتند؛ هر حالت با دو سید متفاوت و با بازنشانی کش پیش از هر اجرا سنجیده شد.
…
users median TPOT default / batch-invariant output tok/s default / batch-invariant
1 6.9 / 16.9 ms (2.4x) 140.6 / 58.7 (58% lower)
8 9.9 / 18.2 ms (1.8x) 755 / 420 (44% lower)
32 18.8 / 25.9 ms (1.4x) 1,565 / 1,154 (26% lower)
…سطرهای Qwen3-0.6B، که در آن هر اجرا میانهی کلاک 900 MHz داشت. خطوط آمادهسازی قبل از آنها و سطرهای Qwen3-8B بعد از آنها حذف شدهاند.
در مدل Qwen/Qwen3-8B با 8 کاربر، زمان صرفشده به ازای هر توکن 1.4 برابر بیشتر شد و خروجی توکن بر ثانیه 27 درصد افت کرد. با 32 کاربر، زمان 1.3 برابر بیشتر و نرخ توکن 23 درصد کمتر شد. تستهای تککاربرهی مدل 8B پایینتر از فرکانس قفلشده پردازش شدند، به همین دلیل از مقایسه کنار گذاشته شدند. با افزایش کاربرانی که هر گام را به اشتراک میگذاشتند، هزینهی نسبی افت کرد، هرچند روی مدل کوچکتر محسوستر بود. پیش از آنکه این حالت را روی سرور زندهی خود روشن کنید، افت سرعت را حتماً روی مدل خود بسنجید.
منابع: مستندات vLLM نسخهی v0.31.0 (بخشهای docs/usage/reproducibility.md و docs/features/batch_invariance.md)، سورسکد vLLM نسخهی v0.31.0 (فایل vllm/envs.py)، مقالهی Same Request, Different Answer: Quantization Amplifies Cache-Induced Divergence in LLM Serving (arXiv 2609.04748, 2026)، مقالهی Defeating Nondeterminism in LLM Inference اثر Horace He و Thinking Machines Lab (2025-09-10)، مقالهی CoRun: Padding is Simple and Efficient for Deterministic LLM Inference (arXiv 2608.14376, 2026)، مقالهی Vosti: Specifying, Implementing, and Verifying Deterministic LLM Inference (arXiv 2609.38981, 2026)، یادداشتهای انتشار نسخهی v0.32.0 (بررسی بکاند اتنشن برای حالت پایا در برابر دسته)، پول ریکوئست 61118 در vLLM (حالت پایا در برابر دسته در inductor، مرجشده در تاریخ 2026-10-17 که در v0.32.0 قرار ندارد)، فایلهای لاگ capture/gpu/out-l4/livecheck-2026-10-22.txt، capture/gpu/out-l4/greedy-output-cache-batch-dtype.txt و capture/gpu/out-l4/batch-invariant-cost.txt.