وقتی دستهی پیرامون یک پرامپت تغییر میکند، همان پرامپت ممکن است توکنهای متفاوتی بدهد؛ SGLang ترتیب کاهش محاسباتی (reduction order) را برای تکتک مدلها و بکاندهایی که آزموده، ثابت نگه میدارد.
ارزیابی مدلتان را دو بار با دمای 0 اجرا میکنید و نمرهها با هم فرق دارند. یک پرامپت را یک بار بهتنهایی و بار دیگر درون یک دستهی شلوغ میفرستید؛ پاسخ دوم بعد از چهل توکن مسیرش جدا میشود. هیچچیز در درخواستی که فرستادید تغییر نکرده است. سرور دستهای را که درخواستتان در آن اجرا میشد عوض کرده، و همین دسته محاسبات ریاضی را تغییر داده است.
با پایان این بخش، متوجه میشوید که چرا دستهبندی روی خروجی اثر میگذارد و حالت قطعی (deterministic mode) چه چیزهایی را تغییر میدهد. همچنین میتوانید مقادیر logprob بازگرداندهشده از SGLang را بخوانید و قطعی بودن مدل خود را بیازمایید.
بهای محاسباتی: وابستگی ترتیب جمع به اندازه دسته
جمع اعداد ممیز شناور خاصیت شرکتپذیری ندارد. جمع زدن همان اعداد با ترتیبی دیگر میتواند بیتهای پایانی نتیجه را تغییر دهد. یک ضرب ماتریسی، سافتمکس یا نرمالسازی، حاصلجمعهای خود را به کاشیها (tiles) تقسیم میکند و بسیاری از کرنلها این تقسیمبندی کاشیها را بر اساس اندازهی دسته تعیین میکنند. درخواستی در یک دستهی 1 تایی و همان درخواست در دستهای 37 تایی از تقسیمبندیهای متفاوتی عبور میکنند.
یک تفاوت در آخرین بیت میتواند تعیین کند کدام توکن بالاترین لاجیت را داشته باشد. پس از حتی یک توکنِ متفاوت، تمام توکنهای بعدی بر پایهی متنی متفاوت شرطی میشوند. شرکت Thinking Machines این پدیده را در پستی در سال 2025 دربارهی ناپایداری و عدم قطعیت در استنتاج توضیح داد {{field Thinking Machines 2025-09}}، و SGLang حالت قطعی خود را بر پایهی همین رویکرد ساخت.
پایایی دسته (Batch invariance): یکی از ویژگیهای کرنل است. نتیجهی یک سطر به سطرهای دیگرِ موجود در دسته وابسته نیست، چون ترتیب کاهش محاسباتی در آن ثابت است.
این پرچم چه مواردی را تغییر میدهد
گزینهی --enable-deterministic-inference بهطور پیشفرض خاموش است. پرچم --rl-on-policy-target fsdp هم آن را روشن میکند. وقتی روشن باشد، هنگام راهاندازی این موارد اعمال میشود:
- عملگرهای
aten::mm،addmm،_log_softmax،mean.dim،rms_normوbmmدر PyTorch را با کرنلهای پایا نسبت به دسته جایگزین میکند. - بکاند نمونهگیری را روی
pytorchقفل میکند. - با موازیسازی تنسور (tensor parallelism) روی CUDA، متغیر محیطی را روی
NCCL_ALGO=allreduce:treeتنظیم میکند تا عملیات all-reduce با ترتیبی ثابت جمع شود. روی AMD از یک all-reduce تکمرحلهای بهره میبرد. - فقط بکاندهای اتنشن
ascend،fa3،fa4،flashinfer،intel_xpuوtritonرا میپذیرد. - کش Radix را خاموش میکند، مگر اینکه بکاند اتنشن یکی از موارد
ascend،fa3،fa4یاtritonباشد. - به هر درخواستی که
sampling_seedنداشته باشد، سید 42 اختصاص میدهد.
مورد پنجم برای سرور بیشترین اهمیت را دارد. با بکاند flashinfer، حالت قطعی قابلیت کش پیشوند را خاموش میکند. بنابراین هر پیشوند تکراری، هزینهی کامل پیشپرکنی (prefill) خود را دوباره تحمیل میکند. در بخش 3.3 توضیح دادهایم که این کش چه مقدار در پردازش صرفهجویی میکند.
مقادیر Logprob با مقیاس دما محاسبه میشوند
Logprob: لگاریتم احتمال یک توکن بر اساس توزیعی که سرور از آن نمونهگیری کرده است. SGLang زمانی آن را برمیگرداند که درخواست شامل return_logprob یا فیلد logprobs سازگار با OpenAI باشد.
نمونهگیر مقادیر بازگرداندهشدهی logprob را بهصورت log_softmax(logits / temperature) حساب میکند؛ البته در صورتی که کل دسته آزمندانه (greedy) نباشد. این نمونهگیر تنها برای دستههای تماماً آزمندانه یا زمانی که متغیر محیطی SGLANG_RETURN_ORIGINAL_LOGPROB تنظیم شده باشد، مقدار log_softmax(logits) را بدون اعمال دما برمیگرداند. درخواستی با دمای 0.7، مقادیر logprob مربوط به توزیع تیزترشده (sharpened) را دریافت میکند.
در آزمون ما، پارامتر top-p تغییری در مقدار بازگرداندهشده ایجاد نکرد. این آزمون از return_logprob با دمای 1 و top-p برابر با 0.9 استفاده کرد. ما آن را روی دومین پردازندهی گرافیکی گره L4 خود در تاریخ 2026-10-23 با مدل Qwen/Qwen3-0.6B و دقت BF16 اجرا کردیم. تعداد 16 پرامپت 48 توکنی فرستادیم. هر logprob بازگرداندهشده را با یک دور اجرای Transformers با دقت float32 روی کل واژگان سنجیدیم.
engine and mode returned minus reference, median median absolute
…
SGLang return_logprob, ORIGINAL_LOGPROB=0 0.0000 0.0066
SGLang return_logprob, ORIGINAL_LOGPROB=1 0.0000 0.0066دو سطر SGLang. سطرهای vLLM حذف شدهاند. ORIGINAL_LOGPROB کوتاهشدهی SGLANG_RETURN_ORIGINAL_LOGPROB است.
سامانهی SGLang چه متغیر محیطی 0 و چه 1 بود، مقدار logprob پیش از اعمال top-p را برگرداند. در دمای 1، هر دو حالت مقداری یکسان تولید میکنند. روی همان پرامپتها، logprob بعد از اعمال top-p، بهاندازهی منفیِ لگاریتمِ جرمِ نگهداشتهشده بالاتر بود؛ یعنی میانهای نزدیک به 0.053. بنابراین ماژول آموزشی که احتمالات را روی توکنهای نگهداشتهشده دوباره نرمالسازی میکند، نباید خروجی خود را مستقیماً با این عدد بسنجد. پردازندهی گرافیکی اشتراکی بود و فرکانس ثابت (clock lock) نداشت، که البته تاثیری روی این مقادیر نمیگذارد.
در دمایی غیر از 1، مقدار مقیاسبندیشده برای نمونهگیری کاملاً درست است؛ اما هر کس این ارقام را با خروجی مدلی در دمای 1 مقایسه کند تعجب خواهد کرد. ماژول آموزش یادگیری تقویتی که logprobها را از لاجیتهای خام میسازد، روی تکتک توکنها ناهمخوانی میبیند و این ناهمخوانی شبیه به خطای محاسبات عددی به نظر میرسد. در بخش 7.2 دلیل اهمیت این موضوع را در فرایند آموزش بررسی کردهایم.
روی تراشههای Apple silicon
ثبت دادههای ما روی محیط اجرای MLX انجام شد، و MLX با نمونهگیری طور دیگری برخورد میکند. متن راهنمای پرچم --mlx-enable-sampling این تفاوتها را بهروشنی بیان میکند.
--mlx-enable-sampling
MLX backend only: sample decode tokens (temperature /
top-k / top-p / min-p) instead of greedy argmax.
…
exact argmax behavior. Also enables on the MLX path:
grammar vocab masks and custom logit processors (these
break decode chaining per step; custom processors run
on pure-decode steps only), logit_bias, output
logprobs (sampled token / top-k / token_ids; prompt
input logprobs are not computed), NaN sanitization
(SGLANG_SANITIZE_NAN_LOGITS), and per-request
sampling_seed under --enable-deterministic-inference
(deterministic within MLX only). Penalties are not
applied.بریدهشده از فهرست فلگها. سه خط مربوط به اسکژولر همپوشانی حذف شدهاند.
بدون این پرچم، در تمام مراحل رمزگشایی (decode) روی MLX، توکنی با بالاترین لاجیت انتخاب میشود، فارغ از اینکه پرامپت چه دمایی خواسته باشد. ماسکهای گرامری و خروجی logprobها نیز به این پرچم نیاز دارند، و جریمهها (penalties) هیچگاه روی MLX اعمال نمیشوند. ابزار ثبت ما درخواستها را با دمای 0 میفرستد، در نتیجه یافتههای آن وابسته به این پرچم نیست.
چه مواردی را باید سنجید
در SGLang آزمونی تعبیه شده که یک پرامپت را در اندازههای دستهای تصادفی میفرستد و تعداد خروجیهای متمایز را میشمارد. این آزمون سه حالت دارد: single، حالت prefix برای پیشوندهای مشترک، و حالت radix_cache برای مقایسهی پیشپرکنیِ کششده در برابر کشنشده.
python3 -m sglang.test.test_deterministic --n-trials 50 --test-mode single
python3 -m sglang.test.test_deterministic --n-start 1 --n-trials 50 --test-mode prefix
این تست را روی مدل، بکاند اتنشن و چینش موازی خودتان اجرا کنید. گرفتن دقیقاً یک خروجی متمایز به ازای هر پرامپت، شرط قبولی در آزمون است. سپس نرخ پردازش (throughput) را با روشن و خاموش بودن این پرچم بسنجید، چون کرنلهای پایا نسبت به دسته، بخشی از سرعت پردازش را فدا میکنند.
یافتههای ما روی سختافزار GB10
آزمون ارزیابی ما یک پرامپت را در دمای 0 با 128 توکن جدید میفرستد. پرامپت را پنج بار بهتنهایی، و سپس پنج بار درون یک دستهی 16 تایی در کنار 15 پرامپت دیگر ارسال میکند. ما این روند را روی مدل Qwen/Qwen3-30B-A3B-Instruct-2507 با یک پردازندهی NVIDIA GB10 اجرا کردیم؛ نخست روی سرور پیشفرض و سپس همراه با --enable-deterministic-inference.
آنچه ثبت کردیم دو پاسخ کاملاً متفاوت روی سرور پیشفرض بود. نخستین درخواست تکی و هر پنج درخواستِ درون دسته، متنی یکسان تولید کردند. اما چهار درخواست تکیِ بعدی متن دیگری تولید کردند که پس از 238 کاراکتر، مسیرش از متن نخست جدا شد. در این میان هیچ چیز در خود درخواستها تغییر نکرده بود.
برداشت ما این است که نخستین درخواست، پرامپت خود را از صفر پردازش کرد. چهار درخواست بعدی همان پرامپت را در کش Radix یافتند و مسیر پیشپرکنی متفاوتی را در پیش گرفتند. حالت radix_cache در آزمونی که بالاتر دیدید همین وضعیت را بررسی میکند.
با روشن کردن پرچم، تمام ده درخواست متنی کاملاً یکسان بازگرداندند. لاگ راهاندازی، تغییرات اشارهشده در فهرست بالا را بهروشنی نشان میدهد:
… Sampling backend is set to pytorch for deterministic inference.
… Attention backend not specified. Falling back to 'flashinfer' for deterministic inference. You can explicitly set --attention-backend to one of ['ascend', 'fa3', 'fa4', 'flashinfer', 'intel_xpu', 'tri…
… Currently radix cache is not compatible with flashinfer attention backend for deterministic inference. It will be supported in the future.سه خط از لاگ راهاندازی. برچسبهای زمانی و پایان خط دوم حذف شدهاند.
در یک دور آزمایش برای هر سرور، بهای این کار در همروندی 8، از دست رفتن 18 درصد از نرخ پردازش بود. خروجی از 78.92 به 64.83 توکن بر ثانیه افت کرد و میانهی زمان مصرفی برای هر توکن از 97.30 به 117.43 میلیثانیه افزایش یافت. کش Radix خاموش بود، بنابراین بار کاری دارای پیشوندهای مشترک، هزینهای حتی فراتر از ارقام این آزمون خواهد پرداخت.
یافتههای ما روی سختافزار L4
روی پردازندهی L4 با مدل Qwen/Qwen3-8B در دقت BF16، چهار درخواست تکی بعدی نیز کاملاً شبیه به هم بودند ولی با درخواست نخست تفاوت داشتند. در آنجا درخواستهای دستهای دو متن متفاوت دیگر هم نوشتند؛ یعنی سرور پیشفرض به یک پرامپت واحد چهار پاسخ متمایز تحویل داد. با فعالسازی پرچم، هر ده پاسخ روی پردازندهی L4 هم یکسان شدند.
بررسی بعدی با مدل Qwen/Qwen3-8B-FP8 روی دومین GPU از همان گره L4 انجام شد. درخواست اول بهتنهایی باز هم با چهار درخواست بعدی فرق داشت. این بار دستهبندی بهجای دو متن، فقط یک متن متمایزِ دیگر به وجود آورد. با روشن شدن پرچم، بار دیگر هر ده پاسخ یکسان شدند.
این آزمون تغییر بکاند را نیز آشکار کرد. وقتی پرچم روشن بود و --attention-backend مشخص نشده بود، SGLang روی پردازندهی L4 (با معماری SM 8.9) گزینهی fa3 را برگزید؛ در حالی که سرور پیشفرض روی همان پردازنده از flashinfer استفاده میکند.
Attention backend not specified. Falling back to 'fa3' for deterministic inference
The server ran on fa3 on SM 8.9 with no error. The default server on this GPU uses flashinfer.یک خط از لاگ راهاندازی، و یادداشت زیر آن.
بنابراین روی این GPU، پرچم یادشده بکاند اتنشن را هم دگرگون میکند. با فعال بودن fa3، طبق بند پنجم فهرست بالا کش Radix همچنان روشن میماند.
کش، دسته و نوع داده چه تغییراتی پدید آوردند
ما تعداد خروجیهای آزمندانهای را که میان دو دور اجرا تغییر میکردند شمردیم. پرامپتها پرسشهای مجموعهی ShareGPT بودند که پس از یک پرامپت سیستمیِ مشترک با حدود 170 توکن میآمدند؛ خروجی روی 128 توکن تنظیم شده و استدلال (thinking) خاموش بود. این آزمون روی دومین پردازندهی گرافیکی گره L4 با مدل Qwen/Qwen3-0.6B انجام شد؛ مدلی روی پردازندهای اشتراکی و بدون فرکانس ثابت. فرکانس پردازنده تنها سرعت را تغییر میدهد، نه توکنهای آزمندانه را.
comparison SGLang 0.6B vLLM 0.6B
flushed repeat against fresh 0 of 32 0 of 32
cache off against cache off 0 of 32 0 of 32
fresh against warm cache 21 of 32 (45) 11 of 32 (57)
cache on against cache off 25 of 32 (26) 21 of 32 (48)عدد داخل براکت میانهی جایگاه اولین توکن متفاوت است. ستون vLLM از همان آزمون ارزیابی روی vLLM 0.31.0 میآید.
- یک درخواست در هر لحظه، با وضعیت کش یکسان. تکرار آزمایش پس از تخلیهی کش، یا تکرار در شرایطی که کش Radix خاموش بود، برای هر 32 پرامپت متنی کاملاً یکسان تولید کرد.
- یک درخواست در هر لحظه، با کش گرم (warm cache). اجرای همان پرامپتها روی کش گرم، خروجی 21 پرامپت از 32 مورد را عوض کرد. مقایسهی حالت کش روشن با کش خاموش، در 25 پرامپت از 32 مورد پاسخ متفاوتی بر جا گذاشت.
- 64 درخواست همزمان. دو دور اجرا با کش خاموش، در 27 پرامپت از 64 مورد خروجی متفاوتی داد. اندازه دسته بهتنهایی پاسخهای زیادی را دگرگون کرد؛ تا حدی که اثر کش در زیر چنین باری قابل تفکیک نبود.
- نوع داده (dtype). تعداد 64 پرسش را با همروندی 1 و کش خاموش فرستادیم. مقایسهی BF16 با FP16 خروجی 51 مورد از 64 پاسخ را برای Qwen3-0.6B و 57 مورد از 64 پاسخ را برای Qwen3-1.7B دگرگون کرد. نخستین توکنِ متمایز در میانهی جایگاههای 41 و 54 پدیدار شد. در حالی که تکرار آزمون با همان نوع داده هیچ تغییری در خروجیها ایجاد نکرد.
پژوهشی در سال 2026 روی دو موتور سرویسدهی، تفاوتهای مشابهی را بر اثر کش گزارش کرد. شمارشهای ما مربوط به مدلهای کوچک روی یک پردازندهی گرافیکی است؛ حتماً مدل خودتان را به همین شیوه بیازمایید.
محدودیتهای نتایج ما را بدانید
رقم 18 درصدی که دیدید، حاصل یک دور اجرا در یک سطح همروندی روی یک مدل مشخص است. تیمهای دیگر بهای پردازشی و محدودیتهای حالتهای قطعی را اندازهگیری کردهاند. ما خودمان این یافتهها را نسنجیدهایم:
- هزینهی سرعت. آزمایشگاه Thinking Machines تعداد 1,000 درخواست مدل Qwen3-8B را روی vLLM در حالت پیشفرض ظرف 26 ثانیه و با کرنلهای پایا نسبت به دسته در 55 ثانیه اجرا کرد. استفاده از یک کرنل اتنشن بهتر این زمان را به 42 ثانیه رساند.
- هزینهی سنگینتر زیر بار زیاد. پژوهشی در سال 2026 با نام CoRun گزارش داد که کرنلهای پایا نسبت به دسته، تاخیر را به بیش از دو برابر افزایش میدهند و تا 74 درصد از نرخ پردازش میکاهند.
- تغییرات دیگر در مسیر اجرا. پژوهش راستیآزمایی Vosti در سال 2026 تغییراتی نظیر قطعهبندی پرامپت و استفادهی مجدد از کش KV را بررسی کرد. حالت قطعی SGLang تحت برخی از این شرایط لاجیتهای متفاوتی تولید کرد.
بنابراین افت کارایی را متناسب با سطح همروندی محیط سرویسدهی خود اندازه بگیرید. همان پیکربندی دقیق را بیازمایید: مدل، بکاند اتنشن، چینش موازی، اندازهی قطعات و وضعیت کش.
توصیهی ما
به پرچم --enable-deterministic-inference به چشم قولی بنگرید که تنها برای یک مدل روی یک بکاند خاص اعتبار دارد، و صحت این قول را بیازمایید. آن را در مسیرهای پیشروی شبیهسازیشده (rollouts) در یادگیری تقویتی و ارزیابیهایی که میخواهید تکرارپذیر باشند روشن کنید. برای ترافیک محیط عملیاتی (production) آن را خاموش بگذارید؛ جایی که ارزش کش پیشوند و کرنلهای سریعتر بسیار بیشتر از یکسان ماندن تکتک بیتهاست. تصور نکنید که دمای 0 بهتنهایی متنی کاملاً یکسان تحویل میدهد؛ روی GB10 دیدیم که اینطور نبود.
برای هر درخواستی که باید تکرارپذیر باشد، پارامتر sampling_seed را جداگانه مقداردهی کنید. تعیین سید 42 برای همه باعث میشود همهی درخواستهای نمونهگیریشده، اعداد تصادفی یکسانی دریافت کنند.
یک ارزیابی یکسان را دو بار اجرا کنید و خروجیها را توکنبهتوکن بسنجید، نه اینکه فقط به نمرهی نهایی بسنده کنید. میان این دو اجرا، سرور را ریاستارت کنید یا متد POST /flush_cache را فراخوانی کنید؛ همانطور که در بخش 5.1 توضیح دادهایم. تنظیمات کش و توکنهای کششده را در کنار نتیجه ثبت کنید.
گزارش رویدادها
پرچم پذیرفته شد اما خروجی همچنان تغییر میکرد. ایشوی شمارهی 43055# (2026-10-08): مدل gpt-oss-20b در حالت prefix، چند خروجی آزمندانهی مختلف برای یک پرامپت تولید کرد. در بررسیها مشخص شد علت آن به کرنل قطعی Triton extend در لایههای پنجرهی لغزان (sliding-window) برمیگردد. این کرنل کاشیهای KV را با پیشوندِ کوتاهشده تراز میکرد، نه با جایگاههای مطلق. این مشکل در زمان بازبینی این سند هنوز باز بود.
برخی معماریها هنوز پوشش داده نشدهاند. ایشوی شمارهی 43413# گزارش داد که مدل ترکیبی Mamba2 نسبت به دسته پایا نبود. در ایشوهای 36174# و 31261# هم آمده است که DeepSeek-V4 و Qwen3.5 در حالت قطعی هنوز پشتیبانی نمیشوند.
ریاستارت کردن سرور خروجی آزمندانه را دگرگون کرد. ایشوی شمارهی 39597# (2026-09-15): با الگوریتم حدسی DFLASH، همان پرامپت پس از ریاستارت متنی متفاوت تولید کرد؛ چرا که قابلیت تنظیم خودکار (autotuning) در FlashInfer در هر بار راهاندازی راهکارهای متفاوتی را برای کرنل انتخاب میکرد. راهکار موقت، استفاده از --disable-flashinfer-autotune یا فعالسازی حالت قطعی بود.
منابع: capture/gpu/out-gb10/determinism.txt، deterministic-determinism.txt، server-deterministic.log، bench-random-c8.txt، deterministic-bench-random-c8.txt، capture/gpu/out-l4/determinism.txt، deterministic-determinism.txt، capture/gpu/out-l4/livecheck-2026-10-23.txt، capture/gpu/out-l4/greedy-output-cache-batch-dtype.txt، capture/gpu/out-l4/logprobs-top-p.txt، capture/gpu/determinism_probe.py، فایلهای python/sglang/srt/batch_invariant_ops/batch_invariant_ops.py (تابع enable_batch_invariant_mode)، arg_groups/attention_hook.py (تابع handle_deterministic_inference)، arg_groups/choices.py (ثابتهای DETERMINISTIC_ATTENTION_BACKEND_CHOICES و RADIX_SUPPORTED_DETERMINISTIC_ATTENTION_BACKEND)، sampling/sampling_batch_info.py، layers/sampler.py، و فایل python/sglang/test/test_deterministic.py در نگارش v0.5.22؛ capture/out/serve-help.txt؛ ایشوهای شمارهی 43055#، 43413#، 36174#، 31261# و 39597#؛ مقالهی Thinking Machines، غلبه بر عدم قطعیت در استنتاج مدلهای زبانی بزرگ (2025-09)، گزارش 1,000 درخواست Qwen3-8B روی vLLM؛ فایل python/sglang/srt/entrypoints/http_server.py (تابع flush_cache) در نگارش v0.5.22؛ پاتودیا، همان درخواست، پاسخی دیگر: کوانتیزهسازی انحراف ناشی از کش را در سرویسدهی مدلهای بزرگ تشدید میکند، arXiv 2609.04748 (2026-09، بازنگری 2026-10)؛ ژائو و دیگران، CoRun: پدینگ راهکاری ساده و کارآمد برای استنتاج قطعی در مدلهای بزرگ است، arXiv 2608.14376 (2026-08)؛ کین و دیگران، Vosti: مشخصسازی، پیادهسازی و راستیآزمایی استنتاج قطعی در مدلهای زبانی، arXiv 2609.38981 (2026-09).