سناریوی رخداد

دمای 0 باز هم دو پاسخ متفاوت داد

Temperature 0 still gave two answers

  • سطح ۳: ارشد
  • سناریوی رخداد
  • ۲۵ دقیقه

وضعیت

یک تیم ارزیابی بنچ‌مارک خود را دو بار روی اندپوینت سرویس‌دهی تیم اجرا می‌کند؛ با دمای 0، با فهرستی کاملاً یکسان از پرامپت‌ها و با همان ترتیب قبلی. اما این دو امتیاز حدود 1 نمره با هم تفاوت دارند. آن‌ها یکی از پرسش‌هایی را که پاسخش تغییر کرده برمی‌دارند و آن را به‌تنهایی دو بار ارسال می‌کنند. هر دو متن کاملاً یکسان از آب درمی‌آیند. سپس همان پرسش را پنج بار به‌تنهایی و پنج بار در قالب یک دسته‌ی 16تایی، به یک سرور GB10 می‌فرستند که مدلی با لایه‌های مخلوطی از متخصصان (mixture-of-experts) را اجرا می‌کند. اولین درخواست از پنج درخواست تکی، یک متن تولید می‌کند. چهار درخواست بعدی متن دیگری می‌دهند که بعد از چند صد کاراکتر مسیرش از متن اول جدا می‌شود. اما هر پنج درخواست دسته‌ای، دوباره همان متن اول را برمی‌گردانند.

در تیکت ثبت‌شده آمده است که حتماً وزن‌های مدل یا توکنایزر خراب شده‌اند؛ چرا که دمای 0 بنا به تعریف باید قطعی باشد.

نسخه
SGLang 0.5.22 and vLLM 0.31.0
مدل
Qwen/Qwen3-30B-A3B-Instruct-2507 on the GB10, and Qwen/Qwen3-8B-FP8 and Qwen/Qwen3-0.6B on the L4
سخت‌افزار
one GB10 with 128 GB of unified memory, and the shared second L4 of a two-GPU node

شواهد

batch-invariant-cost.txt
title: the speed cost of the batch-invariant mode on vLLM, clock locked
source: manuals/vllm-101/capture/gpu/out-l4/batch-invariant-cost.txt
lines: 7-16
lang: text
note: Read the ratio in brackets on each row, then how it changes with more users.
---
Qwen/Qwen3-0.6B, every run at a median clock of 900 MHz. The two default blocks agree within 1 percent:
users   median TPOT default / batch-invariant   output tok/s default / batch-invariant
1       6.9 / 16.9 ms (2.4x)                    140.6 / 58.7 (58% lower)
8       9.9 / 18.2 ms (1.8x)                    755 / 420 (44% lower)
32      18.8 / 25.9 ms (1.4x)                   1,565 / 1,154 (26% lower)

Qwen/Qwen3-8B, rows where all three blocks ran at a median clock of 900 MHz:
users   median TPOT default / batch-invariant   output tok/s default / batch-invariant
8       70.0 / 97.4 ms (1.4x)                   103.4 / 75.1 (27% lower)
32      109 / 139 ms (1.3x)                     245 / 188 (23% lower)
cache-and-batch.txt
title: how many greedy outputs changed with the cache state and with the batch, both engines
source: manuals/vllm-101/capture/gpu/out-l4/greedy-output-cache-batch-dtype.txt
lines: 8-24
lang: text
note: Read the two zero rows first, then the two rows under them, then the table at a concurrency of 64.
---
Concurrency 1, 32 prompts, Qwen3-0.6B:

comparison                     SGLang 0.6B   vLLM 0.6B
flushed repeat against fresh   0 of 32       0 of 32
cache off against cache off    0 of 32       0 of 32
fresh against warm cache       21 of 32 (45) 11 of 32 (57)
cache on against cache off     25 of 32 (26) 21 of 32 (48)

Concurrency 64, 64 prompts sent at once:

engine, model    fresh vs fresh restart   fresh vs warm   warm vs warm   cache on vs off   off vs off
SGLang 0.6B      52                       35              32             54                27
vLLM 0.6B        49                       45              12             48                50
SGLang 8B-FP8    59                       38              1              63                6
vLLM 8B-FP8      14                       31              21             34                34

At concurrency 64 the batch changes greedy output even with the cache off, so the cache effect cannot be separated at this load.
dtype.txt
title: how many greedy outputs changed between BF16 and FP16
source: manuals/vllm-101/capture/gpu/out-l4/greedy-output-cache-batch-dtype.txt
lines: 26-33
lang: text
note: The sentence before the table says what a repeat in one dtype gave.
---
BF16 against FP16 (B-09): 64 ShareGPT questions, greedy, 256 tokens, concurrency 1, prefix cache off.
A repeat in the same dtype gave 0 of 64 different outputs on every engine and model.

engine, model   BF16 against FP16
SGLang 0.6B     51 of 64 (41)
SGLang 1.7B     57 of 64 (54)
vLLM 0.6B       48 of 64 (51)
vLLM 1.7B       56 of 64 (56)
probe-on-the-l4.txt
title: the same probe on the L4, default server against the deterministic flag
source: manuals/sglang-101/capture/gpu/out-l4/livecheck-2026-10-23.txt
lines: 7-18
lang: text
note: Read the pattern of the default row letter by letter, then the backend that the flag chose on this GPU.
---
Probe: one prompt 5 times alone, then 5 times in a batch of 16, temperature 0.

server                                    distinct texts   pattern
default                                   3                A, B, B, B, B, C, B, B, B, B
--enable-deterministic-inference          1                all ten the same

On the default server the first request alone differs and the four later requests alone match each other.
One batched request differed. On BF16 Qwen/Qwen3-8B (the earlier L4 run), the batched requests gave two more texts.

Deterministic mode with no --attention-backend, startup log:
Attention backend not specified. Falling back to 'fa3' for deterministic inference
The server ran on fa3 on SM 8.9 with no error. The default server on this GPU uses flashinfer.
probe-summary-default.txt
title: the summary of the probe on the default GB10 server
source: manuals/sglang-101/capture/gpu/out-gb10/determinism.txt
lines: 11-11
lang: text
note: Five requests alone gave two texts, five in a batch gave one, and all five batched matched the first request alone.
---
{"summary": true, "distinct_alone": 2, "distinct_in_batch": 1, "in_batch_matching_alone": 5, "rounds": 5}
probe-summary-deterministic.txt
title: the summary of the probe with the deterministic flag on the GB10
source: manuals/sglang-101/capture/gpu/out-gb10/deterministic-determinism.txt
lines: 11-11
lang: text
note: Compare the three counts with the default summary.
---
{"summary": true, "distinct_alone": 1, "distinct_in_batch": 1, "in_batch_matching_alone": 5, "rounds": 5}
what-the-flag-switched.txt
title: three startup lines of the GB10 server with the deterministic flag
source: manuals/sglang-101/capture/gpu/out-gb10/server-deterministic.log
lines: 4-6
lang: text
note: Each line names one thing that the flag changed.
---
[2026-10-17 15:40:03] Sampling backend is set to pytorch for deterministic inference.
[2026-10-17 15:40:03] Attention backend not specified. Falling back to 'flashinfer' for deterministic inference. You can explicitly set --attention-backend to one of ['ascend', 'fa3', 'fa4', 'flashinfer', 'intel_xpu', 'triton'].
[2026-10-17 15:40:03] Currently radix cache is not compatible with flashinfer attention backend for deterministic inference. It will be supported in the future.

سؤال‌ها

  1. دمای 0 توکنی را انتخاب می‌کند که بیشترین لاجیت را دارد. وقتی هیچ بخشی از درخواست تغییر نکرده، چه چیزی می‌تواند لاجیت‌های یک پرامپت را بین دو درخواست در موتور سرویس‌دهی تغییر دهد؟
  2. در آزمون ارزیابی GB10، اولین درخواست از پنج درخواست تکی با چهار تای بعدی فرق داشت، در حالی که درخواست‌های دسته‌ای همگی مشابه اولی بودند. هر دو واقعیت را با یک سازوکار مشخص توضیح دهید.
  3. در L4، سرور پیش‌فرض سه متن تولید کرد: A، B، B، B، B، و سپس C، B، B، B، B. تشکیل دسته چه چیزی اضافه کرد؟
  4. فعال کردن فلگ قطعی بودن باعث شد خروجی هر ده درخواست کاملاً یکسان شود. مشخص کنید این فلگ چه مواردی را تغییر داد و هزینه‌ی هر تغییر چیست.
  5. جدول شمارش‌ها سه عامل را تفکیک می‌کند. کدام‌یک با پاک‌سازی کش برطرف می‌شود، کدام‌یک نیازمند کرنل‌های پایا نسبت به دسته است و کدام مورد نه باگ است و نه با هیچ فلگی حل می‌شود؟
  6. دستورالعمل ارزیابی‌ای را بنویسید که باید دقیقاً تکرار شود و بگویید برای رسیدن به آن از چه چیزی می‌گذرید.

اول شواهد را بخوانید و به سؤال‌ها جواب بدهید، بعد راه‌حل را باز کنید.

راه‌حل گام‌به‌گام

جمع در محاسبات ممیز شناور خاصیت شرکت‌پذیری ندارد. ضرب ماتریسی، سافت‌مکس یا نرمال‌سازی، مجموع‌ها را به قطعات کوچک‌تر (tiles) تقسیم می‌کنند؛ بسیاری از کرنل‌ها این نحوه‌ی تقسیم‌بندی را بر اساس اندازه‌ی دسته و مسیری که پرامپت طی می‌کند تعیین می‌کنند. تغییر حتی در آخرین بیت می‌تواند باعث جابه‌جایی توکنی شود که بیشترین لاجیت را دارد؛ و بعد از یک توکن متفاوت، تمام توکن‌های بعدی بر پایه‌ی متنی متفاوت تولید می‌شوند. پس خودِ درخواست تغییری نکرده، بلکه محاسبات ریاضی اطراف آن تغییر کرده است.

خلاصه‌ی اول سه شمارش را نشان می‌دهد: پنج درخواست تکی دو متن متمایز تولید کردند، پنج درخواست درون یک دسته یک متن دادند، و تمام پنج متن دسته‌ای با اولین درخواست تکی یکی بودند. برداشت ما بر اساس مستندات: اولین درخواست، پرامپت خود را از صفر پردازش کرد، اما چهار درخواست بعدی پرامپت را در کش رادیکس (radix cache) پیدا کردند و مسیر پیش‌پرکنی (prefill) متفاوتی را طی کردند. 238 کاراکتر مشترک بین این دو متن، دقیقاً توکن‌های قبل از تغییر اولین بیت هستند. آزمون روی L4 اثر دسته را هم اضافه می‌کند. در سرور پیش‌فرض، الگو به صورت A، B، B، B، B و سپس C، B، B، B، B بود: اولین درخواست تکی با چهار درخواست بعدی فرق داشت و یکی از درخواست‌های دسته‌ای به متن سومی رسید. تشکیل دسته یک بار دیگر تقسیم‌بندی قطعات را تغییر داد.

فهرست سوم نشان می‌دهد که این فلگ موقع بالا آمدن سرور GB10 چه کرد. بک‌اند نمونه‌گیری به نمونه‌گیر PyTorch منتقل شد. بدون مشخص کردن بک‌اند اتنشن، سرور به FlashInfer برگشت و شش بک‌اَندی را فهرست کرد که این حالت قبول می‌کند. کش رادیکس هم خاموش شد، چون در این نسخه، کش با FlashInfer در حالت قطعی سازگار نیست. در L4 همین فلگ به fa3 برگشت که کش رادیکس را روشن نگه می‌دارد. خلاصه‌ی چهارم نتیجه‌ی کار روی GB10 است: یک متن متمایز در درخواست‌های تکی، یک متن در دسته، و تطابق کامل هر پنج متن دسته‌ای با درخواست تکی. هزینه‌ی این کار در GB10، افت 18 درصدی نرخ پردازش در همزمانی 8 بود (از 78.92 به 64.83 توکن در ثانیه)، میانه زمان پردازش هر توکن از 97.30 به 117.43 میلی‌ثانیه افزایش یافت و بار کاری مجبور شد هزینه‌ی پردازش پیشوندهای تکراری را دوباره بپردازد.

فهرست پنجم این عوامل را در بارِ تک‌کاربره جدا می‌کند. تکرار درخواست بعد از پاک‌سازی کش، 0 مورد از 32 خروجی را تغییر داد؛ تکرار با کش خاموش نیز در هر دو موتور همین نتیجه را داشت. اما همان پرامپت‌ها روی کش گرم (warm cache)، در یک موتور 21 خروجی از 32 خروجی و در موتور دیگر 11 خروجی از 32 خروجی را تغییر دادند. وقتی 64 درخواست هم‌زمان ارسال شد، دو اجرا با کش خاموش باز هم در 27 و 50 خروجی از 64 خروجی اختلاف داشتند؛ بنابراین دسته به‌تنهایی اکثر خروجی‌ها را تغییر داد و نمی‌شد اثر کش را در آن بارِ پردازشی جدا کرد. فهرست انواع داده (dtype) عامل سوم را نشان می‌دهد: تغییر از BF16 به FP16 در مدل کوچک، 51 و 48 خروجی از 64 خروجی را تغییر داد، در حالی که تکرار روی همان نوع داده هیچ تغییری نداشت. فهرست آخر هزینه‌ی راه‌حل موتور دیگر است. با قفل فرکانس کلاک، حالت پایا نسبت به دسته، زمان پردازش هر توکن را برای یک کاربر در مدل کوچک 2.4 برابر و برای 8 کاربر در مدل 8B تا 1.4 برابر افزایش داد و خروجی را 58 و 27 درصد کم کرد. آزمون ارزیابی روی آن موتور با روشن بودن این حالت، متن‌های کاملاً یکسانی در حالت تکی و در دسته‌ی 32تایی داد، اما با خاموش بودنش متن‌ها تغییر کردند.

نتیجه

وزن‌های مدل و توکنایزر هیچ مشکلی نداشتند. تکرار درخواست‌ها پس از پاک‌سازی کش، برای تمام پرامپت‌ها متنی کاملاً یکسان تولید کرد. تغییر نمره‌ها ناشی از سه عامل بود: کش پیشوند (prefix cache) که مسیر پیش‌پرکنی متفاوتی را برای پرامپت گرم اجرا کرد، دسته‌ای که هر درخواست در آن قرار گرفت، و نوع داده (dtype) که تیم آن را بین دو اندپوینت ثابت نگه نداشته بود.

وقتی ارزیابی باید دقیقاً تکرار شود، کش را پاک کنید یا بین دو اجرا سرور را ری‌استارت کنید، نوع داده، نسخه‌ی موتور و سخت‌افزار را ثابت نگه دارید و درخواست‌ها را یکی‌یکی بفرستید. این روش بدون نیاز به هیچ فلگی تکرار دقیق را به شما می‌دهد. زیر بار، حالت قطعی یا حالت پایا نسبت به دسته را روشن کنید و هزینه‌اش را بپردازید: 18 درصد از نرخ پردازش روی GB10 با همزمانی 8، و 1.4 تا 2.4 برابر شدن زمان پردازش هر توکن در موتور دیگر. برای هر درخواستی که نمونه‌گیری می‌کند یک seed نمونه‌گیری تنظیم کنید. به جای مقایسه‌ی صرف نمرات، خروجی‌ها را توکن‌به‌توکن مقایسه کنید و پیش از آنکه به موتور اعتماد کنید، تست قطعیت آن را روی مدل، بک‌اند و چیدمان موازی‌سازی خودتان اجرا کنید. این حالت را در ترافیک محیط عملیاتی خاموش بگذارید؛ در محیط عملیاتی، کش و کرنل‌های سریع‌تر ارزش بسیار بیشتری نسبت به بیت‌های کاملاً یکسان دارند.

مسیرهای اشتباه رایج
  • «وزن‌ها یا توکنایزر خراب شده‌اند.» تکرار اجرای پرامپت‌ها پس از پاک‌سازی کش در هر دو موتور 0 خروجی از 32 خروجی را تغییر داد و تمام متن‌ها هم‌خوانی داشتند. وزن‌های خراب با پاک‌سازی کش درمان نمی‌شوند.
  • «یک seed تنظیم کنید تا مشکل حل شود.» در رمزگشایی حریصانه نمونه‌گیری انجام نمی‌شود و خود موتور از قبل seed ثابتی دارد. در اینجا ترتیب جمع‌ها تغییر کرده بود و seed دسترسی‌ای به آن ندارد.
  • «فلگ قطعی بودن را در محیط عملیاتی روشن کنید.» این کار 18 درصد از نرخ پردازش را در همزمانی 8 هدر داد و کش رادیکس را روی بک‌اند پیش‌فرض خاموش کرد. این هزینه را برای ارزیابی‌ها و مسیرهای پیش‌روی شبیه‌سازی‌شده بپردازید، نه کاربران واقعی.
  • «امتیازها در حد 1 نمره اختلاف دارند، پس هر دو اجرا هم‌خوانی دارند.» دو اجرا ممکن است با خروجی‌های کاملاً متفاوت به امتیاز یکسانی برسند، و اجرای بعدی به نمره‌ی متفاوتی ختم شود. توکن‌ها را مقایسه کنید.
  • «دمای 0 بنا به تعریف قطعی است.» این حالت بزرگ‌ترین لاجیت را برمی‌دارد، اما خود لاجیت‌ها بر اثر وضعیت کش، دسته و نوع داده تغییر کردند. سرور GB10 از یک پرامپت واحد و بدون هیچ تغییری در متن درخواست، دو متن مختلف تولید کرد.
درس کلی

قطعی بودن ویژگی کل فرایند اجرا است، نه قاعده‌ی نمونه‌گیری. هر تغییری در دسته، وضعیت کش، نوع داده، کرنل یا سخت‌افزار می‌تواند یک لاجیت را به اندازه‌ی یک بیت جابه‌جا کند و مسیر متن را به اندازه‌ی یک پاراگراف تغییر دهد. مشخص کنید کدام‌یک از این‌ها را ثابت نگه می‌دارید، هزینه‌ی این تثبیت را بسنجید، و تنظیمات کش و توکن‌های کش‌شده را در کنار تک‌تک نتایج ارزیابی ثبت کنید.

کجای دوره آموزش داده می‌شود

مستندات SGLang اجرای این آزمون ارزیابی و تغییرات مربوطه را در صفحه‌ی استنتاج قطعی و لاگ‌پاراب فهرست کرده و مسیر پاک‌سازی کش را در صفحه‌ی بنچ‌مارک آورده است؛ مستندات vLLM نیز این سه عامل را شمرده و هزینه‌ی راه‌حل خود را در صفحه‌ی بازتولیدپذیری محاسبه کرده است.