سؤال مصاحبه

دمای صفر دو پاسخ متفاوت داد

Temperature zero gave two different answers

  • سطح ۲: میانی
  • مفهومی
  • ۸ دقیقه

یک ارزیابی یکسان را دو بار با دمای 0 روی یک موتور سروینگ اجرا می‌کنید و نمره‌ها فرق دارند. یک پرامپت ناموفق را به‌تنهایی می‌فرستید و یک پاسخ می‌گیرید؛ سپس آن را داخل یک دسته‌ی شلوغ ارسال می‌کنید و پاسخ دیگری تحویل می‌گیرید. هیچ‌چیز در درخواست تغییر نکرده است. توضیح دهید چه چیزی واقعاً تغییر کرده و سید (seed) چه چیزی را می‌تواند درست کند و از پس چه چیزهایی برنمی‌آید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

دسته محاسبات ریاضی را تغییر داده است. جمع ممیز شناور (floating-point addition) خاصیت شرکت‌پذیری ندارد و کرنل‌ها جمع‌های خود را بر اساس اندازه‌ی دسته خرد می‌کنند؛ بنابراین یک درخواست یکسان، اعدادش را در دسته‌ای با اندازه‌ی 3 به ترتیبی متفاوت از دسته‌ای با اندازه‌ی 30 جمع می‌زند. تغییر در آخرین بیت می‌تواند لاجیت برتر را جابه‌جا کند و در نتیجه همه‌ی توکن‌های بعدی از متن متفاوتی پیروی خواهند کرد. کش پیشوند (prefix cache) نیز همین کار را می‌کند، چون درخواستی که بلوک‌های کش‌شده را دوباره به کار می‌گیرد از مسیر پیش‌پرکنی (prefill) متفاوتی می‌گذرد؛ نوع داده (dtype) هم اثر مشابهی دارد. سید فقط مقادیر تصادفی نمونه‌گیر را تثبیت می‌کند و به‌تنهایی کافی نیست: در حالت آفلاین، موتور را در یک فرایند با همان ترتیب قبلی اجرا کنید؛ در حالت آنلاین، از حالت پایا با دسته (batch-invariant) استفاده کنید و هزینه‌ی افت سرعتش را بپردازید.

پاسخ کامل

چهار عاملی که یک درخواست را دگرگون می‌کنند

  • دسته. ضرب ماتریسی، سافت‌مکس و نرمال‌سازی‌ها جمع‌های خود را به قطعات کوچک‌تر (tiles) تقسیم می‌کنند، و بسیاری از کرنل‌ها این نحوه‌ی تقسیم را بر اساس اندازه‌ی دسته انتخاب می‌کنند.
  • زمان‌بندی. در یک سرور چندفرایندی، زمان‌بندی ورود درخواست‌ها تعیین می‌کند که هر کدام به کدام دسته بپیوندد.
  • کش پیشوند. درخواستی که از بلوک‌های کش‌شده استفاده مجدد می‌کند، پرامپت خود را به روشی متفاوت از درخواستی که کش برایش خالی است محاسبه می‌کند.
  • نوع داده. فرمت‌های BF16 و FP16 هر عدد را به‌شکل متفاوتی گرد می‌کنند، بنابراین یک مدل واحد در این دو نوع داده متن متفاوتی می‌نویسد.

مقدار سید در vLLM به‌طور پیش‌فرض 0 است و نمی‌توان آن را غیرفعال کرد، چون دیکودینگ حدسی (speculative decoding) نیاز دارد که همه‌ی ورکرها توکن‌های یکسانی را نمونه‌گیری کنند. پس سید همیشه وجود دارد و به‌تنهایی کافی نیست.

آمار ثبت‌شده در مستندات

خروجی‌های حریصانه‌ی Qwen3-0.6B برای 32 پرسش ShareGPT بعد از یک پرامپت سیستم مشترکِ حدوداً 170 توکنی، با 128 توکن خروجی، به‌صورت توکن به توکن بین دو بار اجرا مقایسه شدند. عدد داخل قلاب، میانه‌ی موقعیتِ اولین توکنی است که تغییر کرده است:

مقایسه SGLang vLLM
تکرار با کش خالی‌شده در برابر اجرای اولیه‌ی تازه 0 از 32 0 از 32
کش خاموش در برابر کش خاموش 0 از 32 0 از 32
اجرای تازه در برابر کش گرم 21 از 32 (45) 11 از 32 (57)
کش روشن در برابر کش خاموش 25 از 32 (26) 21 از 32 (48)

با یک کاربر و وضعیت کشِ یکسان، متن‌ها دقیقاً تکرار شدند. کشِ گرم 21 خروجی از 32 خروجی را در SGLang و 11 خروجی از 32 را در vLLM تغییر داد. با ارسال هم‌زمانِ 64 کاربر، دو اجرای با کشِ خاموش همچنان تفاوت داشتند؛ در SGLang به تعداد 27 خروجی از 64 و در vLLM به تعداد 50 خروجی از 64: خودِ دسته به‌تنهایی اکثر خروجی‌ها را تغییر داد. مقایسه‌ی BF16 با FP16 برای یک کاربر، 48 خروجی از 64 خروجی را در vLLM و 51 خروجی از 64 را در SGLang برای مدل 0.6B تغییر داد، و این اعداد برای Qwen3-1.7B به 56 و 57 از 64 رسید.

آزمون ارزیابی SGLang روی GB10 این موضوع را در یک پرامپت خلاصه می‌کند. سرور با تنظیمات پیش‌فرض وقتی پنج بار به‌تنهایی و پنج بار در قالب دسته‌ای 16 تایی با دمای 0 اجرا شد، دو متن متفاوت نوشت که از کاراکتر 238 به بعد مسیرشان جدا شد. اولین درخواستِ تکی، پرامپتش را از صفر محاسبه کرده بود؛ چهار درخواست بعدی آن را در radix cache پیدا کردند. با روشن کردن حالت قطعی (deterministic)، هر ده درخواست متنی کاملاً یکسان نوشتند.

راهکارهای رفع مشکل

سناریو راهکار هزینه
ارزیابی‌های آفلاین با کلاس LLM مقدار VLLM_ENABLE_V1_MULTIPROCESSING=0، همان سید، همان پرامپت‌ها با همان ترتیب قبلی موتور در فرایند خودتان اجرا می‌شود، بنابراین زمان‌بندی تکرار خواهد شد
سرور زنده (آنلاین) مقدار VLLM_BATCH_INVARIANT=1، یا آرگومان --enable-deterministic-inference در SGLang کرنل‌های کندتر برای تمامی درخواست‌ها
ارزیابی‌های حریصانه که باید تطابق کامل داشته باشند نمونه‌گیری حریصانه به همراه یکی از دو مورد بالا همانند بالا

همه‌ی این راهکارها مستلزم سخت‌افزار یکسان، نسخه‌ی یکسان موتور و تنظیمات کاملاً مشابه هستند. این فلگ در SGLang عملگرهای ماتریسی، سافت‌مکس، نرمال‌سازی و ضرب‌های دسته‌ای را با کرنل‌های پایا با دسته جایگزین می‌کند، استفاده از نمونه‌گیر ساده را اجباری می‌سازد، ترتیب all-reduce را در موازی‌سازی تنسور تثبیت می‌کند، فقط بک‌اندهای اتنشن خاصی را می‌پذیرد، radix cache را خاموش می‌کند مگر اینکه بک‌اند از آن پشتیبانی کند، و به هر درخواستی که فاقد sampling_seed باشد سید 42 می‌دهد.

نحوه‌ی تست و سنجش

ارزیابی یکسان را دو بار اجرا کنید و خروجی‌ها را توکن به توکن با هم بسنجید، نه فقط بر اساس نمره‌ی نهایی. قبل از هر آزمون ارزیابی، کش پیشوند را خالی کنید یا سرور را ری‌استارت کنید. اگر خروجی‌ها متفاوت بودند، یک پرامپت را که پاسخ متفاوتی داده بردارید و آن را دو بار به‌تنهایی اجرا کنید. اگر پاسخ‌ها در حالت تکی یکسان بودند و آزمون دسته‌ای هم از همان وضعیت کش آغاز شده بود، عامل تفاوت همان اندازه دسته است. ابزار SGLang تستی به همراه دارد که یک پرامپت را با اندازه‌های تصادفی دسته ارسال می‌کند و خروجی‌های متمایز را می‌شمارد؛ این تست حالت‌هایی برای تک‌پرامپت، پیشوندهای مشترک و پیش‌پرکنی با کش در برابر بدون کش دارد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: کدام مقایسه‌ها در جدول مستندات، هر بار متنی کاملاً یکسان تولید کردند؟ پاسخ مورد انتظار: تکرار بعد از خالی کردن کش در برابر اجرای تازه، و تکرار با کش خاموش در برابر کش خاموش؛ در هر دو موتور 0 از 32 تغییر کرد.
  • سطح 3: چرا کش پیشوند گرم می‌تواند پاسخ روش حریصانه را تغییر دهد، حتی وقتی مدل و پرامپت کاملاً یکسان هستند؟ پاسخ مورد انتظار: درخواستی که بلوک‌های کش‌شده را دوباره به کار می‌گیرد، پرامپت خود را از مسیری متفاوت نسبت به پیش‌پرکنی کامل محاسبه می‌کند؛ بنابراین لاجیت‌ها در بیت‌های انتهایی فرق خواهند داشت و تغییر یک توکن بقیه‌ی متن را دگرگون می‌کند؛ این پدیده 21 خروجی از 32 را در SGLang و 11 خروجی از 32 را در vLLM تغییر داد.
  • سطح 4: زیر بار کاری، دو اجرای با کش خاموش باز هم پاسخ‌های متفاوتی دادند. این موضوع چه نکته‌ای را درباره‌ی روش رفع مشکل نشان می‌دهد؟ پاسخ مورد انتظار: دسته به‌تنهایی بیشتر خروجی‌ها را تغییر داد (50 از 64 در vLLM)؛ بنابراین ریست کردن کش فقط برای سناریوی تک‌کاربره کافی است؛ یک سرور زنده به کرنل‌های پایا با دسته احتیاج دارد، و مستندات این حالت را زیر آن بار کاری ارزیابی نکرده بود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «دمای 0 خروجی را قطعی می‌کند.» روش حریصانه لاجیت برتر را برمی‌گزیند و دسته لاجیت‌ها را در بیت‌های انتهایی تغییر می‌دهد؛ سرور GB10 برای یک پرامپت در دمای 0 و بدون تغییر در درخواست، دو متن متفاوت ارائه داد.
  • «تنظیم یک سید باعث تطابق کامل خروجی‌ها می‌شود.» سید فقط مقادیر تصادفی نمونه‌گیر را تثبیت می‌کند؛ سید در vLLM به‌طور پیش‌فرض 0 است و حذف هم نمی‌شود، اما خروجی‌ها با تغییر دسته و کش باز هم عوض شدند.
  • «قبل از هر اجرا کش را خالی کنید تا همه‌چیز حل شود.» این کار فقط برای یک کاربر کفایت می‌کرد (0 از 32 تغییر کرد)؛ اما با 64 کاربر، دو اجرای با کش خاموش همچنان در 50 خروجی از 64 تا تفاوت داشتند، چون دسته محاسبات جمع را تغییر داد.
  • «برای نتایج دقیق به FP16 تغییر حالت دهید.» فرمت‌های BF16 و FP16 اعداد را متفاوت گرد می‌کنند؛ بنابراین یک مدل با این دو نوع داده متن متفاوتی می‌نویسد (48 خروجی از 64 برای مدل 0.6B)؛ بین اجراهایی که می‌خواهید مقایسه کنید همیشه از یک نوع داده‌ی ثابت استفاده کنید.

کجای دوره آموزش داده می‌شود

بخش‌های خروجی‌های تکرارپذیر به‌دست آورید و بخش استنتاج قطعی SGLang خروجی‌های تغییریافته را شمارش می‌کنند و راهکارهای رفع آن را برمی‌شمارند.