سناریوی رخداد

مهار حرارتی که یک تست A/B را باطل کرد

A thermal throttle that voided an A/B test

  • سطح ۲: میانی
  • سناریوی رخداد
  • ۲۰ دقیقه

وضعیت

تیمی می‌خواهد بداند آیا گراف‌های CUDA به سرور مدل Qwen/Qwen3-8B روی یک کارت L4 کمکی می‌کنند یا نه. آن‌ها آزمون متغیر همزمانی (concurrency sweep) را ابتدا با گراف‌های روشن و سپس همان آزمون را با گراف‌های خاموش، پشت سر هم در یک بعدازظهر و با سه سید (seed) تصادفی برای هر کدام اجرا می‌کنند. داده‌های دو جدول حاصل، تا چند درصد با هم همخوانی دارند و در چند نقطه حتی اجرای بدون گراف کمی سریع‌تر ثبت شده است. تیم نتیجه می‌گیرد که گراف‌ها روی این کارت هیچ اثری ندارند و تصمیم می‌گیرد آن‌ها را در محیط عملیاتی (production) خاموش کند تا سرور سریع‌تر راه‌اندازی شود و حافظه‌ی کمتری مصرف کند.

یکی از اعضای تیم اشاره می‌کند که فن‌های سرور در تمام طول بعدازظهر با صدای بلند کار می‌کردند و کارت L4 دوم روی همان نود، هم‌زمان مشغول اجرای پادهای آزمایشی یک تیم دیگر و یک ارزیابی FP8 بوده است.

نسخه
SGLang 0.5.22
مدل
Qwen/Qwen3-8B
سخت‌افزار
one L4 with 24 GB of memory, in a node whose second L4 ran other tenants

شواهد

cooled-restarts.txt
title: the start of each run in the repeated sweep, with the wait before it
source: manuals/sglang-101/capture/gpu/out-l4/graphs-sameday-starts.log
lines: 1-42
lang: text
note: All 42 starts were at 72 C, after a wait that differs each time.
---
[graphs-on-b] c1-s1 start 72 C after 161 s
[graphs-on-b] c2-s1 start 72 C after 262 s
[graphs-on-b] c4-s1 start 72 C after 232 s
[graphs-on-b] c8-s1 start 72 C after 156 s
[graphs-on-b] c16-s1 start 72 C after 166 s
[graphs-on-b] c32-s1 start 72 C after 187 s
[graphs-on-b] c64-s1 start 72 C after 227 s
[graphs-on-b] c1-s2 start 72 C after 267 s
[graphs-on-b] c2-s2 start 72 C after 287 s
[graphs-on-b] c4-s2 start 72 C after 237 s
[graphs-on-b] c8-s2 start 72 C after 161 s
[graphs-on-b] c16-s2 start 72 C after 161 s
[graphs-on-b] c32-s2 start 72 C after 187 s
[graphs-on-b] c64-s2 start 72 C after 182 s
[graphs-on-b] c1-s3 start 72 C after 207 s
[graphs-on-b] c2-s3 start 72 C after 222 s
[graphs-on-b] c4-s3 start 72 C after 182 s
[graphs-on-b] c8-s3 start 72 C after 116 s
[graphs-on-b] c16-s3 start 72 C after 126 s
[graphs-on-b] c32-s3 start 72 C after 136 s
[graphs-on-b] c64-s3 start 72 C after 171 s
[graphs-off-b] c1-s1 start 72 C after 171 s
[graphs-off-b] c2-s1 start 72 C after 237 s
[graphs-off-b] c4-s1 start 72 C after 192 s
[graphs-off-b] c8-s1 start 72 C after 126 s
[graphs-off-b] c16-s1 start 72 C after 136 s
[graphs-off-b] c32-s1 start 72 C after 141 s
[graphs-off-b] c64-s1 start 72 C after 176 s
[graphs-off-b] c1-s2 start 72 C after 217 s
[graphs-off-b] c2-s2 start 72 C after 227 s
[graphs-off-b] c4-s2 start 72 C after 182 s
[graphs-off-b] c8-s2 start 72 C after 116 s
[graphs-off-b] c16-s2 start 72 C after 136 s
[graphs-off-b] c32-s2 start 72 C after 136 s
[graphs-off-b] c64-s2 start 72 C after 166 s
[graphs-off-b] c1-s3 start 72 C after 212 s
[graphs-off-b] c2-s3 start 72 C after 227 s
[graphs-off-b] c4-s3 start 72 C after 182 s
[graphs-off-b] c8-s3 start 72 C after 121 s
[graphs-off-b] c16-s3 start 72 C after 141 s
[graphs-off-b] c32-s3 start 72 C after 166 s
[graphs-off-b] c64-s3 start 72 C after 217 s
first-ab-table.txt
title: the first comparison of CUDA graphs on and off, as the team read it
source: manuals/sglang-101/capture/gpu/incidents/l4-thermal-throttle.txt
lines: 6-23
lang: text
note: Compare the two configs row by row, then read the seed ranges in the last column.
---
GPU 0 ran the sweep. GPU 1 ran two other tenants' test pods and an FP8 sweep at the same time.
Qwen/Qwen3-8B, BF16, 512 tokens in, 128 out, median over three seeds; the sweep had no GPU telemetry yet.

config          concurrency  median TPOT ms  output tok/s (min-max over seeds)
default                   1           103.4  10.1 (10.0-14.9)
default                   2            81.2  25.1 (24.6-26.8)
default                   4            67.2  57.4 (55.8-59.3)
default                   8            72.1  93.6 (92.4-94.5)
default                  16            79.0  159.1 (157.4-162.8)
default                  32           113.2  194.2 (193.3-195.7)
default                  64           123.9  199.5 (198.9-200.4)
no-cuda-graph             1           103.4  10.2 (10.2-12.3)
no-cuda-graph             2            73.9  26.6 (25.6-27.3)
no-cuda-graph             4            68.0  55.5 (55.4-58.7)
no-cuda-graph             8            75.4  92.0 (91.2-92.8)
no-cuda-graph            16            75.7  160.8 (157.7-160.8)
no-cuda-graph            32           117.9  193.2 (189.2-194.5)
no-cuda-graph            64           120.8  201.0 (193.3-201.8)
gpu-state-during-sweep.txt
title: the state of both GPUs in the node during that sweep
source: manuals/sglang-101/capture/gpu/incidents/l4-thermal-throttle.txt
lines: 1-4
lang: text
note: Read the temperature, the current clock against the maximum, and the slowdown flags of the first GPU.
---
nvidia-smi on the L4 host during the first load sweep, 2026-10-16 18:10 UTC
index, temperature.gpu, power.draw [W], power.limit [W], clocks.current.sm [MHz], clocks.max.sm [MHz], clocks_event_reasons.active, clocks_event_reasons.sw_thermal_slowdown, clocks_event_reasons.hw_thermal_slowdown, clocks_event_reasons.sw_power_cap, utilization.gpu [%]
0, 87, 58.36 W, 72.00 W, 360 MHz, 2040 MHz, 0x0000000000000020, Active, Not Active, Not Active, 100 %
1, 81, 52.77 W, 72.00 W, 2025 MHz, 2040 MHz, 0x0000000000000004, Not Active, Not Active, Active, 0 %
same-day-pair.txt
title: the same comparison on a cooled card, both servers on one day
source: manuals/sglang-101/sections/4-1-forwardmode-and-cuda-graphs.md
lines: 123-131
lang: text
note: Read the time per token and the P99 ITL columns, and the note on the last row.
---
| Concurrency | Median TPOT with graphs / without | Output tok/s with / without | P99 ITL with / without |
|---|---|---|---|
| 1 | 60.15 / 60.64 ms | 13.93 / 14.67 | 104 / 104 ms |
| 8 | 66.01 / 66.60 ms | 112.60 / 111.67 | 70 / 68 ms |
| 16 | 70.08 / 70.59 ms | 201.21 / 200.16 | 80 / 73 ms |
| 32 | 95.65 / 94.12 ms | 270.61 / 270.81 | 103 / 87 ms |
| 64, see the note below | 103.39 / 103.12 ms | 264.10 / 265.30 | 109 / 90 ms |

The L4 servers captured decode graphs only up to 48 running requests. At 64 users, batches above 48 ran eager on both servers, so the last row does not measure graphs.
the-other-engine.txt
title: the same mistake in a speculative decoding test on the other engine
source: manuals/vllm-101/sections/4-1-speed-up-decode-with-eagle3.md
lines: 110-110
lang: text
note: Read the two clocks and what the team did with those runs.
---
Our first EAGLE3 runs had no clock lock. At one user, the run with no speculation ran at 210 MHz, and the EAGLE3 run at about 1,400 MHz. A gap that large hides the effect of speculation, so we set those runs aside.

سؤال‌ها

  1. نتایج دو آزمون تا چند درصد به هم نزدیک هستند. چرا این همخوانی دلیلی بر بی‌اثر بودن گراف‌ها نیست؟
  2. خط وضعیت GPU را بخوانید. کدام پرچم کاهش سرعت (slowdown flag) فعال شده، کارت با چه فرکانس کلاکی کار می‌کند و این مقدار چند درصد از حداکثر فرکانس آن است؟
  3. فرکانس کلاک پایین چه اثری روی یک مرحله‌ی وابسته به فراخوانی (launch-bound) و یک مرحله‌ی متکی به پهنای باند حافظه (memory-bound) می‌گذارد، و چرا به‌طور خاص اثر گراف را پنهان می‌کند؟
  4. پروتکلی طراحی کنید که مقایسه‌ی یک جفت A/B را روی این کارت معتبر سازد. شرایط شروع، قاعده‌ی تکرار و داده‌هایی را که ثبت می‌کنید مشخص کنید.
  5. با آن پروتکل، استفاده از گراف‌ها چه تغییری روی این کارت ایجاد کرد و نتیجه در چه نقطه‌ای غافلگیرکننده بود؟
  6. همین اشتباه در تست دیکودینگ حدسی (speculative decoding) روی یک موتور دیگر نیز رخ داد. اختلاف کلاک در آنجا چقدر بود و تیم با آن اجراها چه کرد؟

اول شواهد را بخوانید و به سؤال‌ها جواب بدهید، بعد راه‌حل را باز کنید.

راه‌حل گام‌به‌گام

از جدول اول شروع کنید. سرور پیش‌فرض و سرور بدون گراف در تمام سطوح همزمانی تنها چند درصد با هم اختلاف دارند و بازه‌ی نتایج سیدها با هم همپوشانی دارد. در بار کاری یک کاربر، بازه‌ها بین 10.0 تا 14.9 و 10.2 تا 12.3 توکن بر ثانیه هستند؛ نوسانی که برای نقطه‌ای که باید کاملاً پایدار باشد بسیار زیاد است. این بنچمارک فاقد تله‌متری GPU بود، بنابراین هیچ ردیفی در جدول وضعیت واقعی کارت را نشان نمی‌دهد.

اما خط وضعیت GPU همه‌چیز را فاش می‌کند. پردازنده‌ی اول، یعنی همان کارتی که آزمون را اجرا می‌کرد، در دمای 87 درجه‌ی سانتی‌گراد بود، فرکانس کلاک SM آن روی 360 مگاهرتز (در برابر سقف 2,040 مگاهرتز) کار می‌کرد، و پرچم نرم‌افزاری کاهش سرعت حرارتی در حالی فعال شده بود که کارت بهره‌وری (utilization) 100 درصدی را گزارش می‌داد. پردازنده‌ی دوم در دمای 81 درجه‌ی سانتی‌گراد، فرکانس 2,025 مگاهرتز را حین اجرای پادهای کاربران دیگر حفظ کرده بود. کارتِ تحت تست، به دلیلی که هیچ ارتباطی با فلگ‌های سرور نداشت، روی تقریباً یک‌ششم فرکانس کلاک خود کار می‌کرد.

یک گراف CUDA زمان فراخوانی کرنل‌ها (kernel launch time) را در یک گام رمزگشایی حذف می‌کند. روی این کارت و این مدل، این صرفه‌جویی حدود نیم میلی‌ثانیه از یک گام 60 تا 70 میلی‌ثانیه‌ای است. وقتی پردازنده‌ی گرافیکی دچار گلوگاه حرارتی (throttle) شده، اجرای تک‌تک مراحل کُند است و این صرفه‌جویی ناچیز در میان نویز گم می‌شود. از طرفی، شدت افت فرکانس با تغییرات دما و بار پردازشی کارت همسایه تغییر می‌کند؛ بنابراین دو آزمونی که پشت سر هم اجرا شدند هرگز با سرعت یکسانی پیش نرفتند. همخوانی در حد چند درصد روی کارتی که کلاک آن مدام نوسان داشته، مطلقاً سند و مدرک معتبری نیست. تیم آن اعداد را کنار گذاشت.

گزارش سوم روش اصلاح‌شده را نشان می‌دهد. هر بار اجرای آزمون مجدد از دمای 72 درجه‌ی سانتی‌گراد یا کمتر شروع شد و سیستم پیش از هر استارت، بین 116 تا 287 ثانیه منتظر رسیدن به این دما ماند. هر اجرایی که میانه‌ی فرکانس کلاک SM آن زیر 1,000 مگاهرتز می‌آمد کنار گذاشته و تا سه بار تکرار می‌شد. هر دو سرور در یک روز، پشت سر هم، با مجموعه‌ی مشابهی از 24,094 توکن اجرا شدند و یک نمونه‌گیر (sampler)، کلاک و دما را ثانیه به ثانیه ثبت می‌کرد.

خروجی این کار، جدول مقایسه‌ی جفت هم‌روز است. تا سقف 16 کاربر، گراف‌ها توانستند 0.5 تا 0.7 میلی‌ثانیه از هر مرحله کم کنند که معادل حدود 1 درصد است؛ یعنی 60.15 در برابر 60.64 میلی‌ثانیه در بار کاری یک کاربر. نرخ پردازش (throughput) از 2 کاربر به بالا در بازه‌ی 1.2 درصد برابر بود. در 16 و 32 کاربر، سرور بدون گراف صدک 99 تاخیر بین‌توکنی (P99 ITL) کمتری ثبت کرد: 73 در برابر 80 میلی‌ثانیه و 87 در برابر 103 میلی‌ثانیه، آن هم بدون هیچ همپوشانی در نتایج سیدها؛ مستندات سیستم این اختلاف را گزارش می‌دهد اما مکانیسم مشخصی برای توجیه آن ارائه نکرده است. در 64 کاربر، دسته‌های (batches) بزرگ‌تر از 48 روی هر دو سرور به‌صورت مشتاقانه (eager) اجرا شدند؛ بنابراین آن ردیف اصلاً تأثیر گراف‌ها را اندازه نمی‌گیرد.

آخرین گزارش مربوط به موتور دیگر است. نخستین تست‌های دیکودینگ حدسی آن بدون قفل کردن فرکانس کلاک انجام شد. در بار کاری یک کاربر، تست بدون حدس با کلاک 210 مگاهرتز و تست با حدس با حدود 1,400 مگاهرتز اجرا شده بود. چنین شکاف بزرگی هرگونه اثر واقعی این قابلیت را کاملاً می‌پوشاند؛ بنابراین تیم آن نتایج را کنار گذاشت و کلاک را روی 900 مگاهرتز قفل کرد تا مقایسه‌ی مجدد را انجام دهد.

نتیجه

تست A/B اول کاملاً باطل بود. کارت با فعال بودن کاهش سرعت حرارتی روی 360 مگاهرتز کار می‌کرد، کلاک ثبت نشده بود، و دو دور آزمون فرکانس کلاک مشترکی نداشتند. هر نتیجه‌گیری درباره‌ی گراف‌ها بر پایه‌ی آن جدول‌ها، در واقع نتیجه‌گیری درباره‌ی حرارت بوده است.

مقایسه‌ی اصلاح‌شده نشان داد که گراف‌ها باید روشن بمانند. آن‌ها حدود 1 درصد از زمان هر گام رمزگشایی را روی این مدل متراکم (dense) کم کردند، برابری نرخ پردازش در محدوده‌ی 1.2 درصد حفظ شد، و نتایج نامعلومِ تأخیر دُم (tail latency) بهتر در حالت بدون گراف در 16 و 32 کاربر، صرفاً دلیلی است برای این‌که رفتار تأخیر دُم مدل خود را بسنجید، نه این‌که گراف‌ها را به بهانه‌ی صرفه‌جویی در حافظه خاموش کنید. در عوض، اندازه‌ی گراف‌ها را متناسب با ترافیک خود تنظیم کنید. راه‌حل واقعی، اصلاح روش کار است: در تمام طول بنچمارک مقادیر clocks.sm و دما را هر ثانیه ثبت کنید، هر اجرا را از دمایی شروع کنید که کارت توانایی حفظ آن را دارد، هر اجرایی را که میانه‌ی کلاک آن از کف مجاز پایین‌تر رفت تکرار کنید، و دو اجرا را فقط در شرایطی بسنجید که فرکانس کلاک مشابهی داشته‌اند. یادداشت‌های آزمایشگاهی مستندات vLLM نیز دقیقاً به همین دلیل از چهار نشست (session) آزمایشی مجزا روی L4 نام می‌برند و اعداد را فقط در چارچوب یک نشست مقایسه می‌کنند.

مسیرهای اشتباه رایج
  • «هر دو سناریو روی یک کارت داغ اجرا شدند، پس اثر گرما برای هر دو خنثی می‌شود.» مکانیزم مهار حرارتی وابسته به دما و بار کاری کارت همسایه تغییر می‌کرد. دو اجرای با یک ساعت فاصله، فرکانس کلاک برابری نداشتند، و کارتی که روی یک‌ششم فرکانس خود کار می‌کند در هر حال اثری در حد نیم میلی‌ثانیه را می‌بلعد.
  • «کلاک را روی حداکثر قفل کنید تا مشکل حل شود.» قفل کلاک فقط سقف فرکانس را تعیین می‌کند؛ پردازنده‌ای که بیش از حد داغ شود باز هم فرکانسش را از آن مقدار پایین‌تر می‌آورد. ما کلاک را روی 900 مگاهرتز بستیم؛ مقداری که کارت از پس حفظ آن برمی‌آمد، و با این حال باز هم اجراهایی را که افت می‌کردند کنار گذاشتیم.
  • «دو سناریو را به ترتیب معکوس اجرا کنید.» اجرای دوم همچنان حرارت باقی‌مانده از اجرای اول را به ارث می‌برد. وضعیت‌ها را یکی‌درمیان تغییر دهید، کارت را قبل از هر اجرا تا دمای یکسانی خنک کنید و کلاک را لاگ بگیرید.
  • «بین هر اجرا یک دقیقه صبر کنید.» آزمون تکرارشده برای رسیدن به دمای 72 درجه‌ی سانتی‌گراد قبل از شروع، به 116 تا 287 ثانیه زمان نیاز داشت. منتظر رسیدن به یک دمای مشخص بمانید، نه یک مدت‌زمان ثابت.
درس کلی

هر آزمون A/B روی سخت‌افزار نیازمند کنترل شرایط خود سخت‌افزار است. فرکانس کلاکی که تحت تأثیر حرارت یا تسک‌های پردازشی مجاور تغییر کند، متغیری پنهان است که تمام ارقام خروجی را با یک ضریب جابه‌جا می‌کند؛ ضریبی که آثار کوچک را محو می‌کند و اثرهای کاذب بزرگ می‌سازد. در هر اندازه‌گیری فرکانس کلاک را به طور مداوم ثبت کنید، شرایط دمایی شروع را ثابت نگه دارید، و ارقامی را که از دو کلاک مختلف به دست آمده‌اند، دقیقاً مثل داده‌های دو دستگاه کاملاً جداگانه در نظر بگیرید.

کجای دوره آموزش داده می‌شود

مستندات SGLang آزمون اول و جفت آزمون اصلاح‌شده را در صفحه‌ی گراف‌های CUDA ثبت کرده و قاعده‌ی کنترل کلاک را در صفحه‌ی بنچمارک شرح داده است؛ مستندات vLLM نسخه‌ی دیکودینگ حدسی را در صفحه‌ی EAGLE3 توضیح می‌دهد و نشست‌ها را در یادداشت‌های آزمایشگاهی برمی‌شمارد؛ و درس تست بار مسائلی را پوشش می‌دهد که کلاینت قادر به دیدن آن‌ها نیست.