سناریوی رخداد

افزایش سرعتی در یادگیری تقویتی که اصلاً واقعیت نداشت

An RL speedup that was not an effect

  • سطح ۳: ارشد
  • سناریوی رخداد
  • ۲۵ دقیقه

وضعیت

یکی از هم‌تیمی‌ها نتیجه‌ای را در کانال تیم به اشتراک می‌گذارد: اگر موتور مسیر پیش‌روی شبیه‌سازی‌شده (rollout engine) بین فازها در حافظه بماند، زمان rollout حدود 12 درصد کمتر می‌شود. این پیام دو اجرا روی GB10 را مقایسه می‌کند: یک خط مبنا (baseline) با میانه زمان rollout معادل 59.1 ثانیه و تنظیمات جدید با 52.0 ثانیه؛ و پیشنهاد می‌دهد این تنظیمات جدید به حالت پیش‌فرض تبدیل شود. در همان پیام، ادعای بهبود پاداش به میزان 0.01 حاصل از تغییری دیگر، روی یک seed تصادفی و با نمودار تابع زیانی (loss curve) که «بهتر به نظر می‌رسد» هم مطرح شده است.

یکی از بازبین‌ها مانیفست (manifest) اجراها را می‌خواهد. دو اجرا 4 روز با هم فاصله داشته‌اند. نسبت حافظه اختصاص‌یافته به موتور هم در اجرای دوم یکسان نبوده است. میانه‌ها گام‌های متفاوتی را پوشش می‌دهند، چون محافظ حرارتی هر بار که دمای GPU به 84 درجه سانتی‌گراد می‌رسید کانتینر را موقتاً متوقف می‌کرد؛ یعنی 1,005 بار در طول آن هفته. هم‌تیمی سومی هم که می‌خواسته لگاریتم احتمال‌های ثبت‌شده در trainer و موتور به هم نزدیک‌تر شوند، نوع داده موتور را به FP16 تغییر داده ولی trainer را روی BF16 نگه داشته است.

نسخه
Miles main 08752a12 with its own SGLang 0.5.22 build
مدل
Qwen/Qwen3-0.6B
سخت‌افزار
one GB10 with 128 GB of unified memory, with a heat guard that pauses the run at 84 C

شواهد

all-steps-against-clean-steps.txt
title: the rollout time per step of every run, over all steps and over clean steps
source: manuals/miles-101/capture/gpu/out-gb10/unpaused-timing.txt
lang: text
note: Compare the two median columns of each row, and read the count of clean steps.
---
Rollout time per step, all steps against steps whose rollout window overlaps no heat-guard pause.
Pauses in the heat-guard log: 1005. Source: summary/miles-gb10-lab.json, median_unpaused.

run                              steps  all_median_s  unpaused_median_s  unpaused_steps
plain                               12          57.2               57.2              12
plain-48                            48          47.5               47.5              48
plain-48-s2                         48          86.2               52.0               4
plain-48-s3                         48          90.9               36.1               7
e6a-base                            12          83.9               59.1               6
e6b-det-triton                      12          84.5               82.0               8
e6c-det-flashinfer                  12          87.3               77.3               7
e6d-det-triton-repeat               12          94.2               81.9               7
e11-topp-topk                       12          74.5               66.8               7
e3b-offload-kv                      12          97.5               57.8               5
e3c-no-offload-rollout              12          63.2               52.0               7
e3d-no-offload-train                12          81.2               59.8               6
e4-0.6b                              4          12.4               12.3               3
e4-1.7b                              4          30.0               30.0               4
e2-n4                               24          32.5               32.5              14
e2-n16                              24         188.2                  -               0
e3e-base-frac025                    12         102.0               60.7               4
e3f-no-offload-rollout-frac025      12         102.2               56.7               3
e2b-dapo-filter                     12         340.7                  -               0
dtype-on-one-side.txt
title: the log probability gap between the engine and a trainer forward pass, by dtype
source: manuals/miles-101/capture/gpu/out-l4/logprob-gap-by-dtype.txt
lines: 10-20
lang: text
note: Compare the rows that change the dtype on one side with the row that changes it on both.
---
engine   trainer   median    p90      mean     max
BF16     BF16      0.0073    0.087    0.027    0.355
BF16     FP16      0.0079    0.053    0.019    0.279
BF16     FP32      0.0076    0.053    0.019    0.280
FP16     BF16      0.0085    0.061    0.021    0.265
FP16     FP16      0.00094   0.010    0.0032   0.033
FP16     FP32      0.0010    0.0068   0.0024   0.023

FP16 on both sides cuts the median gap about 7.8x against BF16 on both sides, the mean about 8.4x, and the worst token about 10x.
FP16 on one side only does not help: 0.0079 and 0.0085.
The BF16 engine stays at about 0.0076 even against FP32, so the BF16 rounding of the engine sets that floor.
same-day-pair.txt
title: the same-day pair that changed only the engine offload
source: manuals/miles-101/sections/2-2-choose-what-to-offload.md
lines: 30-33
lang: text
note: The two medians cover different clean steps.
---
| Setting | Clean rollout steps | Clean rollout median | Trainer offload, all steps | Trainer onload, all steps | Weight update, all steps |
|---|---|---|---|---|---|
| default offload | 4 of 12 | 60.7 s | 0.73 s | 0.76 s | 0.62 s |
| engine kept loaded | 3 of 12 | 56.7 s | 0.75 s | 0.82 s | 0.64 s |
three-seeds.txt
title: three seeds of the same 48-step run
source: manuals/miles-101/sections/5-3-repeat-a-run.md
lines: 15-19
lang: text
note: Read the spread of the reward over the last 8 steps.
---
| Seed | Reward, first 8 steps | Reward, last 8 steps | Length, first 8 | Length, last 8 | Cut share, first 8 | Cut share, last 8 |
|---|---|---|---|---|---|---|
| default (1234) | 0.636 | 0.758 | 724 | 447 | 0.33 | 0.08 |
| 2 | 0.653 | 0.736 | 712 | 480 | 0.30 | 0.12 |
| 3 | 0.614 | 0.766 | 734 | 456 | 0.34 | 0.09 |
what-each-run-changed.txt
title: the engine settings of five runs, read from their logs
source: manuals/miles-101/capture/gpu/out-gb10/engine-settings.txt
lines: 4-9
lang: text
note: Find the rows that differ in exactly one column.
---
run                    attention_backend  enable_deterministic_inference  sampling_backend  --rollout-top-p  --rollout-top-k
e6a-base               flashinfer         False                           flashinfer        not set          not set
e6b-det-triton         triton             True                            pytorch           not set          not set
e6c-det-flashinfer     flashinfer         True                            pytorch           not set          not set
e6d-det-triton-repeat  triton             True                            pytorch           not set          not set
e11-topp-topk          flashinfer         False                           flashinfer        0.95             64
what-we-ran.txt
title: the image digest, the commit and the engine version that every run used
source: manuals/miles-101/capture/gpu/out-gb10/image-identity.txt
lang: console
note: Three commands, run before the first run and kept with the results.
---
$ docker image inspect --format "{{index .RepoDigests 0}} {{.Architecture}}" radixark/miles:latest
radixark/miles@sha256:c64fa344e3a86715f03c0a1b6a422c474e0035355591a2f6da87bf52a74c52da arm64
$ docker run --rm --entrypoint git radixark/miles:latest -C /root/miles log -1 --format="%h %cs %s"
08752a1283 2026-10-15 fix(ci): keep host networks out of the builder disk cleanup (#4130)
$ docker run --rm --entrypoint /opt/sglang/bin/python3 radixark/miles:latest -c "import sglang;print(sglang.__version__)"
0.5.22.dev46+g7b6993a

سؤال‌ها

  1. دو اجرا، دو میانه، 12 درصد. پیش از آنکه این عدد را باور کنید، تمام چیزهایی را که میان این دو اجرا تفاوت داشته است فهرست کنید.
  2. جفت اجرای هم‌روز، زمان 60.7 ثانیه را در برابر 56.7 ثانیه روی گام‌های تمیز متفاوتی نشان می‌دهد. چرا حتی این مقایسه هم کافی نیست و مقایسه درست کدام است؟
  3. سه seed از خط مبنا به مقادیر 0.758، 0.736 و 0.766 رسیده‌اند. بهبود 0.01 روی یک seed چه معنایی دارد و چه زمانی قابل گزارش خواهد بود؟
  4. محافظ حرارتی 1,005 بار کانتینر را متوقف کرده است. این توقف‌ها چگونه وارد محاسبه میانه می‌شوند و زمان‌سنجی کدام گام‌ها مجاز است؟
  5. با توجه به جدول نوع‌ها (type table)، پیش‌بینی کنید تغییر نوع داده به FP16 فقط روی موتور چه تأثیری روی این شکاف می‌گذارد.
  6. مانیفستی را بنویسید که هر اجرا باید پیش از شروع ثبت کند، به‌همراه قاعده‌ای مشخص برای گزارش‌کردن هرگونه تغییر.

اول شواهد را بخوانید و به سؤال‌ها جواب بدهید، بعد راه‌حل را باز کنید.

راه‌حل گام‌به‌گام

کار را با جدول زمان‌بندی آغاز کنید. هر سطر دو میانه دارد: یکی روی تمام گام‌ها و دیگری فقط روی گام‌هایی که rollout آن‌ها با هیچ توقف حرارتی همپوشانی (overlap) نداشته است. برای خط مبنا یعنی e6a-base، این مقادیر 83.9 ثانیه و 59.1 ثانیه هستند که از 6 گام تمیز میان 12 گام به دست آمده‌اند. برای دو اجرای مربوط به جفت تخلیه حافظه با نسبت 0.25، این اعداد 102.0 در برابر 60.7 ثانیه و 102.2 در برابر 56.7 ثانیه هستند که از 4 و 3 گام تمیز حاصل شده‌اند. اجرای 48 گامی پیش از اضافه‌شدن محافظ حرارتی (plain-48)، در هر دو ستون عدد 47.5 ثانیه را ثبت کرده؛ چون هیچ توقفی نمی‌توانسته روی آن اثر بگذارد. در یک اجرای 16 پاسخی، حتی یک گام تمیز هم وجود ندارد. بنابراین میانه‌ای که روی تمام گام‌ها گرفته شود، در عمل میانه‌ای از توقف‌هاست و تعداد توقف‌ها در هر دو اجرای مختلف با هم فرق دارد.

جفت اجرای هم‌روز، روایت صادقانه این ادعاست. تنها تفاوت، پرچم --no-offload-rollout بود، نسبت حافظه در هر دو روی 0.25 قرار داشت و میانه‌های گام‌های تمیز 60.7 ثانیه در برابر 56.7 ثانیه ثبت شد. اما حتی این هم مقایسه عادلانه‌ای نیست، چون دو میانه از گام‌های متفاوتی به دست آمده‌اند. زمان rollout تابع طول پاسخ است و با یادگیری مدل، پاسخ‌ها کوتاه‌تر می‌شوند؛ از حدود 800 توکن (token) در گام‌های اولیه تا حدود 690 توکن در گام‌های بعدی. روی سه گامی که در هر دو اجرا تمیز بودند، نگه‌داشتن موتور در حافظه این زمان‌ها را صرفه‌جویی کرد: 69.4 در برابر 68.0 ثانیه، 58.5 در برابر 56.7 ثانیه، و 55.8 در برابر 55.2 ثانیه. این یعنی 0.6 تا 1.8 ثانیه در یک rollout حدوداً یک‌دقیقه‌ای؛ معادل 1 تا 3 درصد، آن هم روی یک seed. آن رقم اولیه 12 درصدی از مقایسه‌ای بیرون آمده بود که نسبت حافظه را هم تغییر داده بود و گام‌های متفاوتی را می‌سنجید.

این سه seed، کف نویز (noise floor) را مشخص می‌کنند. seedهای 1234، 2 و 3 از یک دستورالعمل 48 گامی یکسان، در 8 گام پایانی به پاداش‌های نهایی 0.758، 0.736 و 0.766 با طول پاسخ‌های 447، 480 و 456 توکن رسیدند. هر سه مدل روند یادگیری را طی کردند، با این حال بدون هیچ تغییری، پاداش نهایی 0.03 نوسان داشت. روی یک seed نمی‌توان بهبود 0.01 را در میان چنین نوسانی دید. تغییری به اندازه 0.05 روی دو seed، ارزش یک اجرای سوم را دارد.

جدول تنظیمات موتور نشان می‌دهد یک مانیفست بعد از اجرا چه شکلی دارد. این اطلاعات از خط آرگومان‌های سرور در لاگ هر اجرا خوانده شده و مشخص می‌کند کدام اجراها فقط در یک ستون با هم فرق دارند: اجراهای قطعی (deterministic) در پرچم، نمونه‌گیر (sampler) و گاهی backend با خط مبنا تفاوت دارند و اجرای top-p تنها در دو پرچمِ نمونه‌گیر متفاوت است. فهرست شناسه‌ها نیمه دیگر کار است که پیش از اجرا ثبت می‌شود: شناسه تصویر، commit داخل تصویر و نسخه ساخت موتور. بدون این سه خط، نمی‌توان اجرای هفته گذشته را با اجرای امروز مقایسه کرد، زیرا برچسب latest جابه‌جا می‌شود.

جدول نوع‌ها پیش از انجام اجرا پاسخ هم‌تیمی سوم را می‌دهد. با استفاده از BF16 در هر دو سمت، میانه شکاف به ازای هر توکن 0.0073 بود. با FP16 فقط روی موتور، این عدد به 0.0085 رسید و با FP16 فقط روی trainer برابر با 0.0079 شد. هیچ‌کدام کمکی نکرد. اما با تنظیم FP16 در هر دو سمت، میانه شکاف به 0.00094 سقوط کرد؛ یعنی حدود 7.8 برابر کمتر. موتور با نوع داده BF16 حتی در برابر trainer با FP32 هم نزدیک به 0.0076 ماند؛ بنابراین گردکردن اعداد در موتور، این کف را تعیین کرده بود. تغییر نوع داده تنها زمانی فایده دارد که هر دو سمت آن را اعمال کنند.

نتیجه

ادعای 12 درصد پس گرفته می‌شود. گزاره قابل دفاع این است: نگه‌داشتن موتور در حافظه، روی گام‌هایی که در هر دو اجرای یک جفت هم‌روز تمیز بودند و روی یک seed، تنها 0.6 تا 1.8 ثانیه از یک rollout حدوداً یک‌دقیقه‌ای صرفه‌جویی کرده است؛ عددی که کاملاً درون نویز گام‌به‌گام این ماشین تحت توقف‌های حرارتی قرار می‌گیرد. تخلیه حافظه پیش‌فرض حفظ می‌شود. افزایش پاداش 0.01 نیز تا زمانی که روی دو seed ظاهر نشود و بیرون از بازه 0.736 تا 0.766 seedهای خط مبنا قرار نگیرد، قابل گزارش نیست.

اکنون پیش از شروع، هر اجرا شناسه تصویر، commit، نسخه موتور، دستور کامل، seedها و نام فایل‌های لاگ را ثبت می‌کند. در حین اجرا، trainer، موتور و محافظ حرارتی هر کدام لاگ جداگانه خود را می‌نویسند و در پایان، اجرا یک خط شامل کد خروج ثبت می‌کند. اعمال هر تغییر مستلزم یک اجرا در برابر خط مبنایی از همان روز با تنها یک تنظیم متفاوت، دو seed، و مقایسه روی همان شماره گام‌ها، آن هم فقط از میان گام‌های تمیز است. نوع داده موتور و trainer همیشه با هم تغییر می‌کنند یا اصلاً دست نمی‌خورند؛ و استنتاج قطعی نیز برای تکرار یک آزمایش نگه داشته می‌شود، چون باعث شد موتور گام 0 را دقیقاً تکرار کند و شکاف را روی 0.01518 در برابر 0.01526 نگه دارد، در حالی که 40 تا 45 درصد زمان rollout بیشتری تحمیل کرد.

مسیرهای اشتباه رایج
  • «هر دو اجرا توقف داشتند، پس میانه‌های کل گام‌ها عادلانه‌اند.» توقف‌ها یکسان نیستند. دو اجرای این جفت، 4 و 3 گام تمیز داشتند و میانه‌های کل گام‌های آن‌ها (102.0 و 102.2 ثانیه)، 40 ثانیه بالاتر از میانه‌های گام‌های تمیزشان می‌نشیند.
  • «اجرای قبل از اضافه شدن محافظ حرارتی، خط مبنای تمیز است.» زمان 47.5 ثانیه‌ای آن مربوط به 48 گام است و پاسخ‌های کوتاه انتهایی را هم در بر می‌گیرد. روی همان 6 شماره گامِ مشابه با اجرای بعدی، زمان آن 60.9 ثانیه بوده است. شماره گام‌ها را با هم مقایسه کنید، نه کل اجراها را.
  • «بهبود 0.01 کم است اما نمودار بهتر به نظر می‌رسد.» سه seed مختلف از یک دستورالعمل، در پایان 0.03 اختلاف نشان می‌دهند. روی یک seed نمی‌توان 0.01 را دید.
  • «برای کاهش شکاف، موتور را به FP16 تغییر دهید.» اعمال این تغییر تنها روی یک سمت، شکاف را به 0.0085 و 0.0079 رساند که بهتر از 0.0073 با BF16 در هر دو سمت نبود. یا هر دو سمت، یا هیچ‌کدام.
  • «استنتاج قطعی را فعال کنید تا اجراها قابل مقایسه شوند.» این کار فقط تکرارپذیری موتور را به همراه دارد و 40 تا 45 درصد زمان rollout را می‌گیرد. شکاف همچنان بین 0.01515 و 0.01526 باقی ماند و trainer هم از همان گام 1 دچار دریفت (drift) شد.
درس کلی

هر تفاوت اندازه‌گیری‌شده، ادعایی درباره تمام چیزهایی است که میان دو اجرا فرق داشته‌اند؛ پس پیش از ثبت عدد، آنچه را که تفاوت داشته یادداشت کنید. مشخصات ماشین، کد و داده را ثابت نگه دارید، یک چیز را تغییر دهید، هزینه اجرای seed دوم را بپردازید و موارد مشابه را نظیربه‌نظیر تا سطح شماره گام مقایسه کنید. نتیجه‌ای که از این فیلترها جان سالم به در ببرد شاید کوچک باشد، اما متعلق به خودِ شماست.

کجای دوره آموزش داده می‌شود

راهنمای Miles مانیفست را در صفحه اجراهای قابل مقایسه، seedها و گام‌های تمیز را در صفحه تکرار، جفت هم‌روز را در صفحه تخلیه حافظه، اجراهای قطعی را در صفحه موتور تکرارپذیر و قاعده گام‌های تمیز را در یادداشت‌های آزمایشگاه آموزش می‌دهد.