وضعیت
یک تیم یادگیری تقویتی (RL) مسیرهای پیشروی شبیهسازیشدهی (rollouts) خود را با دمای 1 و top-p برابر با 0.9 نمونهگیری میکند. ترینر (trainer) به هر توکن نمونهگیریشده در کل دایرهی واژگان امتیاز میدهد و آن امتیاز را با لگاریتم احتمال (log probability) بازگرداندهشده از موتور مقایسه میکند. شکاف بین این دو مقدار، یعنی train/train_rollout_logprob_abs_diff، در گام 0 تمام اجراهای سالم قبلی بین 0.0148 و 0.0157 بوده است.
تیم فرایند rolloutها را به موتور دوم منتقل میکند. این موتور پرچمی دارد که مشخص میکند کدام مقدار لگاریتم احتمال بازگردانده شود، و مهندس تیم مقدار پردازششده (processed) را انتخاب میکند، «چون این همان توزیعی است که از آن نمونهگیری کردهایم». شکاف گام 0 در اجرای جدید، حدود 0.053 بالاتر از بازهی قبلی قرار میگیرد. یکی از همتیمیها میگوید کرنلهای موتور جدید ضعیفترند و اصرار دارد به موتور قبلی برگردند. دیگری میخواهد موتور را روی حالت قطعی (deterministic) بگذارد. سومی معتقد است این شکاف یک عدد ثابت است و ترینر میتواند آن را تفریق کند. شما نتایج یک آزمون ارزیابی (probe) را در دست دارید که یکی از همکاران روی پردازندهی L4 آزمایشگاه اجرا کرده است.
- نسخه
- SGLang 0.5.22 and vLLM 0.31.0 as rollout engines, with Miles main 08752a12
- مدل
- Qwen/Qwen3-0.6B in BF16
- سختافزار
- the shared second L4 of a two-GPU node, with no clock lock
شواهد
engine-settings.txt
title: the engine settings of five Miles runs
source: manuals/miles-101/capture/gpu/out-gb10/engine-settings.txt
lines: 4-9
lang: text
note: Compare the first row with the last. Only the two sampler flags differ.
---
run attention_backend enable_deterministic_inference sampling_backend --rollout-top-p --rollout-top-k
e6a-base flashinfer False flashinfer not set not set
e6b-det-triton triton True pytorch not set not set
e6c-det-flashinfer flashinfer True pytorch not set not set
e6d-det-triton-repeat triton True pytorch not set not set
e11-topp-topk flashinfer False flashinfer 0.95 64
formula-check.txt
title: what the shifted value is
source: manuals/miles-101/capture/gpu/out-l4/logprobs-top-p.txt
lines: 14-16
lang: text
note: The residual against the formula is near zero, so the shift is the renormalization.
---
vLLM processed_logprobs minus (reference - log of the top-p kept mass): median residual 8e-9.
So processed_logprobs is the logprob after the nucleus is renormalized, and raw_logprobs is the full-vocabulary logprob.
SGLang returns the logprob from before top-p. At temperature 1, SGLANG_RETURN_ORIGINAL_LOGPROB set to 0 or 1 gives the same value.
four-rows.txt
title: returned logprob minus the reference, by engine and mode
source: manuals/miles-101/capture/gpu/out-l4/logprobs-top-p.txt
lines: 8-12
lang: text
note: One row differs from the other three in its median.
---
engine and mode returned minus reference, median median absolute
vLLM --logprobs-mode raw_logprobs 0.0000 0.005
vLLM --logprobs-mode processed_logprobs +0.0527
SGLang return_logprob, ORIGINAL_LOGPROB=0 0.0000 0.0066
SGLang return_logprob, ORIGINAL_LOGPROB=1 0.0000 0.0066
how-often-the-cut-bites.txt
title: how much mass top-p dropped on these tokens
source: manuals/miles-101/capture/gpu/out-l4/logprobs-top-p.txt
lines: 18-19
lang: text
note: The median of minus the log of the kept mass is the size of the shift.
---
The kept mass was below 0.99 for 74 to 79 percent of sampled tokens.
The median of minus log of the kept mass was 0.055 to 0.067.
probe-setup.txt
title: the probe: two engines, one model, one float32 reference
source: manuals/miles-101/capture/gpu/out-l4/logprobs-top-p.txt
lines: 1-6
lang: text
note: Read the sampler settings and what the reference computes.
---
Returned logprobs under top-p (backlog B-10)
Date: 2026-10-23
Machine: NVIDIA L4, the second GPU of the node (GPU1), shared with its owner, no clock lock. Speed does not change these values.
Engines: SGLang 0.5.22 and vLLM 0.31.0. Model: Qwen/Qwen3-0.6B in BF16.
Requests: 16 prompts, 48 sampled tokens each, temperature 1, top-p 0.9.
Reference: a Transformers float32 forward pass over the same tokens, full-vocabulary log_softmax.
replay-result.txt
title: the gap with and without sampling replay, 12 steps, one seed
source: manuals/miles-101/sections/4-4-lower-the-logprob-gap.md
lines: 64-67
lang: text
note: The second run scored each token over the kept set in the trainer too.
---
| Run, 12 steps, seed 1 | Median gap | Lowest and highest step | Median reward |
|---|---|---|---|
| No top-p or top-k | 0.0153 | 0.0150 to 0.0159 | 0.66 |
| Top-p 0.95, top-k 64 | 0.0135 | 0.0128 to 0.0141 | 0.68 |
سؤالها
- سه سطر از چهار سطر با مرجع همخوانی دارند و یکی همخوانی ندارد. کدام عدد ناشی از شکاف کرنل است و کدام به دلیل دیگری رخ داده؟
- فرمول مقدار جابهجاشده را به دست آورید. این مقدار نسبت به مقدار کل دایرهی واژگان در چه جهتی حرکت میکند و برای توکنی که جرم باقیماندهی آن 0.9 است چقدر تغییر میکند؟
- همتیمیتان این شکاف را یک عدد ثابت میداند که میتوان تفریقش کرد. آیا این مقدار بین توکنها ثابت است؟ نسبت اهمیت (importance ratio) را به کدام سمت push میکند؟
- برای ترینری که کل دایرهی واژگان را امتیازدهی میکند، موتور باید کدام مقدار را برگرداند؟ و کدام تنظیم با ترینری که مجموعهی نگهداشتهشده را امتیازدهی میکند همخوانی دارد؟
- چرا اجرای Miles با top-p برابر با 0.95 و top-k برابر با 64 با شکاف کمتری نسبت به اجرای بدون آنها به پایان رسید؟
- حالت قطعی چه تغییری در این شکاف ایجاد میکند؟ و دما چه تأثیری روی مقدار بازگرداندهشده از موتور اول دارد؟
اول شواهد را بخوانید و به سؤالها جواب بدهید، بعد راهحل را باز کنید.
راهحل گامبهگام
- بررسی آزمون ارزیابی. هر دو موتور یک مدل یکسان را با فرمت BF16 روی یک GPU اجرا کردند. کلاینت 16 پرامپت فرستاد و برای هر کدام 48 توکن در دمای 1 و top-p برابر با 0.9 نمونهگیری کرد. مرجع، حاصل یک گذر رو به جلو (forward pass) با دقت float32 روی همان توکنها با تابع
log_softmaxروی کل دایرهی واژگان است. پردازندهی گرافیکی اشتراکی بود و کلاک آن قفل نشده بود؛ مسئلهای که روی سرعت تأثیر میگذارد، نه روی این مقادیر عددی. - بررسی چهار سطر دادهها. موتور دوم در حالت خام (raw) همان مقدار مرجع را برگرداند؛ با میانهی اختلاف 0.0000 و میانهی قدر مطلق اختلاف 0.005. موتور اول نیز با متغیر محیطی 0 و 1 همان مقدار مرجع را با میانهی قدر مطلق اختلاف 0.0066 برگرداند. اما موتور دوم در حالت پردازششده مقداری برگرداند که میانهی آن 0.0527 از مرجع بیشتر بود. مقادیر 0.005 و 0.0066 شکاف کرنل هستند. مقدار 0.0527 ناشی از تفاوت در تعریف ریاضی است.
- بررسی فرمول. روش top-p کوچکترین مجموعهای از توکنها را که جمع احتمالاتشان حداقل 0.9 شود نگه میدارد، سپس احتمالات نگهداشتهشده را بازتنظیم (scale) میکند تا مجموعشان دوباره 1 شود. لگاریتم احتمال یک توکنِ نگهداشتهشده بعد از این بازتنظیم، برابر است با امتیاز روی کل دایرهی واژگان منهای لگاریتم جرم نگهداشتهشده. آزمون ارزیابی این فرمول را از مقدار پردازششده کسر کرد و به میانهی خطای باقیماندهی 8e-9 رسید. بنابراین مقدار پردازششده همان لگاریتم احتمال داخل توزیع بازنرمالشدهی نیوکلئوس (nucleus) است، و مقدار خام همان احتمال روی کل دایرهی واژگان است.
- بررسی میزان اثرگذاری برش. جرم نگهداشتهشده برای 74 تا 79 درصد توکنهای نمونهگیریشده زیر 0.99 بود، و میانهی منفیِ لگاریتم جرم نگهداشتهشده بین 0.055 تا 0.067 قرار داشت. این همان اندازهی جابهجایی است که از توکنی به توکن دیگر تغییر میکند. از آنجا که جرم نگهداشتهشده هرگز بیشتر از 1 نیست، این جابهجایی هرگز منفی نمیشود. این تفاوت، نسبت ترینر به موتور را روی تمام توکنها در یک جهت push میکند؛ پس با یک سوگیری (bias) روبهروییم، نه نوفه (noise).
- بررسی اجراهای Miles. جدول تنظیمات موتور، اجرایی را با آرگومانهای
--rollout-top-p 0.95و--rollout-top-k 64در کنار یک اجرای پایه بدون این دو نشان میدهد. وقتی top-p کمتر از 1 یا top-k بزرگتر از 0 باشد، Miles بازپخش نمونهگیری را فعال میکند: موتور مجموعهی توکنهای مجاز برای نمونهگیری در هر گام را برمیگرداند، و سپس ترینر تمام توکنها را تنها روی همان مجموعه امتیازدهی میکند. در طول 12 گام، اجرای دارای بازپخش به میانهی شکاف 0.0135 رسید، در حالی که اجرای پایه میانهی 0.0153 را ثبت کرد، بدون هیچگونه همپوشانی در بازههای گامهایشان. از آنجا که هر دو طرف تعریف یکسانی از لگاریتم احتمال داشتند، بخش ناشی از نمونهگیر (sampler) در شکاف حذف شد و تنها بخش مربوط به کرنل باقی ماند. - بررسی دو پیشنهاد دیگر. استنتاج قطعی باعث میشود موتور خروجیهای تکرارپذیر تولید کند و هیچ تغییری در مقدار گزارششده از نمونهگیر نمیدهد. موتور اول مقدار بازگرداندهشده را بهصورت
log_softmax(logits / temperature)محاسبه میکند، مگر اینکه متغیر original-logprob تنظیم شده باشد؛ بنابراین در دمایی غیر از 1، این موتور مقداری مقیاسشده برمیگرداند، در حالی که در دمای 1 این متغیر هیچ تفاوتی ایجاد نمیکند، همانطور که در دو سطر نتایج مشخص است.
نتیجه
علت پرش شکاف این بود که موتور و ترینر دیگر مفهوم یکسانی از لگاریتم احتمال نداشتند. ترینر به هر توکن در کل دایرهی واژگان امتیاز میداد، اما موتور مقداری را برمیگرداند که پس از بازنرمالسازیِ مجموعهی نگهداشتهشده با top-p به دست آمده بود؛ مقداری که بهاندازهی منفیِ لگاریتم جرم نگهداشتهشده (با میانهی 0.0527 روی این توکنها) بزرگتر است. در کرنلها هیچ تغییری رخ نداده بود: حالت خام موتور دوم با میانهی قدر مطلق اختلاف 0.005 کاملاً با مرجع مطابقت داشت.
یکی از دو جفتتنظیم سازگار زیر را انتخاب کنید: یا موتور را روی حالت خام بگذارید تا هر دو طرف از کل دایرهی واژگان استفاده کنند، یا با فعال کردن --rollout-top-p و --rollout-top-k، بازپخش را در Miles روشن کنید تا هر دو طرف روی مجموعهی نگهداشتهشده کار کنند. اثبات (proof) این موضوع در شکاف گام 0 دیده میشود: بازگشت به بازهی 0.0148 تا 0.0157 با حالت خام، یا ثبت عدد نزدیک به 0.0136 با بازپخش، که همان مقدار ثبتشده در راهنما برای اجرای top-p است. بعد از آن، بررسی شکاف را در تمام گامها ادامه دهید؛ زیرا شکافی که بعداً رشد کند، به معنای نرسیدن وزنها به موتور است که خطایی کاملاً متفاوت به حساب میآید.
مسیرهای اشتباه رایج
- «کرنلهای موتور جدید ضعیفترند، برگردیم به قبلی.» در حالت خام، موتور جدید با میانهی قدر مطلق اختلاف 0.005 با مرجع float32 همخوانی داشت که تقریباً مشابه مقدار 0.0066 در موتور قبلی است. پرش شکاف صرفاً به خاطر مقداری بود که پرچم انتخاب کرده بود.
- «روشن کردن استنتاج قطعی.» این کار فقط خروجی موتور را تکرارپذیر میکند و زمان rollout را بالا میبرد. این حالت تغییری در تعریف مقدار بازگرداندهشده ایجاد نمیکند، بنابراین جابهجایی مقادیر به قوت خود باقی میماند.
- «شکاف یک عدد ثابت است، آن را در ترینر تفریق کنیم.» این جابهجایی برابر با منفیِ لگاریتم جرم نگهداشتهشده برای هر توکن است؛ مقداری که در بین توکنها پخش شده بود و برای 74 تا 79 درصد آنها زیر 0.99 قرار داشت. تصحیح با یک عدد ثابت، روی تکتک توکنها سوگیریای در همان جهت به جا میگذارد.
- «کاهش top-p برای تیزتر شدن نمونهگیری و تثبیت شکاف.» جرم نگهداشتهشدهی کوچکتر، منفیِ لگاریتم آن را بزرگتر میکند. در نتیجه شکاف بیشتر خواهد شد.
- «تنظیم متغیر original-logprob روی موتور اول برای حل مشکل در همه جا.» در دمای 1 این متغیر تغییری در آزمون ارزیابی ایجاد نکرد. این متغیر زمانی کاربرد دارد که در دمایی متفاوت نمونهگیری کنید و ترینر با دمای 1 امتیاز بدهد، که عدم تطابقی از جنسی دیگر است.
درس کلی
دو سیستمی که مقداری عددی را مقایسه میکنند، پیش از مقایسهی مقدار باید بر سر تعریف آن به توافق برسند. نمونهگیری که توزیع را برش میزند و بازنرمال میکند، تعریف لگاریتم احتمال را تغییر میدهد و این تغییر یک سوگیری یکطرفه روی هر توکن ایجاد میکند، نه نوفهی تصادفی. پیش از بررسی شکاف بین دو سمت، هر دو را در برابر یک مرجع که خودتان محاسبه کردهاید بیازمایید، و هر دو سمت را در یک موضع نسبت به نمونهگیر نگه دارید: یا هر دو پیش از برش، یا هر دو پس از برش.
کجای دوره آموزش داده میشود
راهنمای Miles این جابهجایی را اثبات کرده و بازپخش را در صفحهی شکاف لاگاحتمال اندازه میگیرد و بازههای گام 0 را در صفحهی گام اول ارائه میدهد؛ راهنمای vLLM این دو حالت را در صفحهی rollout یادگیری تقویتی توضیح میدهد؛ و راهنمای SGLang مقدار مقیاسشده با دما را در صفحهی لاگاحتمالها شرح داده است.