بخش 4.4 · سرعت و پایداری

کاهش شکاف لگاریتم احتمال با top-p و top-k

Lower the log probability gap with top-p and top-k

فهرست مطالب
  1. چرا عدد خروجی موتور بزرگ‌تر است
  2. فعال‌سازی
  3. بررسی شکاف
  4. مواردی که بازپخش حل نمی‌کند

وقتی با top-p یا top-k نمونه‌گیری می‌کنید، Miles مجموعه‌توکن‌های نمونه‌گیری‌شده را در ترینر بازپخش می‌کند و فاصله‌ی بین این دو سمت کمتر می‌شود.

وقتی از top-p یا top-k استفاده می‌کنید، موتور هر توکن را از میان مجموعه‌ی کوچک‌تری از واژگان نمونه‌گیری می‌کند؛ اما ترینر همان توکن را روی کل واژگان امتیازدهی می‌کند. بنابراین، دو سمت به‌دلیل مسائلی کاملاً بی‌ارتباط با کرنل‌ها، احتمالات متفاوتی به دست می‌آورند.

با تمام کردن این بخش، می‌توانید بازپخش نمونه‌گیری (sampling replay) را فعال کنید و ببینید که چطور این شکاف را کاهش می‌دهد.

نتیجه‌ی کار ما: بازپخشِ top-p و top-k روی یک سید (seed)، میانه‌ی شکاف را از 0.0153 به 0.0135 رساند؛ یعنی 11.5 درصد کاهش.

چرا عدد خروجی موتور بزرگ‌تر است

روش top-p کوچک‌ترین مجموعه‌ای از توکن‌ها را نگه می‌دارد که مجموع احتمالاتشان دست‌کم به مقدار top-p برسد. سپس موتور احتمالاتِ نگه‌داشته‌شده را مقیاس‌بندی (scale) می‌کند تا جمع آن‌ها دوباره برابر با 1 شود. فرض کنید دو سمت، قبل از اعمال این برش، امتیازهای یکسانی حساب کنند. برای هر توکنِ نگه‌داشته‌شده، لگاریتم احتمال در موتور به‌اندازه‌ی «منهای لگاریتم جرم احتمالِ نگه‌داشته‌شده» از امتیاز محاسبه‌شده روی کل واژگان بیشتر خواهد بود. اگر توکن‌های نگه‌داشته‌شده 0.9 از جرم احتمال را در بر بگیرند، این اختلاف حدود 0.105 است. روش top-k هم مجموعه را دقیقاً به همین شیوه برش می‌زند و شکاف ناشی از کرنل‌ها نیز روی همین اختلاف سوار می‌شود.

این تفاوت نویز تصادفی نیست؛ مقدار آن برای هر توکن فرق دارد و همیشه نسبتِ میان ترینر و موتور را در یک جهت تغییر می‌دهد (push می‌کند). در گزارش مشکلی در سال 2026 برای یکی از کتابخانه‌های یادگیری تقویتی (RL)، به همین سوگیری در نسبت نمونه‌گیری اهمیتی (importance-sampling ratio) اشاره شده است. بازپخش نمونه‌گیری این اثر را از بین می‌برد؛ چون در این حالت، ترینر هم دقیقاً روی همان مجموعه‌ی نگه‌داشته‌شده امتیازدهی می‌کند.

ما در تاریخ 2026-10-23 درستی این فرمول را خارج از Miles و روی یک پردازنده‌ی گرافیکی L4 بررسی کردیم. برای این کار از مدل Qwen/Qwen3-0.6B با دقت BF16، تعداد 16 پرامپت 48 توکنی، دمای (temperature) 1 و top-p برابر با 0.9 استفاده کردیم. مبنای مرجع، یک دور اجرای Transformers با دقت float32 روی کل واژگان بود. این پردازنده‌ی گرافیکی اشتراکی بود و کلاک کاری ثابتی (clock lock) نداشت، اما این موضوع تغییری در این مقادیر ایجاد نمی‌کند.

احتمال لگاریتمی بازگشتی منهای مرجع کل دایره واژگان capture/gpu/out-l4/logprobs-top-p.txt
engine and mode                                  returned minus reference, median   median absolute
vLLM --logprobs-mode raw_logprobs                0.0000                             0.005
vLLM --logprobs-mode processed_logprobs          +0.0527
SGLang return_logprob, ORIGINAL_LOGPROB=0        0.0000                             0.0066

سه سطر از خلاصه. سطر دوم SGLang، با تنظیم متغیر روی 1، همان مقدار را به دست داد.

  • ابزار vLLM می‌تواند با آرگومان --logprobs-mode processed_logprobs مقدار پس از اعمال top-p را برگرداند. این مقدار با خطای باقی‌مانده‌ی 8e-9، به‌اندازه‌ی منهای لگاریتمِ جرم نگه‌داشته‌شده از مقدار مرجع بیشتر بود. این نتیجه دقیقاً با فرمول بالا همخوانی دارد.
  • در top-p برابر با 0.9، میانه‌ی این جابه‌جایی حدود 0.053 بود و برای بیشترِ توکن‌های نمونه‌گیری‌شده، جرم نگه‌داشته‌شده به 0.99 نمی‌رسید.
  • نسخه‌ی SGLang 0.5.22 مقدار قبل از top-p را برمی‌گرداند. تغییر تنظیمات SGLANG_RETURN_ORIGINAL_LOGPROB در دمای 1 تغییری در آن ایجاد نکرد. ایمیج Miles ما نسخه‌ی آزمایشیِ در حال توسعه‌ی همین برنامه را اجرا می‌کند و ما این تست را روی آن تکرار نکردیم.

بنابراین، اندازه‌ی این شکاف به این بستگی دارد که موتور چه مقداری را برمی‌گرداند. پیش از مقایسه‌ی شکاف، این موضوع را در نسخه‌ی موتور خود بررسی کنید.

فعال‌سازی

تنظیمات نمونه‌گیر (sampler) را با متغیر MILES_EXTRA_ARGS به دستور اجرای بخش 1.1 اضافه کنید:

-e MILES_EXTRA_ARGS="--rollout-top-p 0.95 --rollout-top-k 64"

اگر مقدار --rollout-top-p کمتر از 1 یا --rollout-top-k بیشتر از 0 باشد، Miles بازپخش نمونه‌گیری را خودکار فعال می‌کند. در این حالت، موتور مجموعه‌ای از توکن‌ها را تحویل می‌دهد که در هر گام امکان نمونه‌گیری از آن‌ها وجود داشته است. سپس ترینر هر توکن را فقط روی همان مجموعه امتیازدهی می‌کند.

هر زمان top-p را کمتر از 1 گذاشتید، حتماً top-k را روی عددی مثبت تنظیم کنید؛ چون Miles برای بازپخش به هر دوی آن‌ها نیاز دارد. اگر بازپخش هم‌زمان با تابع زیان (loss) مربوط به KL یا تقطیر دانش (distillation) هم‌سیاست فعال شود، Miles اجرا نخواهد شد. این ابزار همچنین اجازه‌ی بازپخش هم‌زمان با --recompute-logprobs-via-prefill را نمی‌دهد.

بررسی شکاف

در هر گام، مقدار train/train_rollout_logprob_abs_diff را بررسی کنید. این معیار میانگین قدرمطلق اختلاف بین لگاریتم احتمال‌های ترینر و موتور را نشان می‌دهد.

تنظیمات موتور در دو اجرا capture/gpu/out-gb10/engine-settings.txt
run                    attention_backend  enable_deterministic_inference  sampling_backend  --rollout-top-p  --rollout-top-k
e6a-base               flashinfer         False                           flashinfer        not set          not set
e11-topp-topk          flashinfer         False                           flashinfer        0.95             64

هر دو اجرا از بک‌اند اتنشن و نمونه‌گیر یکسانی استفاده کردند. تنها فلگ‌های top-p و top-k تفاوت دارند.

اجرا، 12 گام، سید 1 میانه‌ی شکاف کمترین و بیشترین گام میانه‌ی پاداش
بدون top-p یا top-k 0.0153 0.0150 تا 0.0159 0.66
با top-p برابر 0.95 و top-k برابر 64 0.0135 0.0128 تا 0.0141 0.68

اندازه‌گیری ما نشان داد که با بازپخش، شکاف 11.5 درصد کمتر می‌شود. هیچ گامی از اجرای دارای بازپخش، به کمترین گام اجرای بدون آن نرسید. پاداش هم در همان محدوده باقی ماند.

این نتیجه مربوط به یک سید در 12 گام روی مدل Qwen3-0.6B است. از آنجا که بازه‌ی مقادیر گام‌ها هیچ همپوشانی (overlap) با هم نداشتند، ما جهت تغییرات را گزارش می‌کنیم. پیش از اینکه اندازه‌ی دقیق آن را برای مدل خود قطعی بدانید، حتماً با یک سید دوم هم اجرا بگیرید.

بازپخش توکن‌های نمونه‌گیری‌شده اختلاف را کاهش می‌دهدبا بازپخش top-p و top-k، این اختلاف در تک‌تک 12 گام کمتر بود.
بازپخش توکن‌های نمونه‌گیری‌شده اختلاف را کاهش می‌دهد میانگین قدرمطلق اختلاف بین احتمالات لگاریتمی موتور و آموزش‌دهنده در هر گام، برای 12 گام با seed برابر با 1. مقدار میانه 0.0153 برای کل دایره واژگان و 0.0135 با بازپخش top-p و top-k. 0.012 0.013 0.014 0.015 0.016 0 3 6 9 11 گام اختلاف احتمال لگاریتمی، میانگین قدرمطلق اختلاف کل دایره واژگان top-p 0.95، top-k 64، بازپخش‌شده میانه اختلاف از 0.0153 به 0.0135، حدود 12 درصد کمتر. یک seed.
اختلاف احتمال لگاریتمی در هر گام برای دو اجرای 12 گامی با seed برابر با 1.

مواردی که بازپخش حل نمی‌کند

بازپخش فقط بخشی از شکاف را برطرف می‌کند که ناشی از نمونه‌گیر است. بقیه‌ی اختلاف به احتمال زیاد از کرنل‌ها سرچشمه می‌گیرد؛ چون موتور و ترینر اعداد یکسانی را با ترتیبی متفاوت با هم جمع می‌زنند. بخش 4.5 نشان می‌دهد که استنتاج قطعی (deterministic) این بخش را حذف نمی‌کند. در بخش 8.3 توضیح داده‌ایم که چه چیزی این مسئله را برطرف می‌سازد.

منابع: capture/gpu/summary/miles-gb10-lab.json (بخش‌های runs.e6a-base و runs.e11-topp-topk)؛ capture/gpu/out-gb10/engine-settings.txt؛ capture/gpu/out-l4/logprobs-top-p.txt؛ مستندات و آرگومان‌های Miles sampling-support replay در کامیت main 08752a12؛ گزارش باگ شماره‌ی 6789 در TRL.