تطابق دقیق بیتی (Bit-exact) نیازمند کرنلهای یکسان در هر دو طرف است؛ بنابراین حالت همسیاست (On-policy) واقعی فقط برای مدلها و پردازندههای گرافیکی فهرستشده کار میکند.
الگوریتم GRPO فرض میکند احتمالی که موتور استنتاج به یک توکن اختصاص داده، دقیقاً همان احتمالی است که بخش آموزش (Trainer) برای آن محاسبه میکند. در تمام اجراهای بینقص Qwen3-0.6B روی GB10 ما، این دو بخش بهطور میانگین بین 0.013 تا 0.016 بهازای هر توکن با هم اختلاف داشتند. در این صفحه بررسی میکنیم این شکاف از کجا میآید و چرا بستن آن به یک قرارداد نیاز دارد، نه یک فلگ ساده.
پس از پایان این بخش، میتوانید توضیح دهید که چرا حالت همسیاست واقعی تنها مدلها و پردازندههای گرافیکی خاصی را پوشش میدهد.
دو برنامه یک مدل واحد را محاسبه میکنند
موتور استنتاج و ترینر پس از هر بهروزرسانی وزنهای یکسانی دارند؛ با این حال، دو برنامهی کاملاً متفاوت را اجرا میکنند. موتور استنتاج برای سرعت بالا ساخته شده است: درخواستهای زیادی را در قالب دسته (Batch) پردازش میکند، کرنلها را بر اساس اندازهی دسته انتخاب میکند و عملیات را با هم ادغام (Fuse) مینماید. در مقابل، ترینر برای محاسبهی گرادیانها طراحی شده است: از کرنل اتنشن متفاوتی استفاده میکند و ترتیب اجرای عملیات در آن فرق دارد.
جمع اعداد ممیز شناور (Floating-point) در صورت تغییر ترتیب، نتایج متفاوتی تولید میکند. جمع جبری یک زنجیرهی طولانی از اعداد، اگر با دو ترتیب مختلف انجام شود، میتواند در بیتهای آخر تفاوت داشته باشد. در طول 28 لایه و مجموعهای از واژگان (Vocabulary) شامل 151,936 توکن، این تفاوتهای بیتی انباشته میشوند. برآورد ما این است که شکاف اندازهگیریشده حاصل همین پدیده است.
بنابراین، این شکاف باگ هیچکدام از دو بخش نیست؛ بلکه هزینهی دو برنامهی مجزاست که هر کدام وظیفهی خود را به بهترین نحو انجام میدهند.
استنتاج قطعی نیمهی اشتباه مسئله را حل میکند
استنتاج قطعی (Deterministic inference) کاری میکند که موتور استنتاج برای یک درخواست مشخص، صرفنظر از دستهای که درخواست همراه آن پردازش میشود، نتیجهی یکسانی بازگرداند. این کار باعث تکرارپذیری رفتار موتور استنتاج میشود؛ اما محاسبات آن را شبیه ترینر نمیکند.
اجراهای ما این موضوع را مستقیماً نشان میدهند. با فعال بودن استنتاج قطعی، دو اجرای مختلف در گام 0 تا شش رقم اعشار شکاف کاملاً یکسانی داشتند و این شکاف روی مقدار 0.015 باقی ماند. اعداد و ارقام دقیق را در بخش 4.5 ببینید.
مواردی که این قرارداد تثبیت میکند
برای رسیدن به شکاف دقیقاً صفر، هر دو طرف باید عملیات حسابی یکسانی را با ترتیب کاملاً یکسان اجرا کنند. قراردادی که در Miles تعریف شده، این موارد را برای یک خانواده از مدلها تثبیت میکند:
- کرنل اتنشن یکسان در هر دو طرف: FlashAttention 3.
- عملیاتی که در هر اندازهی دستهای، نتیجهی یکسانی بدهند.
- محاسبهی لگاریتم احتمالات (Log probabilities) دقیقاً به همان روشی که موتور، مرحلهی پیشپرکنی (Prefill) خود را پردازش میکند.
- یک پروفایل اختصاصی برای هر مدل؛ زیرا لایههای هر مدل که باید تطبیق داده شوند ساختار خودشان را دارند.
هر کدام از این موارد، یکی از عوامل ایجاد ترتیب متفاوت در محاسبات را حذف میکند. در کنار هم، این موارد باعث تطابق دقیق بیتی میان دو برنامه میشوند.
چرا دامنه به Hopper و Qwen3 محدود میشود؟
هر مورد تثبیتشده، قطعهکدی است که صحت عملکرد آن روی سختافزار مشخصی ارزیابی و تأیید شده است. کرنل FlashAttention 3 مختص پردازندههای گرافیکی سری Hopper ساخته شده است. عملیات پایا نسبت به دسته (Batch-invariant) و پروفایل مدل نیز برای مدلهای متراکم (Dense) مجموعهی Qwen3 ارزیابی شدهاند. برای پشتیبانی از هر پردازندهی گرافیکی جدید یا مدل تازه، باید کرنلهای اختصاصی آنها نوشته شود و با همین رویکرد بررسی گردد.
به همین دلیل ما آن را یک قرارداد مینامیم و نه صرفاً یک تنظیم (Setting). یک تنظیم از کد میخواهد که «تلاش خود را بکند»؛ اما یک قرارداد مواردی را فهرست میکند که کد در آنها اثبات شده است و از اجرای باقی سناریوها سر باز میزند.
این شکاف، کفِ محیط ماست
شکاف حدوداً 0.015 ثبتشده، کفِ ممکن در ستاپ ماست. مشخصات این ستاپ عبارت است از: دقت BF16 در هر دو سمت، استفاده از کرنلهای SGLang در موتور استنتاج و کرنلهای FSDP در ترینر. این یک قانون لایتغیر در RL نیست؛ ستاپهای دیگر این رقم را جابهجا میکنند. تغییرات زیر برگرفته از مقالات منتشرشده هستند که ما فقط مورد اول را در مقیاسی کوچک بررسی کردهایم:
- دقت (Precision): یک مطالعه در سال 2025 با اجرای ترینر و موتور استنتاج در دقت FP16 گزارش داد که این شکاف تقریباً ناپدید میشود. دقت FP16 بیتهای بیشتری از هر عدد را نسبت به BF16 حفظ میکند؛ بنابراین هر بار گرد کردن کوچکتر خواهد بود.
- اندازهی موازیسازی تنسور (Tensor parallel size): مقالهای در سال 2025 نشان داد موتوری که بین چند پردازندهی گرافیکی تقسیم شده، اعداد را با ترتیبی متفاوت از یک ترینر مستقر روی یک پردازنده جمع میزند. این اختلاف حتی در صورت استفاده از کرنلهای پایا نسبت به اندازه دسته هم باقی میماند؛ بنابراین اندازهی موازیسازی تنسور در موتور استنتاج، خود یک منبع مستقل است.
- کرنلهای بیتی (Bitwise kernels): در ادامهی همان مقاله، با استفاده از کرنلهایی که عملیات جمع را با یک ترتیب درختی ثابت انجام میدهند، موتور استنتاج vLLM و ترینر FSDP به تطابق دقیق بیتی رسیدند. در آزمایش آنها روی Qwen3-8B، زمان استنتاج بین 22 تا 63 درصد افزایش یافت.
ما ادعای مربوط به دقت را خارج از Miles و روی دومین پردازندهی گرافیکی از نود L4 خود در تاریخ 23-10-2026 ارزیابی کردیم. کتابخانهی SGLang نسخهی 0.5.22 مدل Qwen/Qwen3-0.6B را در دو دقت BF16 و FP16 سرو کرد. این ستاپ برای هر یک از 32 پرامپت ارائهشده تا 64 توکن با مقدار top-p برابر با 1 نمونهگیری کرد؛ بنابراین هیچ ماسک نمونهگیری اعمال نشد. این مقایسه روی 1,961 توکن نمونهگیریشده از 32 پرامپت انجام گرفت، چرا که 3 پاسخ پیش از رسیدن به 64 توکن با توکن پایان به پایان رسیدند. یک گذر رو به جلو (Forward pass) از Transformers روی همان توکنها نقش ترینر را ایفا کرد.
engine trainer median p90 mean max
BF16 BF16 0.0073 0.087 0.027 0.355
BF16 FP16 0.0079 0.053 0.019 0.279
BF16 FP32 0.0076 0.053 0.019 0.280
FP16 BF16 0.0085 0.061 0.021 0.265
FP16 FP16 0.00094 0.010 0.0032 0.033
FP16 FP32 0.0010 0.0068 0.0024 0.023جدول کامل. ابتدا dtype موتور میآید، سپس dtype آموزشدهنده.
- استفاده از FP16 در هر دو سمت، میانهی شکاف را در مقایسه با حالت BF16 در هر دو سمت حدود 7.8 برابر کاهش داد. بدترین توکن از 0.355 به 0.033 رسید.
- بهکارگیری FP16 فقط در یکی از دو سمت کمکی نکرد؛ شکاف روی مقادیر 0.0079 و 0.0085 باقی ماند.
- موتور با دقت BF16 حتی در برابر ترینر FP32 نیز شکافی در حدود 0.0076 ثبت کرد؛ بنابراین خطای گرد کردن خودِ موتور، این کف را تعیین میکند.
این نتیجه با وجود محدودیتها از مطالعهی مذکور پشتیبانی میکند: این بررسی صرفاً روی یک مدل 0.6B انجام شده، شکاف لگاریتم احتمال را میسنجد نه کل فرایند یک اجرای آموزشی را، و از ایمیج بیلد اصلی Miles نیز استفاده نکرده است. پردازندهی گرافیکی بهصورت اشتراکی استفاده میشد و قفل فرکانس (Clock lock) نداشت که البته تغییری در این مقادیر ایجاد نمیکند.
سایر تیمها نیز شکافهای گزارششده در اجراهای سالم خود را منتشر میکنند. از این اعداد بهعنوان معیاری برای ابعاد یک شکاف عملیاتی استفاده کنید، نه هدفی برای اجرای خودتان:
| ستاپ، طبق گزارش | شکاف بهازای هر توکن |
|---|---|
| Qwen3-4B روی A100، فریمورک RL تیم vLLM | حدود 0.011 |
| Qwen3-30B-A3B MoE روی GB200، همان فریمورک | حدود 0.018 |
| GLM-4.5-Air روی GB200، همان فریمورک | 0.02 تا 0.03 |
| DeepSeek-V4.1 با BF16 روی GB300، با Miles | 0.019 تا 0.023 |
| GLM-5.3-Flash روی GB300، با Miles و بازپخش مسیریابی | 0.0068 تا 0.0106، بخش 3.4 را ببینید |
دیدگاه ما: روی پردازندهای گرافیکی که خارج از قرارداد پشتیبانیشده است، ابتدا ببینید آیا این شکاف اصلاً برای اجرای شما اهمیتی دارد یا خیر. اگر اهمیت دارد، دقت، اندازهی موازیسازی تنسور و کرنلهای بیتی اهرمهای شما هستند که هر کدام هزینهای از نظر سرعت یا کار به همراه دارند. اگر اهمیت ندارد، شکاف را در گام 0 اندازهگیری کنید و آن را در محدودهی اجراهای سالم خود نگه دارید؛ سپس بخشی را که نمونهگیر (Sampler) اضافه میکند کنار بگذارید.
منابع: قرارداد حالت همسیاست واقعی در Miles، پروفایلهای مدل و مستندات در نسخهی main 08752a12؛ فایل capture/gpu/summary/miles-gb10-lab.json (اجراهای runs.e6a-base ،runs.e6b-det-triton ،runs.e6c-det-flashinfer و runs.e6d-det-triton-repeat)؛ پیکربندی مدل Qwen3-0.6B؛ فایل capture/gpu/out-l4/logprob-gap-by-dtype.txt؛ مقالهی Defeating the Training-Inference Mismatch via FP16، آرکایو 2510.26788؛ مقالهی Deterministic Inference across Tensor Parallel Sizes، آرکایو 2511.17826؛ اطلاعیهی vime، وبلاگ vLLM به تاریخ 09-06-2026؛ پولریکوئست 42408 در SGLang؛ مستندات مدل GLM-5.3-Flash در Miles.