بخش 8.3 · Miles چگونه کار می‌کند

چرا حالت هم‌سیاست واقعی یک قرارداد است

Why true on-policy mode is a contract

فهرست مطالب
  1. دو برنامه یک مدل واحد را محاسبه می‌کنند
  2. استنتاج قطعی نیمه‌ی اشتباه مسئله را حل می‌کند
  3. مواردی که این قرارداد تثبیت می‌کند
  4. چرا دامنه به Hopper و Qwen3 محدود می‌شود؟
  5. این شکاف، کفِ محیط ماست

تطابق دقیق بیتی (Bit-exact) نیازمند کرنل‌های یکسان در هر دو طرف است؛ بنابراین حالت هم‌سیاست (On-policy) واقعی فقط برای مدل‌ها و پردازنده‌های گرافیکی فهرست‌شده کار می‌کند.

الگوریتم GRPO فرض می‌کند احتمالی که موتور استنتاج به یک توکن اختصاص داده، دقیقاً همان احتمالی است که بخش آموزش (Trainer) برای آن محاسبه می‌کند. در تمام اجراهای بی‌نقص Qwen3-0.6B روی GB10 ما، این دو بخش به‌طور میانگین بین 0.013 تا 0.016 به‌ازای هر توکن با هم اختلاف داشتند. در این صفحه بررسی می‌کنیم این شکاف از کجا می‌آید و چرا بستن آن به یک قرارداد نیاز دارد، نه یک فلگ ساده.

پس از پایان این بخش، می‌توانید توضیح دهید که چرا حالت هم‌سیاست واقعی تنها مدل‌ها و پردازنده‌های گرافیکی خاصی را پوشش می‌دهد.

دو برنامه یک مدل واحد را محاسبه می‌کنند

موتور استنتاج و ترینر پس از هر به‌روزرسانی وزن‌های یکسانی دارند؛ با این حال، دو برنامه‌ی کاملاً متفاوت را اجرا می‌کنند. موتور استنتاج برای سرعت بالا ساخته شده است: درخواست‌های زیادی را در قالب دسته (Batch) پردازش می‌کند، کرنل‌ها را بر اساس اندازه‌ی دسته انتخاب می‌کند و عملیات را با هم ادغام (Fuse) می‌نماید. در مقابل، ترینر برای محاسبه‌ی گرادیان‌ها طراحی شده است: از کرنل اتنشن متفاوتی استفاده می‌کند و ترتیب اجرای عملیات در آن فرق دارد.

جمع اعداد ممیز شناور (Floating-point) در صورت تغییر ترتیب، نتایج متفاوتی تولید می‌کند. جمع جبری یک زنجیره‌ی طولانی از اعداد، اگر با دو ترتیب مختلف انجام شود، می‌تواند در بیت‌های آخر تفاوت داشته باشد. در طول 28 لایه و مجموعه‌ای از واژگان (Vocabulary) شامل 151,936 توکن، این تفاوت‌های بیتی انباشته می‌شوند. برآورد ما این است که شکاف اندازه‌گیری‌شده حاصل همین پدیده است.

بنابراین، این شکاف باگ هیچ‌کدام از دو بخش نیست؛ بلکه هزینه‌ی دو برنامه‌ی مجزاست که هر کدام وظیفه‌ی خود را به بهترین نحو انجام می‌دهند.

استنتاج قطعی نیمه‌ی اشتباه مسئله را حل می‌کند

استنتاج قطعی (Deterministic inference) کاری می‌کند که موتور استنتاج برای یک درخواست مشخص، صرف‌نظر از دسته‌ای که درخواست همراه آن پردازش می‌شود، نتیجه‌ی یکسانی بازگرداند. این کار باعث تکرارپذیری رفتار موتور استنتاج می‌شود؛ اما محاسبات آن را شبیه ترینر نمی‌کند.

اجراهای ما این موضوع را مستقیماً نشان می‌دهند. با فعال بودن استنتاج قطعی، دو اجرای مختلف در گام 0 تا شش رقم اعشار شکاف کاملاً یکسانی داشتند و این شکاف روی مقدار 0.015 باقی ماند. اعداد و ارقام دقیق را در بخش 4.5 ببینید.

دو راه‌حل برای دو نیمه‌ی متفاوتاستنتاج قطعی نیمه‌ی مربوط به موتور را اصلاح می‌کند، و تنها قرارداد واقعی هم‌سیاست هر دو نیمه را یکسان می‌سازد.
دو راه‌حل برای دو نیمه‌ی متفاوت آموزش‌دهنده و موتور، مدل یکسانی را با کرنل‌های متفاوتی محاسبه می‌کنند؛ بنابراین احتمال‌های لگاریتمی آن‌ها با یکدیگر تفاوت دارد. استنتاج قطعی فقط نیمه‌ی موتور را اصلاح می‌کند: ورودی یکسان، خروجی یکسانی را برای هر دسته‌ای می‌دهد. حالت واقعاً هم‌سیاست با اجرای کرنل‌های یکسان در هر دو سمت، خودِ این شکاف را برطرف می‌کند؛ که تنها در صورت برقراری شروط قراردادش کار می‌کند: FlashAttention 3 روی GPUهای Hopper با قابلیت محاسباتی 9.0 و مدل‌های متراکم Qwen3. آموزش‌دهنده، FSDP کرنل اتنشن اختصاصی خودش ترتیب matmul و sum اختصاصی خودش موتور، SGLang بک‌اند اتنشن اختصاصی خودش تغییر ترتیب جمع با دسته شکاف حدود 0.015 استنتاج قطعی تکرارپذیری موتور در هر دسته‌ای شکاف در اجراهای ما حدود 0.015 می‌ماند قرارداد واقعی هم‌سیاست کرنل‌های یکسان در هر دو سمت شکاف در صورت برقراری قرارداد به صفر می‌رسد آنچه قرارداد در شاخه اصلی Miles تثبیت می‌کند فقط FlashAttention 3 در هر دو سمت، پردازنده‌های گرافیکی Hopper فقط مدل‌های متراکم Qwen3 یک GB10 دارای compute capability 12.1 است، پس قرارداد روی آن آغاز نمی‌شود.
بخش آموزش‌دهنده در سمت چپ و موتور در سمت راست قرار دارد.

مواردی که این قرارداد تثبیت می‌کند

برای رسیدن به شکاف دقیقاً صفر، هر دو طرف باید عملیات حسابی یکسانی را با ترتیب کاملاً یکسان اجرا کنند. قراردادی که در Miles تعریف شده، این موارد را برای یک خانواده از مدل‌ها تثبیت می‌کند:

  • کرنل اتنشن یکسان در هر دو طرف: FlashAttention 3.
  • عملیاتی که در هر اندازه‌ی دسته‌ای، نتیجه‌ی یکسانی بدهند.
  • محاسبه‌ی لگاریتم احتمالات (Log probabilities) دقیقاً به همان روشی که موتور، مرحله‌ی پیش‌پرکنی (Prefill) خود را پردازش می‌کند.
  • یک پروفایل اختصاصی برای هر مدل؛ زیرا لایه‌های هر مدل که باید تطبیق داده شوند ساختار خودشان را دارند.

هر کدام از این موارد، یکی از عوامل ایجاد ترتیب متفاوت در محاسبات را حذف می‌کند. در کنار هم، این موارد باعث تطابق دقیق بیتی میان دو برنامه می‌شوند.

چرا دامنه به Hopper و Qwen3 محدود می‌شود؟

هر مورد تثبیت‌شده، قطعه‌کدی است که صحت عملکرد آن روی سخت‌افزار مشخصی ارزیابی و تأیید شده است. کرنل FlashAttention 3 مختص پردازنده‌های گرافیکی سری Hopper ساخته شده است. عملیات پایا نسبت به دسته (Batch-invariant) و پروفایل مدل نیز برای مدل‌های متراکم (Dense) مجموعه‌ی Qwen3 ارزیابی شده‌اند. برای پشتیبانی از هر پردازنده‌ی گرافیکی جدید یا مدل تازه، باید کرنل‌های اختصاصی آن‌ها نوشته شود و با همین رویکرد بررسی گردد.

به همین دلیل ما آن را یک قرارداد می‌نامیم و نه صرفاً یک تنظیم (Setting). یک تنظیم از کد می‌خواهد که «تلاش خود را بکند»؛ اما یک قرارداد مواردی را فهرست می‌کند که کد در آن‌ها اثبات شده است و از اجرای باقی سناریوها سر باز می‌زند.

این شکاف، کفِ محیط ماست

شکاف حدوداً 0.015 ثبت‌شده، کفِ ممکن در ستاپ ماست. مشخصات این ستاپ عبارت است از: دقت BF16 در هر دو سمت، استفاده از کرنل‌های SGLang در موتور استنتاج و کرنل‌های FSDP در ترینر. این یک قانون لایتغیر در RL نیست؛ ستاپ‌های دیگر این رقم را جابه‌جا می‌کنند. تغییرات زیر برگرفته از مقالات منتشرشده هستند که ما فقط مورد اول را در مقیاسی کوچک بررسی کرده‌ایم:

  • دقت (Precision): یک مطالعه در سال 2025 با اجرای ترینر و موتور استنتاج در دقت FP16 گزارش داد که این شکاف تقریباً ناپدید می‌شود. دقت FP16 بیت‌های بیشتری از هر عدد را نسبت به BF16 حفظ می‌کند؛ بنابراین هر بار گرد کردن کوچک‌تر خواهد بود.
  • اندازه‌ی موازی‌سازی تنسور (Tensor parallel size): مقاله‌ای در سال 2025 نشان داد موتوری که بین چند پردازنده‌ی گرافیکی تقسیم شده، اعداد را با ترتیبی متفاوت از یک ترینر مستقر روی یک پردازنده جمع می‌زند. این اختلاف حتی در صورت استفاده از کرنل‌های پایا نسبت به اندازه دسته هم باقی می‌ماند؛ بنابراین اندازه‌ی موازی‌سازی تنسور در موتور استنتاج، خود یک منبع مستقل است.
  • کرنل‌های بیتی (Bitwise kernels): در ادامه‌ی همان مقاله، با استفاده از کرنل‌هایی که عملیات جمع را با یک ترتیب درختی ثابت انجام می‌دهند، موتور استنتاج vLLM و ترینر FSDP به تطابق دقیق بیتی رسیدند. در آزمایش آن‌ها روی Qwen3-8B، زمان استنتاج بین 22 تا 63 درصد افزایش یافت.

ما ادعای مربوط به دقت را خارج از Miles و روی دومین پردازنده‌ی گرافیکی از نود L4 خود در تاریخ 23-10-2026 ارزیابی کردیم. کتابخانه‌ی SGLang نسخه‌ی 0.5.22 مدل Qwen/Qwen3-0.6B را در دو دقت BF16 و FP16 سرو کرد. این ستاپ برای هر یک از 32 پرامپت ارائه‌شده تا 64 توکن با مقدار top-p برابر با 1 نمونه‌گیری کرد؛ بنابراین هیچ ماسک نمونه‌گیری اعمال نشد. این مقایسه روی 1,961 توکن نمونه‌گیری‌شده از 32 پرامپت انجام گرفت، چرا که 3 پاسخ پیش از رسیدن به 64 توکن با توکن پایان به پایان رسیدند. یک گذر رو به جلو (Forward pass) از Transformers روی همان توکن‌ها نقش ترینر را ایفا کرد.

میانه شکاف مطلق احتمال لگاریتمی بر هر توکن، موتور در برابر آموزش‌دهنده capture/gpu/out-l4/logprob-gap-by-dtype.txt
engine   trainer   median    p90      mean     max
BF16     BF16      0.0073    0.087    0.027    0.355
BF16     FP16      0.0079    0.053    0.019    0.279
BF16     FP32      0.0076    0.053    0.019    0.280
FP16     BF16      0.0085    0.061    0.021    0.265
FP16     FP16      0.00094   0.010    0.0032   0.033
FP16     FP32      0.0010    0.0068   0.0024   0.023

جدول کامل. ابتدا dtype موتور می‌آید، سپس dtype آموزش‌دهنده.

  • استفاده از FP16 در هر دو سمت، میانه‌ی شکاف را در مقایسه با حالت BF16 در هر دو سمت حدود 7.8 برابر کاهش داد. بدترین توکن از 0.355 به 0.033 رسید.
  • به‌کارگیری FP16 فقط در یکی از دو سمت کمکی نکرد؛ شکاف روی مقادیر 0.0079 و 0.0085 باقی ماند.
  • موتور با دقت BF16 حتی در برابر ترینر FP32 نیز شکافی در حدود 0.0076 ثبت کرد؛ بنابراین خطای گرد کردن خودِ موتور، این کف را تعیین می‌کند.

این نتیجه با وجود محدودیت‌ها از مطالعه‌ی مذکور پشتیبانی می‌کند: این بررسی صرفاً روی یک مدل 0.6B انجام شده، شکاف لگاریتم احتمال را می‌سنجد نه کل فرایند یک اجرای آموزشی را، و از ایمیج بیلد اصلی Miles نیز استفاده نکرده است. پردازنده‌ی گرافیکی به‌صورت اشتراکی استفاده می‌شد و قفل فرکانس (Clock lock) نداشت که البته تغییری در این مقادیر ایجاد نمی‌کند.

سایر تیم‌ها نیز شکاف‌های گزارش‌شده در اجراهای سالم خود را منتشر می‌کنند. از این اعداد به‌عنوان معیاری برای ابعاد یک شکاف عملیاتی استفاده کنید، نه هدفی برای اجرای خودتان:

ستاپ، طبق گزارش شکاف به‌ازای هر توکن
Qwen3-4B روی A100، فریم‌ورک RL تیم vLLM حدود 0.011
Qwen3-30B-A3B MoE روی GB200، همان فریم‌ورک حدود 0.018
GLM-4.5-Air روی GB200، همان فریم‌ورک 0.02 تا 0.03
DeepSeek-V4.1 با BF16 روی GB300، با Miles 0.019 تا 0.023
GLM-5.3-Flash روی GB300، با Miles و بازپخش مسیریابی 0.0068 تا 0.0106، بخش 3.4 را ببینید

دیدگاه ما: روی پردازنده‌ای گرافیکی که خارج از قرارداد پشتیبانی‌شده است، ابتدا ببینید آیا این شکاف اصلاً برای اجرای شما اهمیتی دارد یا خیر. اگر اهمیت دارد، دقت، اندازه‌ی موازی‌سازی تنسور و کرنل‌های بیتی اهرم‌های شما هستند که هر کدام هزینه‌ای از نظر سرعت یا کار به همراه دارند. اگر اهمیت ندارد، شکاف را در گام 0 اندازه‌گیری کنید و آن را در محدوده‌ی اجراهای سالم خود نگه دارید؛ سپس بخشی را که نمونه‌گیر (Sampler) اضافه می‌کند کنار بگذارید.

منابع: قرارداد حالت هم‌سیاست واقعی در Miles، پروفایل‌های مدل و مستندات در نسخه‌ی main 08752a12؛ فایل capture/gpu/summary/miles-gb10-lab.json (اجراهای runs.e6a-base ،runs.e6b-det-triton ،runs.e6c-det-flashinfer و runs.e6d-det-triton-repeat)؛ پیکربندی مدل Qwen3-0.6B؛ فایل capture/gpu/out-l4/logprob-gap-by-dtype.txt؛ مقاله‌ی Defeating the Training-Inference Mismatch via FP16، آرکایو 2510.26788؛ مقاله‌ی Deterministic Inference across Tensor Parallel Sizes، آرکایو 2511.17826؛ اطلاعیه‌ی vime، وبلاگ vLLM به تاریخ 09-06-2026؛ پول‌ریکوئست 42408 در SGLang؛ مستندات مدل GLM-5.3-Flash در Miles.

ترجمه‌ی فارسی Why true on-policy mode is a contract از راهنمای Miles 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما