بخش 4.6 · سرعت و پایداری

بررسی پشتیبانی GPU از حالت هم‌سیاست واقعی

Check if your GPU can run true on-policy mode

فهرست مطالب
  1. بررسی قرارداد پیش از شروع کار
  2. رفتار سیستم روی سایر GPUها
  3. راه‌حل جایگزین

حالت هم‌سیاست واقعی (True on-policy mode) خروجی ترینر (trainer) و موتور (engine) را بیت‌به‌بیت یکسان می‌کند، اما فقط برای مدل‌ها و پردازنده‌های گرافیکی مشخص‌شده در قرارداد آن.

حالت هم‌سیاست واقعی قولِ اختلاف دقیقاً 0 را بین ترینر و موتور می‌دهد. این حالت روی GB10 ما اجرا نشد و فرایند اجرا هم اصلاً این موضوع را به ما اعلام نکرد.

پس از پایان این بخش، می‌توانید پیش از برنامه‌ریزی برای اجرای حالت هم‌سیاست واقعی، سازگاری GPU و مدل خود را بررسی کنید.

بررسی قرارداد پیش از شروع کار

نسخه‌هایی از Miles که بررسی کردیم، یک قرارداد برای حالت هم‌سیاست واقعی دارند. این قرارداد مدل‌های متراکم (dense) سری Qwen3 را پوشش می‌دهد: مدل Qwen3-0.6B و سه نسخه از Qwen3-4B. هر دو بخش باید FlashAttention 3 را اجرا کنند: موتور به‌عنوان بک‌اند اتنشن (attention)، و ترینر به‌عنوان پیاده‌سازی اتنشن.

کتابخانه‌ی FlashAttention 3 مخصوص پردازنده‌های گرافیکی Hopper طراحی شده است. بررسی‌های موتور، قابلیت محاسباتی (compute capability) بین 8.0 تا 9.0 را می‌پذیرد و GPUهای جدیدتر را رد می‌کند. بنابراین پیش از برنامه‌ریزی برای اجرا، دو چیز را بررسی کنید:

  1. پردازنده‌ی گرافیکی شما یک GPU هاپر باشد؛ مانند H100 یا H200.
  2. مدل شما در این قرارداد آمده باشد.

اگر پاسخ هرکدام از این دو مورد منفی باشد، حالت هم‌سیاست واقعی اجرا نمی‌شود.

رفتار سیستم روی سایر GPUها

پردازنده‌ی GB10 ما یک GPU از معماری بلک‌ول (Blackwell) با قابلیت محاسباتی 12.1 است. در این حالت، موتور حین راه‌اندازی متوقف شد:

عدم پشتیبانی FlashAttention 3 از GB10 capture/gpu/out-gb10/engine-died-503.log
[2026-10-17 21:03:03] Enable deterministic inference because of legacy rl_on_policy_target.
AssertionError: FlashAttention v3 Backend requires SM>=80 and SM<=90. Please use `--attention-backend flashinfer`.

سطرهای اول موتور اجرای هم‌سیاست واقعی.

اما ترینر به کارش ادامه داد و به‌مدت یک ساعت مدام به موتور ازکارافتاده درخواست فرستاد. بخش 1.2 این اتفاق و سازوکار ناظر (watchdog) را برای جلوگیری از آن نشان می‌دهد.

متن خطا FlashInfer را پیشنهاد می‌کند. اگر قصد اجرای حالت هم‌سیاست واقعی را دارید به این توصیه عمل نکنید؛ چون قرارداد در هر دو سمت، FlashAttention 3 را مشخص کرده است. با FlashInfer یک اجرای عادی خواهید داشت، نه اجرایی کاملاً یکسان و بیت‌به‌بیت.

راه‌حل جایگزین

اگر شرایط شما در قرارداد نمی‌گنجد، حواستان به این اختلاف باشد و هر جا توانستید مقدارش را کم کنید:

  • بخش 4.4 آن بخش از اختلاف را که حاصل از نمونه‌برداری top-p و نمونه‌برداری Top-k است کاهش می‌دهد.
  • بخش 4.5 کاری می‌کند موتور استنتاج قطعی (deterministic) داشته باشد و نتایج قبلی را تکرار کند، که برای بازتولید آزمایش‌ها به کمکتان می‌آید.
  • بخش 5.2 بررسی می‌کند که اختلاف در گام 0 در محدوده‌ای طبیعی و سالم باشد.

روی GB10 ما، در تک‌تک گام‌های تمام اجراهای کامل‌شده‌ی Qwen3-0.6B (بدون top-p یا top-k)، اختلاف بین 0.0136 تا 0.0164 بود. این بازه، معیاری است که در این پیکربندی باید نتایجتان را با آن مقایسه کنید.

منابع: capture/gpu/out-gb10/engine-died-503.log؛ capture/gpu/summary/miles-gb10-lab.json (مقدار logprob_abs_diff به ازای هر اجرا)؛ قرارداد حالت هم‌سیاست واقعی Miles و پروفایل‌های مدل در نسخه‌ی 08752a12 شاخه‌ی main.

ترجمه‌ی فارسی Check if your GPU can run true on-policy mode از راهنمای Miles 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما