وضعیت
مهندسی میخواهد اختلاف لگاریتم احتمال (log probability gap) میان موتور مسیر پیشروی شبیهسازیشده (rollout engine) و ترینر (trainer) را کاهش دهد. از آنجا که موتور از بکاند اتنشن (attention) تریتون (Triton) خود استفاده میکند، او پیادهسازی اتنشن ترینر را هم روی triton تنظیم میکند؛ نامی که از یک نمونهکد کپی کرده است. فرض او این بوده که اگر نام کرنل (kernel) در هر دو سمت یکسان باشد، نتایج عددی به هم نزدیکتر میشوند.
اجرا حدود یک دقیقه پس از اولین خط لانچر به پایان میرسد. ترینر خطای ValueError میدهد و خطی از لایهی تحمل خطا میگوید که مقداردهی اولیهی ترینر شکست خورده است. او میپرسد که آیا ایمیج خراب است و باید تگ دیگری را دریافت (pull) کند؟
- نسخه
- Miles main 08752a12 with its own SGLang 0.5.22 build
- مدل
- Qwen/Qwen3-0.6B
- سختافزار
- one GB10 with 128 GB of unified memory
شواهد
manual-entry.txt
title: the troubleshooting entry for this error
source: manuals/miles-101/sections/7-1-troubleshoot-by-symptom.md
lines: 41-45
lang: text
note: Cause, check and fix in three lines.
---
## The trainer rejects the attention implementation
- **Cause:** a trainer attention name that the installed transformers library does not accept, such as `triton`.
- **Check:** a `ValueError` that lists the attention implementations transformers accepts.
- **Fix:** pick one from that list. On our GB10 we left the trainer setting at its default.
the-contract.txt
title: the true on-policy contract: the models, the kernel and the two checks
source: manuals/miles-101/sections/4-6-know-the-true-on-policy-limits.md
lines: 11-16
lang: text
note: Both sides must run the same attention kernel, and that kernel has a GPU range.
---
The Miles versions we checked have one true on-policy contract. It covers dense Qwen3 models: Qwen3-0.6B and three Qwen3-4B variants. Both sides must run FlashAttention 3: the engine as its attention backend, and the trainer as its attention implementation.
FlashAttention 3 is built for Hopper GPUs. The engine check accepts compute capability 8.0 to 9.0 and refuses newer GPUs. So check two things before you plan the run:
1. Your GPU is a Hopper GPU, such as an H100 or an H200.
2. Your model is in the contract.
the-error.txt
title: the launcher line, the trainer error and the failed init
source: manuals/sglang-101/capture/gpu/out-miles/true-on-policy-error.log
lines: 1-3
lang: text
note: Read the list of accepted names in the error, then the time between the first and the last line.
---
[2026-10-17 16:28:41.340 launcher] common.py:290 - EXEC: mkdir -p /root/lab/mode
ValueError: Specified `attn_implementation="triton"` is not supported. The only possible arguments are `attn_implementation="eager"`, `"paged|eager"`, `"attn_implementation=flash_attention_2"`, `"attn_implementation=paged|flash_attention_2"`, `"attn_implementation=flash_attention_3"`, `"attn_implementation=paged|flash_attention_3"`, `"attn_implementation=flash_attention_4"`, `"attn_implementation=paged|flash_attention_4"`, `"attn_implementation=sdpa"`, `"attn_implementation=paged|sdpa"`, `"attn_implementation=flex_attention"`.
[2026-10-17 16:29:42.606 trainer_controller_actor] cell.py:251 - ft op=execute phase=fail cell=trainer-engine-actor-00000 fn=init elapsed_s=0.7
why-the-value-was-wrong.txt
title: where the flag value came from, and the one pair that both sides accept
source: manuals/sglang-101/sections/7-2-sglang-as-an-rl-rollout-engine.md
lines: 211-213
lang: text
note: The first paragraph explains why the name reached the trainer unchanged.
---
The flag value came from the wrong example. In the FSDP actor, the SGLang Triton attention bridge turns on only when `torch.version.hip` is set, which means AMD GPUs {{code}}. On an NVIDIA GPU the value goes straight to transformers, which has no attention named `triton`.
The only true on-policy contract in Miles pairs the SGLang `fa3` backend with `flash_attention_3` in FSDP {{code}}. We ran the job again with the contract flags to see where it stops.
سؤالها
- کدام فرایند این خطا را صادر کرد و متن خطا چه فهرستی را چاپ میکند؟
- این شکست چه تفاوتی با از کار افتادن موتور مسیر پیشروی شبیهسازیشده در همان ابتدای کار دارد؟
- چرا نامی که موتور میپذیرد، برای ترینر معتبر نیست؟
- آیا روی این ماشین، جفتی از تنظیمات وجود دارد که روی هر دو سمت یک کرنل واحد اجرا کند؟
- چه تغییری اعمال میکنید و کدام خط در لاگ بعدی نشان میدهد که اجرا مشکلی ندارد؟
اول شواهد را بخوانید و به سؤالها جواب بدهید، بعد راهحل را باز کنید.
راهحل گامبهگام
- بررسی خطا. ترینر خطای
ValueError: Specified attn_implementation="triton" is not supportedرا صادر کرد و نامهای قابلقبول را چاپ نمود:eager،flash_attention_2،flash_attention_3،flash_attention_4،sdpa،flex_attentionو نسخههای صفحهبندیشدهی (paged) آنها. در خط بعدی، کنترلکنندهی ترینر بعد از 0.7 ثانیه وضعیتphase=failرا برایfn=initگزارش میدهد. ترینر اصلاً بالا نیامد و کار (job) هم همین را اعلام کرد و متوقف شد. فاصلهی خط لانچر تا خط شکست فقط یک دقیقه است؛ در حالی که اگر موتور مسیر پیشروی شبیهسازیشده متوقف شود، کار تا یک ساعت با خطاهای HTTP 503 معطل میماند. - تطبیق با دفترچهی راهنما. صفحهی عیبیابی دقیقاً همین علامت را دارد: نام اتنشنی در ترینر تنظیم شده که کتابخانهی transformers نصبشده آن را نمیپذیرد، مثل
triton. بخش بررسی، خطایValueErrorاست که پیادهسازیهای مجاز را فهرست میکند و راهحل این است که یکی از موارد همان فهرست را انتخاب کنید. در اجراهای دفترچهی راهنما، تنظیمات ترینر روی همان حالت پیشفرض مانده بود. - بررسی منشأ نام. موتور و ترینر دو فهرست جداگانه دارند. در اکتور FSDP، رابط متصل به اتنشن تریتونِ موتور فقط زمانی فعال میشود که بیلد موردنظر، پردازندهی گرافیکی AMD را گزارش کند. روی پردازندهی گرافیکی NVIDIA، این مقدار مستقیماً به کتابخانهی transformers تحویل داده میشود؛ کتابخانهای که هیچ اتنشنی به نام
tritonندارد. نمونهکدی که مهندس برداشته بود، برای نوع دیگری از پردازندهی گرافیکی نوشته شده بود. - بررسی قرارداد. ابزار Miles فقط یک حالت جفتسازی دارد که در آن هر دو سمت یک کرنل واحد را اجرا میکنند: موتور روی بکاند
fa3و ترینر رویflash_attention_3، آن هم فقط برای مدلهای متراکم (dense) سری Qwen3 که در قرارداد آمدهاند؛ این کرنل تنها پردازندههای گرافیکی با قابلیت محاسباتی (compute capability) بین 8.0 تا 9.0 را پشتیبانی میکند. پردازندهی GB10 خارج از این بازه است؛ بنابراین روی این ماشین هیچ تنظیمی وجود ندارد که بتواند روی هر دو سمت یک کرنل یکسان بنشاند. توصیهی راهنما برای شرایط خارج از قرارداد این است که اختلاف را زیر نظر بگیرید و سهم بخش نمونهگیر را در آن کاهش دهید.
نتیجه
فلگ اتنشن را در سمت ترینر حذف کنید، یا آن را روی یکی از نامهای موجود در فهرستِ داخل خطا بگذارید. بگذارید موتور هم روی بکاند خودش کار کند. این دو فهرست با هم فرق دارند و تنها جفتی که هر دو سمت را از نظر بیتی کاملاً یکسان (bit-exact) میکند به پردازندهی گرافیکی Hopper نیاز دارد که این ماشین فاقد آن است. یک اجرای سالم پس از چند دقیقه خط rollout 0 را نشان میدهد، و اختلاف گام صفر (step-0 gap) در بازهی اجراهای بدون مشکلِ این ماشین قرار میگیرد؛ یعنی برای این مدل بدون top-p یا top-k، عددی بین 0.0136 تا 0.0164 خواهد بود.
مسیرهای اشتباه رایج
- «ایمیج خراب است، یک تگ دیگر پول کنید.» خطا از اعتبارسنجی مقادیر در کتابخانهی ترینر در برابر فهرست اختصاصی خودش ناشی میشود. اجراهای دفترچهی راهنما از همین ایمیج با نام پیشفرض استفاده کردند و با موفقیت به پایان رسیدند.
- «همان نامی را به موتور بدهید که به ترینر دادهاید تا نامها یکی شوند.» موتور
tritonرا میپذیرد اما ترینر قبول نمیکند. یکسان کردن نامها به معنای یکسان شدن کرنلها نیست و ترینر باز هم راهاندازی نمیشود. - «از جفتِ داخل قرارداد استفاده کنید؛ FlashAttention 3 روی هر دو سمت.» بکاند FA3 موتور در بدو راهاندازی، پردازندهی GB10 را به دلیل بازهی قابلیت محاسباتیاش رد میکند و کار به مدت یک ساعت روبهروی یک موتور ازکارافتاده معطل میماند.
درس کلی
دو مؤلفهای که یک عبارت مشترک را میخوانند، لزوماً آن را به یک شکل تفسیر نمیکنند. هر مؤلفه تنظیمات را با فهرست اختصاصی خودش میسنجد و خطایی که این فهرست را چاپ میکند، سریعترین راهنمای شما برای حل مشکل است. فهرست را بخوانید، مقداری از آن انتخاب کنید و انتظار نداشته باشید یک نام یکسان، نتایج عددی یکسانی برایتان فراهم کند. تطابق دقیق و بیتبهبیت میان سرور و ترینر، قراردادی وابسته به فهرستی از مدلها و بازهای از سختافزارهاست، نه حاصل یک فلگ ساده.
کجای دوره آموزش داده میشود
راهنمای Miles این خطا را در جدول نشانههای خود و قراردادی را که هر دو سمت باید رعایت کنند در صفحهی محدودیتهای همسیاستِ واقعی آورده است؛ راهنمای SGLang نیز همین اجرا و منشأ مقدار فلگ را در صفحهی موتور مسیر پیشروی شبیهسازیشده در RL نشان میدهد.