وضعیت
یک اجرای طولانی GRPO هر 20 گام یکبار یک چکپوینت (checkpoint) را درون پوشهای روی هاست ذخیره میکند که داخل کانتینر مانت (mount) شده است. یک شب این اجرا متوقف میشود. مهندس نوبت پاسخگویی (آنکال) بیدرنگ همان دستور را دوباره اجرا میکند. او برای اطمینان، پرچم --load را مستقیماً به جدیدترین پوشهی iter_ در داخل پوشهی چکپوینت هدایت میکند؛ همچنین ریدایرکت لاگ را به همان صورت > runs/plain.log نگه میدارد، چون داشبورد این فایل را میخواند.
صبح روز بعد، نمودار پاداش اجرای جدید درست از همانجایی شروع میشود که اجرای اول چند روز پیش آغاز شده بود. اولین خط گام در لاگ جدید step 0 را نشان میدهد. تیم دو دسته میشود: گروهی میگویند چکپوینتها خراب شدهاند، و گروه دیگر میگویند قابلیت ادامهی اجرا (resume) روی این ترینر اصلاً کار نمیکند. هیچکس هم نمیتواند بگوید چرا اجرای اول متوقف شد، چون لاگ قدیمی از بین رفته است.
- نسخه
- Miles main 08752a12 with its own SGLang 0.5.22 build
- مدل
- Qwen/Qwen3-0.6B
- سختافزار
- one GB10 with 128 GB of unified memory
شواهد
- دو اجرای آزمون راهاندازی مجدد
- اجرای اول: خط ذخیرهسازیاش، و سکوت آن در برابر پوشهی خالی
- اجرای دوم: آنچه یک ادامهی اجرای واقعی چاپ میکند
- محتویات پوشهی چکپوینت پس از هر دو اجرا
- قاعدهی راهنما دربارهی پرچم load و فایل لاگ
- خطوطی که اجرای ادامهیافته باید نشان دهد، و آزمون قبل از اجرای طولانی
- فایلهایی که تبدیلکنندهی چکپوینت نوشته است
check-setup.txt
title: the two runs of the restart check
source: manuals/miles-101/capture/gpu/out-gb10/resume-check.txt
lines: 1-1
lang: text
note: The first run saves at step 2 on an empty folder. The second run starts with the same flags and runs 4 steps.
---
# Live check 2026-10-23, Qwen3-0.6B. ckpt-a: 2 steps with --save /ckpt/run-a --save-interval 20 --load /ckpt/run-a on an empty folder. ckpt-a-resume: same flags, 4 steps.
converter.txt
title: the files that the checkpoint converter wrote
source: manuals/miles-101/capture/gpu/out-gb10/live-check-summary.txt
lines: 5-6
lang: text
note: The converter turned the step 2 checkpoint into a model folder that a serving engine can load.
---
## FSDP to Hugging Face (tools/convert_fsdp_to_hf.py, iter_0000002)
config.json generation_config.json LICENSE merges.txt model.safetensors README.md tokenizer_config.json tokenizer.json vocab.json
first-run-saved.txt
title: the first run: its save line, and its silence about the empty folder
source: manuals/miles-101/capture/gpu/out-gb10/resume-check.txt
lines: 2-4
lang: text
note: Read the count of lines that mention a missing tracker or folder.
---
## ckpt-a
[FSDP] Saved checkpoint to /ckpt/run-a/iter_0000002
lines mentioning a missing tracker or folder: 0
folder.txt
title: what the checkpoint folder holds after both runs
source: manuals/miles-101/capture/gpu/out-gb10/resume-check.txt
lines: 12-16
lang: text
note: One tracker file sits next to the iter folders.
---
## folder
iter_0000002
iter_0000004
latest_checkpointed_iteration.txt
rollout
load-rule.txt
title: the manual's rule for the load flag and the log file
source: manuals/miles-101/sections/6-3-survive-failures.md
lines: 25-25
lang: text
note: Read what --load must name and what the redirect does to the old log.
---
Start the same command again after a failure, with a new log file, such as `> runs/plain-resume.log`. The redirect of [section 1.1](#s-run-grpo-on-one-gpu) empties the old log, and you need it to find the cause of the failure. `--load` names the parent folder, never one `iter_` folder inside it. Miles reads its tracker file to find the last saved step. On the first run, the folder is empty, and Miles starts fresh.
resume-checklist.txt
title: the lines a resumed run must show, and the test before a long run
source: manuals/miles-101/sections/6-3-survive-failures.md
lines: 34-36
lang: text
note: The second paragraph gives the two-step test.
---
The log of a resumed run should show `[FSDP] Loaded model from` and `[FSDP] Loaded optimizer from`, each with the folder of the step. If these lines are missing, the run started fresh. Our first run with an empty folder printed no message about the missing checkpoint. In our resume check, the first trainer line after the load was `step 2`.
Test a restart on a short run before the long run starts. Miles always saves after the last step, so run the command above with `MILES_NUM_ROLLOUT=2`. Then run it again with `MILES_NUM_ROLLOUT=4`. The first step line of the second run should be `step 2`, not `step 0`. We ran this test on our GB10 with Qwen3-0.6B, and it passed. We also ran the converter below on the step 2 checkpoint, and it wrote a model folder with the weights and the tokenizer files.
resume-lines.txt
title: the second run: what a real resume prints
source: manuals/miles-101/capture/gpu/out-gb10/resume-check.txt
lines: 5-11
lang: text
note: Three Loaded lines, then the first step line of the run.
---
## ckpt-a-resume
[FSDP] Loaded model from /ckpt/run-a/iter_0000002/model
[FSDP] Loaded optimizer from /ckpt/run-a/iter_0000002/optimizer
[FSDP] Loaded LR scheduler from /ckpt/run-a/iter_0000002/lr_scheduler
[FSDP] Saved checkpoint to /ckpt/run-a/iter_0000004
step 2:
step 3:
سؤالها
- لاگ جدید با
step 0شروع میشود. هنگام کارکردن درست ادامهی اجرا، چه خطوطی باید بالای آن ظاهر شوند، و نبودِ آنها چه چیزی را اثبات میکند؟ - در صورتی که پوشهی بارگذاری حاوی هیچ چکپوینتی نباشد، Miles با چه شدتی شکایت میکند؟ این موضوع چه معنایی برای رانبوک دارد؟
- در پرچم، مسیر جدیدترین پوشهی
iter_مشخص شده بود. چرا این مسیر اشتباه است، و Miles برای پیدا کردن آخرین گام کدام فایل را میخواند؟ - راهاندازی مجدد چیزی را هم نابود کرد که تیم اکنون جایش را خالی میبیند. آن چیست، و چطور باید راهاندازی مجدد کنید تا باقی بماند؟
- تستی بنویسید که هر اجرای طولانی پیش از شروع باید با موفقیت پشت سر بگذارد، همراه با شمارهی گامهایی که انتظار دیدنشان را دارید.
- تیم میخواهد مدل را از روی یکی از گامهای ذخیرهشده سِرو کند. چه ابزاری این کار را انجام میدهد، و علاوه بر چکپوینت به چه چیزهای دیگری نیاز دارد؟
اول شواهد را بخوانید و به سؤالها جواب بدهید، بعد راهحل را باز کنید.
راهحل گامبهگام
- بررسی ساختار آزمون. راهنما دو اجرای کوتاه را با پرچمهای مشابه اجرا کرد:
--save /ckpt/run-a --save-interval 20 --load /ckpt/run-a. اجرای اول با یک پوشهی خالی 2 گام پیش رفت. اجرای دوم روی پوشهای که اجرای اول به جا گذاشته بود، 4 گام اجرا شد. این کوچکترین آزمون ادامهی اجرا است، و همان کاری است که تیم باید قبل از اجرای طولانی انجام میداد. - بررسی اجرای اول. این اجرا خط
[FSDP] Saved checkpoint to /ckpt/run-a/iter_0000002را نوشت، چرا که Miles همیشه بعد از آخرین گام ذخیرهسازی را انجام میدهد. تعداد خطوطی که به ردیاب (tracker) ناموجود یا پوشهی ناموجود اشاره میکنند 0 است. پوشهی بارگذاری خالی بود و Miles هیچ حرفی دربارهاش نزد. تمام این حادثه در همین سکوت خلاصه میشود: اجرایی که چیزی برای بارگذاری پیدا نمیکند، دقیقاً شبیه اجرایی به نظر میرسد که اصلاً از آن خواسته نشده چیزی را بارگذاری کند. - بررسی اجرای دوم. این اجرا سه خط حاوی
Loadedچاپ کرد؛ برای مدل، بهینهساز (optimizer) و اسکژولر نرخ یادگیری (LR scheduler)، که هرکدام پوشهی همان گام را نشان میدادند. اولین خط گام آنstep 2است، نهstep 0، و در انتهایش نیزiter_0000004را ذخیره کرد. این سه خط و آن اولین شمارهی گام، اثبات ادامهی اجرا هستند. لاگ تیم هیچکدام را ندارد؛ بنابراین اجرای جدید از صفر شروع شده است. - بررسی پوشه. این پوشه شامل
iter_0000002،iter_0000004، یک پوشهیrolloutو یک فایل به نامlatest_checkpointed_iteration.txtاست. این فایل همان ردیاب است. این فایل در پوشهی والد (parent) قرار دارد، نه داخل یک پوشهیiter_. - بهکارگیری قاعدهی پرچم. پرچم
--loadبه پوشهی والد اشاره میکند، هرگز به یک پوشهیiter_درون آن اشاره نمیکند؛ زیرا Miles فایل ردیاب را در آنجا میخواند تا آخرین گام ذخیرهشده را پیدا کند. مهندس پرچم را به پوشهای هدایت کرده بود که فاقد فایل ردیاب بود، در نتیجه Miles گامی برای ادامه دادن نداشت؛ این حالت دقیقاً مثل یک پوشهی خالی است، و آزمون راهنما نشان میدهد که این حالت هیچ چیزی چاپ نمیکند. - بهکارگیری قاعدهی فایل لاگ. راهنما برای راهاندازی مجدد یک فایل لاگ جدید میخواهد، مثلاً
> runs/plain-resume.log؛ چرا که ریدایرکت لاگ قدیمی را خالی میکند، و علت خرابی درون همان لاگ قدیمی است. تیم علت خرابی شبانه را با همان کلیدی از دست داد که ادامهی اجرا را از بین برد. - بررسی خروجی تبدیلکننده. ترینر FSDP چکپوینتهای توزیعشدهای مینویسد که ابزارهای دیگر نمیتوانند بارگذاریشان کنند. ابزار تبدیلکننده (converter)، با گرفتن پوشهی مدل پایه برای پیکربندی و توکنایزر، چکپوینت گام 2 را به یک پوشهی مدل استاندارد شامل وزنها، پیکربندی و فایلهای توکنایزر تبدیل کرد.
نتیجه
چکپوینتها مشکلی نداشتند. ادامهی اجرا اتفاق نیفتاد چون --load به یک پوشهی iter_ اشاره میکرد که فاقد فایل ردیاب است، و Miles وقتی گامی برای بارگذاری پیدا نمیکند، بدون هیچ پیامی کار را از صفر شروع میکند. کافی است پرچم --load را به پوشهی والد، یعنی /ckpt/run-a هدایت کنید، با یک فایل لاگ جدید دوباره اجرا را کلید بزنید، و پیش از ترک سیستم، آن سه خط Loaded و شمارهی گام اول را بخوانید. آنگاه اجرا از آخرین گام ذخیرهشده ادامه مییابد، درست همانطور که اجرای آزمایشی از step 2 ادامه یافت.
این بررسی را بخشی از رانبوک خود کنید. قبل از یک اجرای طولانی، دستور را با MILES_NUM_ROLLOUT=2 و سپس دوباره با MILES_NUM_ROLLOUT=4 اجرا کنید، و بخواهید که اولین خط گام اجرای دوم step 2 باشد. مقدار --save-interval را بر اساس زمان هر گام انتخاب کنید تا هزینهی توقف ناگهانی کمتر از حد قابل قبول شما باشد: با گامهای پنج دقیقهای، بازهی 12 باعث میشود حداکثر یک ساعت کار از دست برود. برای سِرو کردن مدل از روی یک گام ذخیرهشده، تبدیلکننده را با پوشهی گام، پوشهی خروجی و پوشهی مدل پایه داخل کانتینر اجرا کنید.
مسیرهای اشتباه رایج
- «چکپوینتها خراب شدهاند.» پوشه هم پوشههای گام را در بر دارد و هم فایل ردیاب را، و اجرای دوم راهنما نیز مدل، بهینهساز و اسکژولر نرخ یادگیری را از پوشهای از همین نوع بارگذاری کرد. در لاگ جدید هیچ خطی نشان از شکست بارگذاری ندارد، چون اصلاً تلاشی برای بارگذاری انجام نشده است.
- «قابلیت ادامهی اجرا روی ترینر FSDP کار نمیکند.» اجرای آزمایشی روی ترینر FSDP از
step 2ادامه پیدا کرد وiter_0000004را ذخیره کرد. این قابلیت به پوشهی والد نیاز دارد، اما به آن پوشهی یک گام داده شده بود. - «پرچم را روی پوشهی گام تنظیم کن تا مطمئن شوی گام درست را بارگذاری میکند.» فایل ردیاب در پوشهی والد نام آخرین گام را مشخص میکند. پوشهی یک گام فاقد فایل ردیاب است، بنابراین پرچم هیچ چیزی بارگذاری نمیکند.
- «همان فایل لاگ را نگه دار تا داشبورد از کار نیفتد.» ریدایرکت، لاگ قدیمی را خالی میکند و تنها سابقهی خرابی را نابود میسازد. برای هر راهاندازی مجدد از فایل جدیدی استفاده کنید و داشبورد را به یک پوشه هدایت کنید.
درس کلی
قابلیتی که بدون سروصدا و در سکوت با شکست مواجه میشود، باید همیشه با نشانهی مثبتش اعتبارسنجی شود، نه هرگز با نبودِ خطا. برای هر بار ادامهی اجرا، هر بار بارگذاری کش (cache) و هر بار بازیابی وضعیت، خطوط لاگی را که اثبات وقوع آن هستند و اولین مقداری را که باید با شروع سرد (cold start) تفاوت داشته باشد بشناسید، و کل مسیر راهاندازی مجدد را در یک اجرای کوتاه بیازمایید پیش از آنکه به آن تکیه کنید. هرگز نگذارید راهاندازی مجدد، شواهد خرابیِ بهوجودآورندهاش را بازنویسی کند.
کجای دوره آموزش داده میشود
راهنمای Miles پرچمهای چکپوینت، خطوط ادامهی اجرا، آزمون دوگامی و ابزار تبدیلکننده را در صفحهی خرابیها آورده است.