بخش 6.3 · گسترش به مقیاس بالا

ادامه‌ی اجرای طولانی پس از بروز خرابی

Keep a long run going after a failure

فهرست مطالب
  1. اول ذخیره‌ی چک‌پوینت‌ها را تنظیم کنید
  2. ادامه‌ی اجرا از روی چک‌پوینت
  3. تبدیل چک‌پوینت برای سرو مدل
  4. فعال‌سازی تحمل خرابی
  5. گزارش‌های تیم Miles
  6. مشکلات شناخته‌شده

در اجراهای طولانی روی چندین ماشین، انجین‌ها و نودها از دست می‌روند؛ Miles برای همین شرایط قابلیت تحمل خرابی (fault tolerance) و چک‌پوینت دارد.

اجرا روی یک GPU به دلایل ساده‌ای متوقف می‌شود و می‌توان آن را دوباره راه انداخت. اما اجرایی که چند روز روی صدها GPU ادامه دارد، حتماً در طول مسیر یک انجین یا یک نود را از دست خواهد داد. مسئله این است که با از دست رفتن آن، چه مقدار از پیشرفت کار هدر می‌رود.

با پایان این بخش، می‌توانید برای یک اجرای طولانی چک‌پوینت‌ها و تحمل خرابی را تنظیم کنید و پیش از تکیه بر آن‌ها، عملکردشان را بیازمایید.

روی تک‌کارت GB10 ما امکان آزمایش تحمل خرابی وجود ندارد. همان‌طور که بخش 1.2 نشان می‌دهد، روی یک GPU از کار افتادن انجین به معنای توقف کامل اجراست. مطالب این صفحه بر اساس سورس‌کد و یادداشت‌های انتشار Miles گردآوری شده‌اند.

اول ذخیره‌ی چک‌پوینت‌ها را تنظیم کنید

چک‌پوینت‌ها میزان کاری را که پس از راه‌اندازی دوباره در پی خرابی هدر می‌رود، محدود می‌کنند. البته اگر حافظه‌ی ذخیره‌سازی آسیب ببیند، فایل چک‌پوینت خراب شود یا برای گام‌های بعد از آخرین چک‌پوینت، کاری از دست آن‌ها برنمی‌آید. پس قبل از هر چیز، آن‌ها را پیکربندی کنید.

کانتینر با فلگ --rm بالا می‌آید، بنابراین هر پوشه‌ای داخل آن با متوقف شدنش از بین می‌رود. یک پوشه از سیستم میزبان را برای ذخیره‌ی چک‌پوینت‌ها مونت (mount) کنید و این دو خط را به دستور اجرای بخش 1.1 بیفزایید:

-v "$HOME/miles-lab/ckpt:/ckpt" -e MILES_EXTRA_ARGS="--save /ckpt/run-a --save-interval 20 --load /ckpt/run-a"

فلگ --save-interval گام‌ها را می‌شمارد. این بازه را با توجه به زمان اجرای هر گام طوری انتخاب کنید که هنگام کرش، کارِ ازدست‌رفته در حد پذیرش شما باشد. اگر هر گام 5 دقیقه طول می‌کشد، بازه‌ی 12 تایی در بدترین حالت 1 ساعت از پیشرفت کار را از بین می‌برد.

ادامه‌ی اجرا از روی چک‌پوینت

پس از بروز خرابی، همان دستور قبلی را با یک فایل لاگ جدید دوباره اجرا کنید؛ مثلاً > runs/plain-resume.log. تغییر مسیر خروجی در بخش 1.1 لاگ قبلی را خالی می‌کند، در حالی که برای یافتن علت خرابی به آن نیاز دارید. فلگ --load به پوشه‌ی والد اشاره می‌کند، نه به پوشه‌های iter_ درون آن. Miles فایل رهگیری خود را می‌خواند تا آخرین گامِ ذخیره‌شده را پیدا کند. در اولین اجرا، این پوشه خالی است و Miles کار را از صفر آغاز می‌کند.

با ترینر FSDP که در این راهنما به کار رفته، ادامه‌ی اجرا (resume) این بخش‌ها را بازیابی می‌کند:

  • وزن‌های مدل و وضعیت بهینه‌ساز (optimizer)
  • برنامه‌ی زمان‌بندی نرخ یادگیری (learning-rate schedule) و وضعیت تصادفی (random state)
  • شمارشگر گام‌ها، تا اجرا از گام بعدی ادامه یابد
  • موقعیت جاری در داده‌های پرامپت، که سمت مسیر پیش‌روی شبیه‌سازی‌شده (rollout) آن را در کنار وضعیت ترینر ذخیره می‌کند

لاگ اجرایی که از سر گرفته شده باید شامل [FSDP] Loaded model from و [FSDP] Loaded optimizer from باشد که هر کدام مسیر پوشه‌ی گام مربوط را نشان می‌دهند. اگر این خط‌ها ثبت نشده باشند، یعنی اجرا از صفر شروع شده است. اولین اجرای ما با پوشه‌ی خالی، هیچ پیامی درباره‌ی نبود چک‌پوینت چاپ نکرد. در تست ازسرگیری ما، اولین خط لاگ ترینر بعد از بارگذاری، step 2 بود.

پیش از شروع اجرای طولانی، قابلیت ازسرگیری را در یک اجرای کوتاه بسنجید. Miles همیشه بعد از آخرین گام ذخیره‌سازی می‌کند؛ بنابراین ابتدا دستور بالا را با MILES_NUM_ROLLOUT=2 اجرا کنید. سپس همان را با MILES_NUM_ROLLOUT=4 تکرار کنید. اولین خط گام در اجرای دوم باید step 2 باشد، نه step 0. ما این تست را روی GB10 با Qwen3-0.6B اجرا کردیم و با موفقیت سپری شد. همچنین مبدل زیر را روی چک‌پوینت گام 2 اجرا کردیم که پوشه‌ی مدلی شامل وزن‌ها و فایل‌های توکنایزر تولید کرد.

تبدیل چک‌پوینت برای سرو مدل

ترینر FSDP چک‌پوینت‌های توزیع‌شده‌ی PyTorch را ذخیره می‌کند و ابزارهای دیگر نمی‌توانند آن‌ها را به همان شکل بارگذاری کنند. Miles مبدلی دارد که آن‌ها را به پوشه‌ی مدل Hugging Face تبدیل می‌کند. این دستور را داخل کانتینر اجرا کنید:

python3 /root/miles/tools/convert_fsdp_to_hf.py --input-dir /ckpt/run-a/iter_0000020 --output-dir /root/lab/models/run-a-step-20 --origin-hf-dir /root/lab/models/Qwen3-0.6B

فلگ --origin-hf-dir تنظیمات و توکنایزر مدل پایه را در اختیار مبدل قرار می‌دهد. ترینر Megatron فرمت اختصاصی خود را تولید می‌کند و بخش 6.1 مبدل‌های آن را توضیح داده است.

فعال‌سازی تحمل خرابی

--use-fault-tolerance --ft-components rollout

فلگ --ft-components تعیین می‌کند که Miles چه بخش‌هایی را پایش و جایگزین کند: rollout، train یا هر دو. بدون این فلگ، Miles بخش rollout را پایش می‌کند. هر بخش در نسخه‌ای از Miles که بررسی کردیم محدودیت‌هایی دارد:

  • تحمل خرابی در بخش rollout با ناوگان اختصاصی ارزیابی (eval fleet) یا با فلگ‌های --fully-async --colocate کار نمی‌کند.
  • تحمل خرابی در بخش train، گروه‌های موازی‌سازی داده‌ی مستقل (independent data-parallel groups) را فعال می‌کند که به ترینر Megatron نیاز دارند.

شاخه‌ی main پروژه‌ی Miles در تاریخ 2026-10-20 این سازوکار را تغییر داده است: بخش سومی به نام weight_update اضافه شده و تحمل خرابی rollout را هم فقط در حالت انتقال وزن p2p در چیدمان تفکیک‌شده (split layout) مجاز می‌داند. پیش از کپی کردن دستورها، راهنمای فلگ‌ها را در ایمیج خود بخوانید.

گزارش‌های تیم Miles

تیم Miles برای آزمون‌های خود یک ابزار تزریق خطا (fault injector) ساخت. طبق یادداشت‌های انتشار آن‌ها، در تستی که یک انجین rollout از کار افتاد، منحنی تابع زیان (loss) بیت‌به‌بیت با اجرای بدون خرابی مطابقت داشت. البته این نتیجه‌ی تست آن‌ها روی سخت‌افزار خودشان است؛ حتماً پیش از اعتماد به این سازوکار، تست کرش را روی محیط خودتان تکرار کنید.

مشکلات شناخته‌شده

  • یکی از گزارش‌های ثبت‌شده در Miles به 6 نمونه لانچر ایجنت اشاره دارد. هر لانچر با فرایندی برای پاک‌سازی شروع می‌شود که تمام فرایندهای حاوی sglang در خط فرمان را متوقف می‌کند. با تنظیم MILES_SCRIPT_EXTERNAL_RAY=1، این پاک‌سازی کلاستر Ray را هم که خودتان راه انداخته‌اید می‌بندد. در صورت استفاده از این لانچرها، دستور پاک‌سازی را حذف کنید یا کلاستر Ray اختصاصی به Miles بدهید.
  • اگر انجینی بدون فعال بودن تحمل خرابی متوقف شود، ترینر همچنان به ارسال درخواست به آن ادامه می‌دهد و هرگز خطا نمی‌دهد. حتماً برای همه‌ی اجراها دیده‌بان (watchdog) بگذارید.

منابع: شاخه‌ی main پروژه‌ی Miles کامیت 08752a12 فایل‌های miles/backends/fsdp_utils/checkpoint.py، miles/ray/rollout/rollout_executor.py، miles/rollout/data_source.py، tools/convert_fsdp_to_hf.py، docs/user-guide/training-backend.md، miles/utils/arguments.py، docs/advanced/fault-tolerance.md، miles/ray/placement_group.py، miles/backends/training_utils/checkpoint/io.py، miles/utils/test_utils/fault_injector.py، مقایسه‌شده با miles/utils/arguments.py در کامیت ee36bb2a شاخه‌ی main به تاریخ 2026-10-20؛ یادداشت‌های انتشار نسخه v0.1.2 در Miles؛ ایشوی شماره 3649 در Miles؛ فایل capture/gpu/out-gb10/engine-died-503.log؛ فایل capture/gpu/out-gb10/resume-check.txt (بررسی زنده، 2026-10-23).

ترجمه‌ی فارسی Keep a long run going after a failure از راهنمای Miles 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما