بخش 6.2 · گسترش به مقیاس بالا

اجرای ارزیابی بدون متوقف کردن آموزش

Run evaluation without stopping training

فهرست مطالب
  1. سه محل برای اجرای ارزیابی
  2. ارزیابی روی موتورهای آموزش
  3. ارزیابی روی ناوگان مجزا
  4. انتخاب بر اساس هزینه‌ی توقف

اجرای ارزیابی روی موتورهای آموزش، فرایند تولید مسیر پیش‌روی شبیه‌سازی‌شده (rollout) را متوقف می‌کند؛ در مقابل، استفاده از یک ناوگان مجزا جلوی این توقف را می‌گیرد، اما به قیمت مصرف کارت‌های گرافیک اختصاصی تمام می‌شود.

شاید بخواهید هر چند گام یک‌بار، یک امتیاز ارزیابی (eval) مانند دقت روی یک مجموعه‌داده‌ی ریاضی نگه‌داشته‌شده (held-out) داشته باشید. این ارزیابی نیازمند تولید متن است و تولید متن هم به موتورهای پردازشی نیاز دارد. مسئله این است: کدام موتورها؟

پس از پایان این بخش، می‌توانید محل اجرای ارزیابی را مشخص و آن را پیکربندی کنید.

ما امکان سنجش ناوگان مجزا را روی تک‌کارت گرافیک GB10 خود نداشتیم، زیرا این ناوگان به کارت‌های گرافیک اختصاصی نیاز دارد. مطالب این صفحه بر اساس سورس‌کد و مستندات Miles تهیه شده است.

سه محل برای اجرای ارزیابی

محل اجرا نحوه‌ی انتخاب هزینه
موتورهای آموزش حالت پیش‌فرض تولید مسیر پیش‌روی شبیه‌سازی‌شده متوقف می‌شود تا ارزیابی اجرا شود
یک ناوگان مجزا --eval-num-gpus N تعداد N کارت گرافیک از کل کار به ارزیابی اختصاص می‌یابد و آموزش هرگز متوقف نمی‌شود
سرویس اختصاصی خودتان مقداردهیِ --eval-function-path با یک تابع ارزیابی چک‌پوینت صرفاً هزینه‌ی خروجی گرفتن از چک‌پوینت

امکان استفاده‌ی هم‌زمان از ناوگان مجزا و تابع ارزیابیِ چک‌پوینت برای سرویس اختصاصی خودتان وجود ندارد. قابلیت تحمل خطای فرایندِ مسیر پیش‌روی شبیه‌سازی‌شده که در بخش 6.3 مطرح شد نیز با ناوگان مجزا کار نمی‌کند.

ارزیابی روی موتورهای آموزش

بازه و داده‌ها را مشخص کنید:

-e MILES_EXTRA_ARGS="--eval-interval 10 --eval-prompt-data gsm8k_test /root/lab/datasets/gsm8k/test.parquet"

لانچرِ بخش 1.1 بخش آزمون GSM8K را از قبل در پوشه‌ی lab دانلود می‌کند.

فرایند مسیر پیش‌روی شبیه‌سازی‌شده تا زمان پایان ارزیابی متوقف می‌شود و درخواست‌های در حال اجرا ابتدا باید به پایان برسند. از آنجا که موتورها همین حالا هم وزن‌های فعلی را دارند، انتقال وزن اضافه‌ای رخ نمی‌دهد. از این حالت روی تک‌کارت گرافیک و برای مجموعه‌های ارزیابی کوچک استفاده کنید.

این دستور روی GB10 ما کار نکرد. آن را دو بار در یک اجرای 2-گامی با فلگ --eval-interval 1 اجرا کردیم. در هر دو بار، به‌محض اینکه اولین ارزیابی 1,319 پرسش آزمون را فرستاد، مسیریاب (router) خطای 503 Service Unavailable داد و فرایند پیش از گام 0 متوقف شد. علت این مشکل را پیدا نکردیم. بنابراین پیش از افزودن ارزیابی به اجراهای طولانی، حتماً آن را روی یک اجرای 2-گامی بیازمایید.

ارزیابی روی ناوگان مجزا

--eval-num-gpus 1 --eval-interval 10 --eval-hf-dir /dev/shm/miles_eval_hf --eval-prompt-data aime /root/lab/datasets/aime/aime.jsonl

ابتدا فایل ارزیابی خودتان را در پوشه‌ی lab قرار دهید؛ لانچر فایل‌های AIME را دانلود نمی‌کند. این ناوگان به کارت‌های گرافیک مجزا نیاز دارد؛ بنابراین لانچر تک‌کارت گرافیک ما نمی‌تواند آن را راه بیندازد.

این ناوگان، موتورهای خودش را پشت مسیریاب اختصاصی‌اش اجرا می‌کند. در هر گامِ ارزیابی، ترینر یک اسنپ‌شات از چک‌پوینت را در مسیر --eval-hf-dir می‌نویسد، آن را تحویل ناوگان می‌دهد و آموزش را ادامه می‌دهد. ناوگان اسنپ‌شات را بارگذاری می‌کند و نقشی در به‌روزرسانی وزن‌های آموزش نخواهد داشت.

نقطه‌ی ارزیابی باز هم ذیل همان گامی که به آن تعلق داشته ثبت می‌شود، حتی اگر چند گام دیرتر تمام شده باشد. معیار eval/lag_steps گزارش می‌دهد که ارزیابی با چند گام تاخیر به پایان رسیده است.

موتورهای این ناوگان همه‌ی تنظیمات --sglang-* مربوط به موتورهای مسیر پیش‌روی شبیه‌سازی‌شده را کپی می‌کنند. هر تنظیم را می‌توانید با فلگ معادلِ --eval-sglang-* تغییر دهید؛ مثلاً --eval-sglang-mem-fraction-static 0.9، زیرا ناوگان کارت‌های گرافیکش را با بخش آموزش به اشتراک نمی‌گذارد.

انتخاب بر اساس هزینه‌ی توقف

کار را با موتورهای آموزش شروع کنید. زمانی سراغ ناوگان مجزا بروید که توقف ناشی از ارزیابی، سهم بزرگی از زمان هر گام را بگیرد و بتوانید چند کارت گرافیک کامل را به آن اختصاص دهید. استفاده از یک پوشه‌ی مرحله‌بندی در /dev/shm مانع از نوشتن اسنپ‌شات روی دیسک می‌شود.

منابع: capture/gpu/miles_grpo.py؛ فایل‌های اصلیِ Miles نسخه‌ی 08752a12 شامل docs/user-guide/fully-async.md، miles/utils/arguments.py، miles/backends/sglang_utils/arguments.py، miles/backends/sglang_utils/sglang_config.py، miles/ray/rollout/eval_fleet.py، miles/ray/rollout/eval_dispatch.py، miles/ray/rollout/rollout_executor.py، miles/rollout/checkpoint_eval.py؛ capture/gpu/out-gb10/tracker-eval-checks.txt (بررسی زنده در 2026-10-23).

ترجمه‌ی فارسی Run evaluation without stopping training از راهنمای Miles 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما