سناریوی رخداد

فلگی در سیستم رهگیری که اجرای مدل را در همان ابتدا متوقف کرد

A tracker flag that stopped the run at start

  • سطح ۱: غربالگری
  • سناریوی رخداد
  • ۱۵ دقیقه

وضعیت

تیمی نتایج اولین اجراهای خود را با دستور grep از لاگ خوانده است. برای اولین اجرای طولانی، آن‌ها یک داشبورد می‌خواهند؛ بنابراین --use-wandb --wandb-mode offline --wandb-project miles-lab را به آرگومان‌های اضافی اجرا اضافه می‌کنند. اما اجرا درست در بدو شروع، با خطای TypeError مربوط به NoneType و str متوقف می‌شود و هیچ سطری مربوط به گام‌های آموزش (step) ثبت نمی‌شود.

یکی از هم‌تیمی‌ها مشکل را به گردن ایمیج (image) می‌اندازد و می‌خواهد سیستم رهگیری (tracker) را برای همیشه کنار بگذارند. دیگری می‌خواهد کلید API تیم را داخل آرگومان‌های اضافی بگذارد تا اجرا به‌صورت آنلاین انجام شود، چون معتقد است «حالت آفلاین باعث خرابی شده است».

نسخه
Miles main 08752a12 with its own SGLang 0.5.22 build
مدل
Qwen/Qwen3-0.6B
سخت‌افزار
one GB10 with 128 GB of unified memory

شواهد

tensorboard-command.txt
title: the flags for the other tracker
source: manuals/miles-101/sections/5-1-read-the-run.md
lines: 51-51
lang: text
note: A folder and one flag.
---
-e TENSORBOARD_DIR=/root/lab/runs/plain/tb -e MILES_EXTRA_ARGS="--use-tensorboard"
tensorboard.txt
title: the same run with the other tracker
source: manuals/miles-101/capture/gpu/out-gb10/tracker-eval-checks.txt
lines: 8-11
lang: text
note: The log line and the two event files.
---
## tensorboard (tb-check.log): step 0: step 1: 
Saving tensorboard log to /root/lab/runs/plain/tb.
events.out.tfevents.1792727435.c56e30506501.2042.0
events.out.tfevents.1792727457.c56e30506501.2515.0
the-command-and-the-rule.txt
title: the tracker flags the manual uses, and the rule about the group
source: manuals/miles-101/sections/5-1-read-the-run.md
lines: 41-44
lang: text
note: The last line names the error you see without the group.
---
-e MILES_EXTRA_ARGS="--use-wandb --wandb-mode offline --wandb-project miles-lab --wandb-group plain --wandb-dir /root/lab/runs/plain/wandb"
```

Keep `--wandb-group`. Without it, the run stops at start with `TypeError: unsupported operand type(s) for +: 'NoneType' and 'str'`. The log should show `W&B offline mode enabled. Data will be saved locally.`, and an `offline-run-` folder appears under `~/miles-lab/runs/plain/wandb/wandb/`.
the-crash.txt
title: the run with the tracker on and no group name
source: manuals/miles-101/capture/gpu/out-gb10/tracker-eval-checks.txt
lines: 2-4
lang: text
note: The error type and the two operand types.
---
## wandb without --wandb-group (wandb-tb.log)
            ~~~~~~~~~~~~~~~~~^~~~~
TypeError: unsupported operand type(s) for +: 'NoneType' and 'str'
the-key-rule.txt
title: where the key for an online run goes
source: manuals/miles-101/sections/5-1-read-the-run.md
lines: 46-46
lang: text
note: The launcher prints the full command in the log, so the key must not be in it.
---
For an online run, leave out `--wandb-mode offline`. Keep the key out of the command line, because commands go to the shell history and the process list. Put `WANDB_API_KEY=<your key>` in a file that only you can read, such as `~/miles-lab/wandb.env` with mode 600, and add `--env-file ~/miles-lab/wandb.env` to the `docker run` line. Do not put the key in `MILES_EXTRA_ARGS`, because the launcher prints the full command in the log.
with-the-group.txt
title: the same run with a group name
source: manuals/miles-101/capture/gpu/out-gb10/tracker-eval-checks.txt
lines: 5-7
lang: text
note: The run reached step 0 and step 1, and the tracker wrote offline runs.
---
## wandb with --wandb-group plain (wandb-check.log): step 0: step 1: 
W&B offline mode enabled. Data will be saved locally.
debug-internal.log debug.log latest-run offline-run-20261023_034138-mu59u570 offline-run-20261023_034200-mu59u570 offline-run-20261023_034203-mu59u570 

سؤال‌ها

  1. چه نوع باگی این TypeError را ایجاد می‌کند، و این خطا چه نکته‌ای را درباره‌ی GPU، موتور پردازشی و ایمیج به شما می‌گوید؟
  2. جای کدام فلگ خالی بود، و کدام دو نشانه در لاگ نشان می‌دهند که سیستم رهگیری پس از آن کار کرده است؟
  3. هم‌تیمی می‌خواهد کلید API را مستقیماً در آرگومان‌های اجرا قرار دهد. دو جایی را نام ببرید که این کلید در آن‌ها نمایان خواهد شد.
  4. کدام سیستم رهگیری به هیچ حساب کاربری و شبکه‌ای نیاز ندارد، و در عوض به چه چیزی نیازمند است؟
  5. تیم اکنون یک داشبورد دارد. آن‌ها چه چیز دیگری را نیز نگه می‌دارند، و چرا؟

اول شواهد را بخوانید و به سؤال‌ها جواب بدهید، بعد راه‌حل را باز کنید.

راه‌حل گام‌به‌گام
  1. خطا را بخوانید. خطای TypeError: unsupported operand type(s) for +: 'NoneType' and 'str' یعنی پایتون دارد یک رشته را به مقداری با ارزش None اضافه می‌کند. تنظیمی که هیچ‌کس مشخص نکرده، دارد به یک نام الحاق می‌شود. هیچ بخشی از این سطر به GPU، موتور پردازشی یا وزن‌ها مربوط نیست. اجرا هرگز به اولین گام خود نرسیده است؛ بنابراین راه‌اندازی سیستم رهگیری تنها کدی بوده که اجرا شده است.
  2. اجرایی را که موفق بود بخوانید. همان دستور با اضافه‌کردن --wandb-group plain توانست step 0 و step 1 را ثبت کند. در لاگ عبارت .W&B offline mode enabled. Data will be saved locally چاپ شد و پوشه‌ی tracker در کنار لاگ‌های دیباگ خود، پوشه‌های -offline-run را ذخیره کرده است. راهنما قاعده را صریحاً بیان می‌کند: --wandb-group را نگه دارید، چون بدون آن، اجرا در همان بدو شروع دقیقاً با همین خطا متوقف می‌شود.
  3. سیستم رهگیری دیگر را بررسی کنید. همان دستور با -e TENSORBOARD_DIR=/root/lab/runs/plain/tb و --use-tensorboard پیام .Saving tensorboard log to /root/lab/runs/plain/tb را ثبت کرد و دو فایل رویداد (event file) نوشت. این سیستم رهگیری به یک پوشه و یک فلگ نیاز دارد؛ نه حساب کاربری می‌خواهد و نه شبکه. خروجی آن را هم روی سیستم میزبان (host) با دستور tensorboard --logdir می‌خوانید.
  4. قاعده‌ی مربوط به کلید را بخوانید. برای اجرای آنلاین، فلگ --wandb-mode offline را بردارید. کلید را در خط فرمان نگذارید؛ چون دستورات وارد تاریخچه‌ی شل (shell history) و فهرست فرایندها می‌شوند و لانچر نیز دستور کامل را در لاگ چاپ می‌کند. عبارت <WANDB_API_KEY=<your key را در فایلی با مجوز دسترسی 600 قرار دهید و آن را با --env-file ارسال کنید. آرگومان‌های اضافی تنها جایی است که این کلید ابداً نباید وارد آن شود.
نتیجه

علت کرش، نبودِ تنها یک فلگ بود: --wandb-group. آن را اضافه کنید، تا زمانی که به حساب کاربری و شبکه نیاز پیدا نکرده‌اید حالت آفلاین را حفظ کنید و دو نشانه را بسنجید: سطر W&B offline mode enabled و پوشه‌ی -offline-run. با این کار، اجرا مانند تست انجام‌شده به step 0 و step 1 می‌رسد. برای تیمی که حساب کاربری در سیستم‌های رهگیری ندارد، از TensorBoard با مشخص‌کردن یک پوشه و یک فلگ استفاده کنید و آن پوشه را روی هاست باز کنید.

در هر صورت، فایل لاگ را نگه دارید. راهنما تک‌تک اعداد را از لاگ خوانده است، و اولین استثنای (exception) یک اجرای ناموفق نیز همیشه در لاگ می‌نشیند.

مسیرهای اشتباه رایج
  • «ایمیج خراب است، سیستم رهگیری را حذف کنید.» همان ایمیج با اضافه‌شدن تنها یک فلگ دیگر، همان دستور را تا step 1 اجرا کرد. خطا به نبودِ یک مقدار اشاره دارد، نه نبودِ یک کتابخانه.
  • «کلید API را در آرگومان‌های اضافی قرار دهید تا حالت آنلاین اجباری شود.» حالت آفلاین دلیل خطا نبود؛ از طرفی لانچر کل دستور را در لاگ چاپ می‌کند، بنابراین کلید در لاگ، تاریخچه‌ی شل و فهرست فرایندها می‌نشیند.
  • «داشبورد جایگزین لاگ می‌شود.» داشبورد متریک‌ها را نشان می‌دهد. لاگ سطرهای مربوط به راه‌اندازی، خطوط موتور پردازشی و اولین استثنا را هنگام توقف اجرا نگه می‌دارد.
درس کلی

خطای نوع داده (type error) روی مقدار None در شروع برنامه، نشان‌دهنده‌ی یک تنظیم جاافتاده است؛ سریع‌ترین راه بررسی، مقایسه‌ی دستور مستندشده با دستور شماست. اطلاعات محرمانه باید در فایلی قرار بگیرند که فقط شما دسترسی خواندن آن را دارید و باید از طریق متغیرهای محیطی به فرایند برسند، نه از طریق آرگومان‌هایی که لانچر بازتاب می‌دهد (echo می‌کند). داشبورد یک زاویه‌ی دید اضافه می‌کند، اما لاگ همیشه سند اصلی باقی می‌ماند.

کجای دوره آموزش داده می‌شود

کتابچه‌ی راهنمای Miles دستورات رهگیری، قاعده‌ی گروه و قاعده‌ی کلید را در صفحه‌ی خواندن اجرای مدل ارائه کرده است.