سناریوی رخداد

پیش‌نویسی که 2,048 موقعیت مکانی اعلام کرده بود

The draft that declared 2,048 positions

  • سطح ۲: میانی
  • سناریوی رخداد
  • ۲۰ دقیقه

وضعیت

تیمی می‌خواهد حدس‌زنیِ EAGLE-3 را روی سرور مدل ترکیبی از متخصصان (mixture-of-experts) خود بر بستر GB10 فعال کند. آن‌ها مدل پیش‌نویس (Draft Model) و ساختار اجرایی را عیناً از راهنما (cookbook) برمی‌دارند: سه گام، top-k برابر با 1، و چهار توکن پیش‌نویس. فرایند راه‌اندازی درون ورکرِ پیش‌نویس با خطای ValueError درباره‌ی تفاوت دو طول زمینه (context length) شکست می‌خورد و پردازه‌ی فرزندِ اسکژولر (Scheduler) خارج می‌شود.

کمی زودتر در همان روز، یکی از همکاران همین قابلیت را برای مدل متراکم 8B روی یک کارت L4 به‌همراه پیش‌نویس آموزش‌دیده‌ی خودش روشن کرده بود و سرور بدون کوچک‌ترین تغییری بالا آمد. تیم به این نتیجه می‌رسد که پیش‌نویس منتشرشده برای مدل 30B معیوب است و متنی برای ثبت ایشو (issue) خطاب به سازندگان آن آماده می‌کند تا پیش‌نویس جدیدی بخواهد. از شما خواسته شده پیش از ارسال ایشو، نگاهی به این دو لاگ بیندازید.

نسخه
SGLang 0.5.22
مدل
Qwen/Qwen3-30B-A3B-Instruct-2507 with the lmsys/SGLang-EAGLE3-Qwen3-30B-A3B-Instruct-2507-SpecForge-Nex draft, and Qwen/Qwen3-8B with the Tengyunw/qwen3_8b_eagle3 draft
سخت‌افزار
one GB10 with unified memory, and one L4 as the second machine

شواهد

l4-draft-loaded.txt
title: the 8B target and its draft on an L4, with no override
source: manuals/sglang-101/capture/gpu/out-l4/server-eagle3-no-env.log
lines: 27-30
lang: text
note: Read the draft type, the available memory after it, and the pool.
---
[2026-10-17 03:40:58] Load weight end. elapsed=0.67 s, type=LlamaForCausalLMEagle3, avail mem=4.50 GB, mem usage=1.90 GB.
[2026-10-17 03:40:59] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 8827, K size: 0.61 GB, V size: 0.61 GB
[2026-10-17 03:40:59] Memory pool end. avail mem=3.22 GB
[2026-10-17 03:40:59] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 8827, K size: 0.02 GB, V size: 0.02 GB
l4-pool-and-context.txt
title: the settings line of the L4 start
source: manuals/sglang-101/capture/gpu/out-l4/server-eagle3-no-env.log
lines: 47-47
lang: text
note: Read context_len and max_running_requests.
---
[2026-10-17 03:41:40] max_total_num_tokens=8827, chunked_prefill_size=4096, max_prefill_tokens=16384, max_running_requests=48, context_len=40960, available_gpu_mem=1.19 GB
override-accepted.txt
title: the same check with the override set
source: manuals/sglang-101/capture/gpu/out-gb10/server-eagle3.log
lines: 19-21
lang: text
note: The warning stays, and the next line says what the override changed.
---
[2026-10-17 15:20:18] Load weight end. elapsed=312.38 s, type=Qwen3MoeForCausalLM, avail mem=55.96 GB, mem usage=57.49 GB.
[2026-10-17 15:20:19] Warning: Target model's context_length (262144) is greater than the derived context_length (2048). This may lead to incorrect model outputs or CUDA errors. Note that the derived context_length may differ from max_position_embeddings in the model's config.
[2026-10-17 15:20:19] Overriding the draft model's max_position_embeddings to 262144.
pool-with-draft.txt
title: the two pools of the target and the draft
source: manuals/sglang-101/capture/gpu/out-gb10/server-eagle3.log
lines: 27-29
lang: text
note: The two lines report the same token count with very different sizes.
---
[2026-10-17 15:20:23] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 216775, K size: 9.92 GB, V size: 9.92 GB
[2026-10-17 15:20:23] Memory pool end. avail mem=34.44 GB
[2026-10-17 15:20:23] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 216775, K size: 0.21 GB, V size: 0.21 GB
the-command-that-started.txt
title: the command of the start that worked
source: manuals/sglang-101/capture/gpu/out-gb10/server-eagle3.command.txt
lang: bash
note: Compare the first word with the end of the ValueError.
---
SGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN=1 sglang serve --model-path Qwen/Qwen3-30B-A3B-Instruct-2507 --host 127.0.0.1 --port 30000 --enable-cache-report --enable-metrics --mem-fraction-static 0.7 --speculative-algorithm EAGLE3 --speculative-draft-model-path lmsys/SGLang-EAGLE3-Qwen3-30B-A3B-Instruct-2507-SpecForge-Nex --speculative-num-steps 3 --speculative-eagle-topk 1 --speculative-num-draft-tokens 4
the-refusal.txt
title: the end of the traceback of the refused start
source: manuals/sglang-101/capture/gpu/out-gb10/server-eagle3-no-env.log
lines: 44-50
lang: text
note: Read the two context lengths in the ValueError and the last sentence of the message.
---
  File "/home/rohit/sglang-lab/.venv/lib/python3.12/site-packages/sglang/srt/configs/model_config.py", line 794, in __init__
    self._derive_context_length(context_length)
  File "/home/rohit/sglang-lab/.venv/lib/python3.12/site-packages/sglang/srt/configs/model_config.py", line 1205, in _derive_context_length
    raise ValueError(
ValueError: Warning: Target model's context_length (262144) is greater than the derived context_length (2048). This may lead to incorrect model outputs or CUDA errors. Note that the derived context_length may differ from max_position_embeddings in the model's config. To allow overriding this maximum, set the env var SGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN=1

[2026-10-17 15:31:03] Received sigquit from a child process. It usually means the child failed.
what-the-variable-does.txt
title: what the override does and does not do
source: manuals/sglang-101/sections/4-4-speculative-decoding.md
lines: 92-94
lang: text
note: Two paragraphs. Read why the L4 start needed no override.
---
The variable only removes the check. It does not teach the draft to read long prompts, which is the failure in issue #6783 below. Our prompts had 512 tokens, so this run says nothing about long contexts.

We expected the same refusal on a 24 GB L4. We started `Qwen/Qwen3-8B` with the draft `Tengyunw/qwen3_8b_eagle3` and no variable, and the server started. That draft declares 40,960 positions, the same as its target, so the check had nothing to refuse. The variable belongs to one draft config, not to EAGLE-3. Compare `max_position_embeddings` in both configs before you set it.

سؤال‌ها

  1. کدام مؤلفه خطا را ایجاد کرد؛ مدل هدف یا پیش‌نویس؟ این بررسی کدام دو عدد را با هم مقایسه می‌کند؟
  2. جفتِ اجراشده روی L4 بدون هیچ تغییری بالا آمد. تفاوت میان پیکربندی (config) این دو مدل پیش‌نویس چیست؟
  3. متن پیام خطا نام یک متغیر محیطی را می‌آورد. تنظیم کردن این متغیر چه چیزی را تغییر می‌دهد و چه چیزی را دست‌نخورده باقی می‌گذارد؟
  4. خطوط استخر حافظه (pool) را در اجرایی که موفق بود بخوانید. مدل پیش‌نویس چقدر حافظه مصرف کرد و حدس‌زنی چه محدودیتی روی تعداد درخواست‌ها گذاشت؟
  5. پرامپت‌های بنچمارک 512 توکن داشتند. کدام حادثه در راهنما نشان می‌دهد که یک پیش‌نویس با 2,048 موقعیت روی ورودی‌های طولانی چه رفتاری دارد، و چطور باید این موضوع را پیش از محیط عملیاتی (Production) بسنجید؟

اول شواهد را بخوانید و به سؤال‌ها جواب بدهید، بعد راه‌حل را باز کنید.

راه‌حل گام‌به‌گام
  1. ردگیری خطا (traceback) را از پایین به بالا بخوانید تا به اولین فریمی که می‌شناسید برسید. فریم‌ها از اسکژولر وارد maybe_init_draft_worker می‌شوند، سپس به ورکر پیش‌نویس EAGLE می‌رسند، بعد وارد پیکربندی مدل می‌شوند و در نهایت خطا درون _derive_context_length رخ می‌دهد. بنابراین این بررسی متعلق به پیکربندی مدلِ پیش‌نویس است. این تابع، طول زمینه‌ی مدل هدف یعنی 262144 را با طولی که برای پیش‌نویس محاسبه کرده یعنی 2048 مقایسه می‌کند و چون مدل هدف بزرگ‌تر است، کار را رد می‌کند (امتناع مدل). آخرین جمله‌ی پیام راه خروج را نشان می‌دهد: متغیر محیطیِ SGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN=1 را تنظیم کنید.
  2. وضعیت را با جفتِ روی L4 مقایسه کنید. روی L4، مدل هدف با 6.41 گیگابایت حافظه‌ی خالی لود شد، پیش‌نویس از نوع LlamaForCausalLMEagle3 به میزان 1.90 گیگابایت دیگر حافظه گرفت، استخر به 8,827 توکن رسید و خط تنظیمات مقدار context_len=40960 را نشان می‌دهد. آن پیش‌نویس 40,960 موقعیت را اعلام کرده است که دقیقاً با مدل هدفش برابری می‌کند؛ در نتیجه این بررسی دلیلی برای رد کردن نداشت. این متغیر به پیکربندی یک پیش‌نویس خاص مربوط است، نه کل EAGLE-3. قاعده‌ی راهنما این است که قبل از فعال کردنش، مقدار max_position_embeddings را در هر دو پیکربندی مقایسه کنید.
  3. لاگ اجرایی را که بالا آمد بخوانید. دستور راهنما برای این جفت با همین متغیر شروع می‌شود. با تنظیم آن، همان هشدارِ مقایسه‌ی 262144 در برابر 2048 همچنان چاپ می‌شود، اما خط بعدی نشان می‌دهد چه تغییری رخ داده است: مقدار max_position_embeddings در مدل پیش‌نویس بازنویسی شده و به 262144 تغییر می‌یابد. راهنما درباره‌ی معنای این کار صریح است: این متغیر فقط بررسی را حذف می‌کند، اما به پیش‌نویس یاد نمی‌دهد که چطور پرامپت‌های طولانی را بخواند.
  4. ببینید پیش‌نویس چقدر هزینه داشته است. استخر مدل هدف 216,775 توکن را نگه می‌دارد که برای هر کدام از بخش‌های K و V مقدار 9.92 گیگابایت فضا می‌گیرد. مدل پیش‌نویس استخری با همان تعداد توکن دارد که پس از بارگذاری 1.58 گیگابایت وزن در مدت 1.30 ثانیه، برای هر بخش 0.21 گیگابایت فضا مصرف می‌کند. این راه‌اندازی همچنین مقدار max_running_requests را به 48 بازنشانی کرده است؛ سقفی که هر کنترل‌کننده‌ی (Handler) حدس‌زنی در صورت تعیین نکردن دستی اِعمال می‌کند. روی L4، همین ساختارِ پیش‌نویس، استخر را از 24,094 توکن به 8,827 رساند؛ پس روی کارت‌های کوچک، پیش‌نویس همان حافظه‌ای را می‌گیرد که دسته (batch) به آن نیاز دارد.
  5. حادثه‌ای را پیدا کنید که متغیر بازنویسی پنهانش می‌کند. در ایشوی شماره‌ی 6783 در فهرست حوادث راهنما، یک مدل 70B با EAGLE-3 و پیش‌نویسی با پیکربندی 2,048 موقعیت و بدون مقیاس‌بندی RoPE اجرا شد. میزان پذیرش توکن در ورودیِ 1k برابر با 3.2 توکن، در 3k برابر با 1.6 و در 10k به 1.2 رسید؛ تا جایی که در ورودی 10k، سرور سرعت 63.9 توکن بر ثانیه را ثبت کرد، در حالی که بدون حدس‌زنی سرعتش 102.7 بود. اضافه کردن مقیاس‌بندی RoPE و 131,072 موقعیت به پیکربندی پیش‌نویس مشکل را برطرف کرد. اجرای GB10 در راهنما از پرامپت‌های 512 توکنی استفاده کرده بود و می‌گوید این آزمایش هیچ دیدی درباره‌ی زمینه‌های طولانی به شما نمی‌دهد. راه سنجش این است که مقدار accept len را در خطوط لاگ رمزگشایی (decode) یا متریکِ sglang:spec_accept_length را در اندپوینت (Endpoint) متریک‌ها روی طولانی‌ترین پرامپت‌های خود بررسی کنید و زمان پردازش به ازای هر توکن را با حالتی که حدس‌زنی خاموش است مقایسه کنید.
نتیجه

مدل پیش‌نویس معیوب نیست. پیکربندی آن 2,048 موقعیت را اعلام می‌کند و بررسی طول زمینه در مقایسه با مدل هدفِ 262,144 توکنی جلویش را می‌گیرد. دستور موجود در راهنما متغیر را برای این جفت تنظیم می‌کند؛ با این کار، سرور با استخرِ هدف 216,775 توکنی، پیش‌نویس 1.58 گیگابایتی و سقف 48 درخواست هم‌زمان بالا آمد. ایشو برای سازندگان پیش‌نویس ارسال نشد.

سپس تیم به‌جای اینکه متغیر را یک راه‌حل بداند، آن را صرفاً یک بررسیِ حذف‌شده در نظر گرفت. آن‌ها طول پذیرش توکن را روی طولانی‌ترین پرامپت‌های خود با استفاده از لاگ رمزگشایی و اندپوینت متریک‌ها اندازه گرفتند و مقدار --max-running-requests را خودشان بر اساس همان میزان هم‌زمانی تنظیم کردند که حدس‌زنی در آزمون‌هایشان همچنان عملکرد بهتری ثبت می‌کرد. اگر نرخ پذیرش روی پرامپت‌های طولانی همانند ایشوی شماره‌ی 6783 افت کند، گام بعدیْ پیکربندی پیش‌نویس با مقیاس‌بندی RoPE و موقعیت‌های کافی، یا خاموش کردن حدس‌زنی برای آن بخش از ترافیک است؛ نه یک متغیر بازنویسیِ بزرگ‌تر.

مسیرهای اشتباه رایج
  • «مدل پیش‌نویس خراب است، باید مدل جدیدی بخواهیم.» پیش‌نویس به محض برداشته شدن بررسی، بارگذاری شد و سرویس داد. پیکربندی‌ای که 2,048 موقعیت مکانی دارد، نشان‌دهنده‌ی محدودیت آن پیش‌نویس است، نه نقصی در وزن‌های آن.
  • «این متغیر را در هر جا که EAGLE-3 اجرا می‌شود تنظیم کنیم.» پیش‌نویس روی L4 نیازی به متغیر نداشت، چون موقعیت‌هایش با مدل هدف هم‌خوانی داشت. متغیر را فقط پس از مقایسه‌ی دو پیکربندی و برای پیش‌نویسی فعال کنید که واقعاً به آن نیاز دارد.
  • «بازنویسی مشکل را حل کرد، پس پرامپت‌های طولانی مشکلی ندارند.» بازنویسی فقط یک بررسی را حذف می‌کند. در ایشوی شماره‌ی 6783، پیش‌نویسی با 2,048 موقعیت در ورودی 10k به پذیرش 1.2 توکن سقوط کرد و سرور را از حالت بدون حدس‌زنی هم کندتر کرد.
  • «طول زمینه‌ی مدل هدف را به 2048 کاهش دهیم تا بررسی تأیید شود.» این کار همه‌ی درخواست‌ها را به سقف پیش‌نویس محدود می‌کند و عملاً زمینه‌ی طولانی مدل 30B را که از ابتدا به خاطرش انتخاب شده بود از بین می‌برد. به‌جای این کار، پیکربندی پیش‌نویس را درست کنید یا همان محدودیت را بسنجید.
درس کلی

امتناع در زمان راه‌اندازی، حاصل بررسی توافق میان دو مؤلفه است و سریع‌ترین راه فرار، خاموش کردن آن بررسی است. اما پیش از این کار، بررسی کنید که هر طرف چه چیزی اعلام کرده و این اعتبارسنجی از چه چیزی محافظت می‌کرده است. وقتی بازنویسی بررسی را حذف می‌کند، ناهماهنگی اصلی همچنان سر جایش باقی می‌ماند؛ بنابراین اندازه‌گیری‌ای که بررسی به‌جای آن نشسته بود (اینجا: طول پذیرش روی پرامپت‌های طولانی) به وظیفه‌ی شما تبدیل می‌شود. دو پیکربندی را با هم مقایسه کنید، بررسی را فقط برای جفتی بردارید که به آن نیاز دارد، و حواستان به چیزی باشد که آن بررسی از آن محافظت می‌کرد.

کجای دوره آموزش داده می‌شود

صفحه‌ی دیکودینگ حدسی در SGLang 101 هر دو راه‌اندازی را در آنچه روی یک GB10 اندازه گرفتیم ثبت کرده، سقف پیش‌فرض را در محدودیتی که هیچ‌کس نخواسته بود آورده و شکست در پرامپت‌های طولانی را در بخش حوادث فهرست کرده است.