سناریوی رخداد

بار بیشتر، زمان توکن اول را کمتر کرد

More load gave a faster first token

  • سطح ۳: ارشد
  • سناریوی رخداد
  • ۲۵ دقیقه

وضعیت

یک کیت بنچمارک، یک سرور SGLang را با مدل Qwen/Qwen3-30B-A3B-Instruct-2507 بالا می‌آورد و آزمون روبش بار (load sweep) را روی آن اجرا می‌کند. در هر دور، پرامپت‌های تصادفی با 512 توکن ارسال می‌شوند و 128 توکن خروجی خواسته می‌شود. این کیت هر سقف همروندی (concurrency cap) را یک بار و پشت‌سرهم، روی همان سرور اجرا می‌کند.

گزارش نشان می‌دهد که سقف 8 به میانه‌ی توکن اولِ 677.61 میلی‌ثانیه رسید و سقف 32 به 390.38 میلی‌ثانیه. چهار برابر بار بیشتر، توکن اول سریع‌تری داد. یکی از هم‌تیمی‌ها می‌خواهد نتیجه را با عنوان «اسکژولر زیر بار بهینه‌تر عمل می‌کند» منتشر کند. شما پیش از انتشار، این اجرا را بازبینی می‌کنید.

نسخه
SGLang 0.5.22
مدل
Qwen/Qwen3-30B-A3B-Instruct-2507
سخت‌افزار
one GB10 (DGX Spark)

شواهد

client-arguments.txt
title: the client arguments of the run at a cap of 32
source: manuals/sglang-101/capture/gpu/out-gb10/bench-random-c32.txt
lines: 1-1
lang: text
note: Look for the dataset, the seed and the cache flush.
---
benchmark_args=Namespace(backend='sglang', base_url=None, host='0.0.0.0', port=30000, ready_check_timeout_sec=60, dataset_name='random', dataset_path='~/sglang-lab/hf/hub/datasets--anon8231489123--ShareGPT_Vicuna_unfiltered/snapshots/192ab2185289094fc556ec8ce5ce1e8e587154ca/ShareGPT_V3_unfiltered_cleaned_split.json', dataset_offset=0, agentic_max_turns=None, speed_bench_category=None, speed_bench_output_len=512, model=None, served_model_name=None, tokenizer=None, num_prompts=128, sharegpt_output_len=None, sharegpt_context_len=None, random_input_len=512, random_output_len=128, random_range_ratio=1.0, image_count=1, image_resolution='1080p', random_image_count=False, image_format='jpeg', image_content='random', request_rate=inf, use_trace_timestamps=False, max_concurrency=32, output_file='~/sglang-lab/kit/capture/gpu/out-gb10/bench-random-c32.jsonl', output_details=False, print_requests=False, disable_tqdm=False, disable_stream=False, return_logprob=False, top_logprobs_num=0, token_ids_logprob=None, logprob_start_len=-1, return_routed_experts=False, cache_report=False, seed=7, disable_ignore_eos=False, temperature=0.0, top_p=1.0, extra_request_body=None, apply_chat_template=False, profile=False, plot_throughput=False, profile_activities=['CPU', 'GPU'], profile_start_step=None, profile_steps=None, profile_num_steps=None, profile_by_stage=False, profile_stages=None, profile_output_dir=None, profile_prefix=None, lora_name=None, lora_request_distribution='uniform', lora_zipf_alpha=1.5, prompt_suffix='', pd_separated=False, profile_prefill_url=None, profile_decode_url=None, flush_cache=False, flush_cache_timeout=60.0, warmup_requests=1, tokenize_prompt=False, gsp_num_groups=64, gsp_prompts_per_group=16, gsp_system_prompt_len=2048, gsp_question_len=128, gsp_output_len=256, gsp_range_ratio=1.0, gsp_fast_prepare=False, gsp_send_routing_key=False, gsp_num_turns=1, gsp_ordered=False, gsp_group_distribution='uniform', gsp_zipf_alpha=None, mooncake_slowdown_factor=1.0, mooncake_num_rounds=1, mooncake_workload='conversation', fake_prefill=False, tag=None, header=None, rust_client=False, rust_worker_threads=None)
flush-test.txt
title: one load four times in a row, with and without a flush
source: manuals/sglang-101/capture/gpu/out-l4/prefix-cache-flush.txt
lines: 9-11
lang: text
note: A smaller model on another GPU. Read the ratios, not the times.
---
engine        fresh   repeat, not flushed   repeat after a flush   repeat, not flushed
SGLang 0.6B   394     82.5                  289                    77
vLLM 0.6B     925     148                   1,163                  184
prefill-lines.txt
title: two prefill lines from the run at a cap of 32
source: manuals/sglang-101/capture/gpu/out-gb10/server-default.log
lines: 341-342
lang: text
note: Compare the new tokens with the cached tokens in each batch.
---
[2026-10-17 14:23:00] Prefill batch, #new-seq: 14, #new-token: 14, #cached-token: 6879, token usage: 0.07, #running-req: 1, #queue-req: 0, #pending-token: 0, cuda graph: True, input throughput (token/s): 108.68
[2026-10-17 14:23:00] Prefill batch, #new-seq: 15, #new-token: 15, #cached-token: 7634, token usage: 0.07, #running-req: 15, #queue-req: 0, #pending-token: 0, cuda graph: True, input throughput (token/s): 113.27
server-command.txt
title: the server under test
source: manuals/sglang-101/capture/gpu/out-gb10/server-default.command.txt
lang: text
note: The command that the benchmark kit used to start the server. Note what is on and what is not.
---
sglang serve --model-path Qwen/Qwen3-30B-A3B-Instruct-2507 --host 127.0.0.1 --port 30000 --enable-cache-report --enable-metrics --mem-fraction-static 0.7
three-seed-rerun.txt
title: the same caps again, with three seeds
source: manuals/sglang-101/sections/5-1-sglang-benchmark-serving.md
lines: 144-147
lang: text
note: The single kit run against a sweep with seeds 1, 2 and 3 on the same machine.
---
| Cap | Single kit run, median TTFT | Three seeds, median TTFT (lowest to highest) |
|---|---|---|
| 8 | 677.61 ms | 209.98 ms (185.25 to 216.02) |
| 32 | 390.38 ms | 416.37 ms (338.06 to 434.64) |
ttft-cap-32.txt
title: time to first token at a cap of 32
source: manuals/sglang-101/capture/gpu/out-gb10/bench-random-c32.txt
lines: 34-39
lang: text
note: The first-token block of the report for 128 requests at a cap of 32. Compare the median with the cap of 8.
---
---------------Time to First Token----------------
Mean TTFT (ms):                          1166.51   
Median TTFT (ms):                        390.38    
P90 TTFT (ms):                           2887.53   
P95 TTFT (ms):                           2889.80   
P99 TTFT (ms):                           2910.22   
ttft-cap-8.txt
title: time to first token at a cap of 8
source: manuals/sglang-101/capture/gpu/out-gb10/bench-random-c8.txt
lines: 34-39
lang: text
note: The first-token block of the report for 64 requests at a cap of 8.
---
---------------Time to First Token----------------
Mean TTFT (ms):                          681.92    
Median TTFT (ms):                        677.61    
P90 TTFT (ms):                           1189.25   
P95 TTFT (ms):                           1194.16   
P99 TTFT (ms):                           1194.93   

سؤال‌ها

  1. کدام توجیه‌ها با کاهش میانه‌ی زمان توکن اول با افزایش بار همخوانی دارند؟ پیش از خواندن لاگ‌ها، دست‌کم دو مورد را نام ببرید.
  2. میانگین و P99 در سقف 32 بسیار بالاتر از میانه‌اند. این شکل توزیع چه پیامی دارد؟
  3. چه چیزی در آرگومان‌های کلاینت باعث می‌شود دو اجرا پرامپت‌های یکسانی بفرستند؟
  4. خطوط پیش‌پرکنی چه چیزی را ثابت می‌کنند و چه چیزی را ثابت نمی‌کنند؟
  5. چگونه آزمون روبش را دوباره اجرا می‌کنید تا نتیجه قابل اعتماد باشد؟

اول شواهد را بخوانید و به سؤال‌ها جواب بدهید، بعد راه‌حل را باز کنید.

راه‌حل گام‌به‌گام
  1. به یک تک‌نمونه شک کنید. هیچ مدل صف‌بندی‌ای زمان توکن اول را با بار بیشتر، سریع‌تر نمی‌کند. هر سقف همروندی فقط یک بار اجرا شد؛ پس متهم اول، روش اجراست نه اسکژولر. دلایل احتمالی را فهرست کنید: کَش گرم (warm cache)، کلاک متفاوت GPU، استخر حافظه‌ی متفاوت یا وجود نویز در یک اجرا.
  2. کل توزیع را بخوانید. در سقف 32، میانه 390.38 میلی‌ثانیه بود، اما میانگین 1166.51 میلی‌ثانیه و P99 برابر با 2910.22 میلی‌ثانیه شد. وقتی میانه بسیار پایین‌تر از میانگین است، نشان می‌دهد درخواست‌ها به دو دسته‌ی سریع و کند تقسیم شده‌اند. عاملی باعث شده بخشی از درخواست‌ها کم‌هزینه تمام شوند.
  3. آرگومان‌های کلاینت را بخوانید. این اجرا از دیتاست تصادفی با seed=7 و flush_cache=False استفاده کرد. سید یکسان در هر اجرا، همان پرامپت‌های اولیه را دوباره می‌فرستد. هیچ‌چیز هم کَش را بین اجراهای متوالی روی همان سرور پاکسازی نکرده بود.
  4. لاگ سرور را بخوانید. دو دسته‌ی پیش‌پرکنی، 14 و 15 درخواست را پذیرش کردند که هرکدام فقط به یک توکن جدید نیاز داشتند و 6879 و 7634 توکنِ کَش‌شده داشتند. این پرامپت‌ها از قبل درون کَشِ اجرای پیشین باقی مانده بودند. پرامپت کَش‌شده از مرحله‌ی پیش‌پرکنی عبور می‌کند؛ به همین دلیل توکن اول آن سریع آماده می‌شود.
  5. بشمارید، سپس آزمایش کنید. مستندات، خطوط پیش‌پرکنی هر اجرا را شمرد. در سقف 32، از بین 128 پرامپت، 64 مورد پیش از شروع اجرا در کَش بودند. در سقف 8، این عدد 16 مورد از 64 پرامپت بود. نیمی از درخواست‌ها در سقف 32 مزیت داشتند و فقط یک‌چهارم در سقف 8. سپس متغیری را که تحلیل‌تان مقصر می‌داند تغییر دهید: هر سقف را با سه سید مختلف اجرا کنید؛ دیگر با نتیجه‌ی 677.61 میلی‌ثانیه روبه‌رو نخواهید شد.
نتیجه

کَش پیشوند (prefix cache) عامل ثبت این نتیجه بود. کیت تست از یک سید و یک سرور استفاده‌ی مجدد کرد و هرگز کَش را خالی نکرد؛ بنابراین هر اجرا پرامپت‌های اجرای قبلی را آماده پیدا کرد. روبش بار با سیدهای 1، 2 و 3 به میانه‌ی 209.98 میلی‌ثانیه در سقف 8 و 416.37 میلی‌ثانیه در سقف 32 رسید. در اجراهای تمیز، با بالا رفتن سقف، زمان توکن اول بیشتر می‌شود؛ دقیقاً همان‌طور که مدل صف پیش‌بینی می‌کند.

راه‌حل، تدوین یک پروتکل است نه دستکاری تنظیمات سرور:

  1. هر اجرا را با کَش خالی شروع کنید. فلگ --flush-cache را به کلاینت بنچمارک بدهید، اندپوینت POST /flush_cache را فراخوانی کنید یا سرور را ری‌استارت نمایید.
  2. مطمئن شوید پاکسازی انجام شده باشد. سرور تنها زمانی کَش را پاک می‌کند که هیچ درخواستی در حال اجرا یا منتظر نباشد.
  3. در هر اجرا از سید جدیدی استفاده کنید تا کلاینت پرامپت‌های تازه بفرستد.
  4. متریک sglang:cached_tokens_total را قبل و بعد از هر اجرا ثبت کنید و توکن‌های کَش‌شده را کنار نتیجه بنویسید.

یک آزمون جداگانه روی پردازنده‌ی L4 بزرگی این اثر را اندازه گرفت: تکرار تست بدون پاکسازی کَش، میانه‌ی زمان توکن اول را حدود 4.8 برابر کمتر از اجرای دست‌نخورده (fresh run) نشان داد. پس از پاکسازی، عدد به مقدار اجرای دست‌نخورده نزدیک شد.

مسیرهای اشتباه رایج
  • «اسکژولر در سقف‌های بالا دسته‌بندی بهتری انجام می‌دهد.» صف فقط می‌تواند زمان انتظار اضافه کند. میانه به این دلیل افت کرد که کَش، بار محاسباتی پیش‌پرکنی را حذف کرد.
  • «کَش پیشوند را برای بنچمارک خاموش کنید.» محیط عملیاتی (production) با کَش روشن کار می‌کند. کَش را بین اجراها ریست کنید و نرخ اصابت به کَش (hits) را ثبت نمایید تا آزمون، سرور واقعی را بسنجد.
  • «در هر سقف، درخواست‌های بیشتری با همان سید بفرستید.» درخواست‌های بیشتر با همان سید، همان پرامپت‌ها را تکرار می‌کنند و کَش را گرم نگه می‌دارند.
  • «کلاک GPU را مقصر بدانید.» تغییر فرکانس کلاک می‌تواند نتیجه را تغییر دهد، اما خطوط پیش‌پرکنی توکن‌های کَش‌شده را نشان می‌دهند؛ چیزی که تغییر کلاک هرگز نمی‌تواند تولید کند.
درس کلی

بنچمارکی که ورودی‌هایش را تکرار کند، در واقع کَشِ خودش را می‌سنجد. قبل از اینکه به نتیجه‌ای خلاف جهتِ منطقی اعتماد کنید، کل توزیع را بخوانید، بررسی کنید کدام داده‌ها بین اجراها باقی مانده‌اند و همان تک‌متغیری را تغییر دهید که تحلیل‌تان مقصر می‌داند. برای هر نقطه سه سید اجرا کنید و بازه را گزارش دهید. زمان به ازای هر توکن (TPOT) نسبت به توکن اول کمتر در معرض این خطاست، زیرا اصابت به کَش بار پیش‌پرکنی را حذف می‌کند اما کار رمزگشایی (decode) را دست‌نخورده باقی می‌گذارد.

کجای دوره آموزش داده می‌شود

بخش بنچمارک در راهنمای SGLang 101 این نتیجه و علت آن را ردیابی می‌کند، و درس آزمون بارگذاری توضیح می‌دهد که چرا ارسال پرامپت‌های یکسان در یک حلقه، تنها یک حالت را ارزیابی می‌کند.