بخش 2.2 · مسیر درخواست

حلقه‌ی اسکژولر و ‎--schedule-policy

The scheduler loop and --schedule-policy

فهرست مطالب
  1. هزینه‌ی یک اولویت‌بندی نامناسب
  2. یک نوبت از حلقه
  3. دو خط لاگ
  4. سیاست‌ها
  5. اندازه‌ی تکه‌ها در مواجهه با پرامپت‌های طولانی
  6. موضع ما
  7. یک رخداد تجربی: محدودیتی که تنظیم می‌کنید، محدودیتی نیست که تحویل می‌گیرید

اسکژولر هر چند میلی‌ثانیه یک‌بار به یک پرسش پاسخ می‌دهد: پردازنده‌ی گرافیکی در گام بعدی کدام توکن‌ها را محاسبه کند؟ در نسخه‌ی v0.5.22، پاسخ پیش‌فرض آن «هر که زودتر بیاید، زودتر خدمت می‌گیرد» (FCFS) است.

هشت کاربر در یک ثانیه‌ی مشترک پرامپت می‌فرستند. یکی از آن‌ها متنی 4,000 توکنی را جای‌گذاری کرده و بقیه هر کدام یک جمله نوشته‌اند. آیا اول باید پرامپت طولانی پردازش شود یا پرامپت‌های کوتاه؟ آیا درخواستی که پرامپت سیستم مشترکی با ترافیک دیروز دارد، باید نوبت را دور بزند؟ در تک‌تک گام‌ها یک نفر باید در این باره تصمیم بگیرد، و در SGLang این وظیفه بر دوش حلقه‌ی اسکژولر است.

وقتی این بخش را تمام کنید، می‌توانید خطوط لاگ Prefill batch و Decode batch اسکژولر را بخوانید. می‌توانید سیاستِ مرتب‌کننده‌ی صف انتظار را نام ببرید و تصمیم بگیرید که آیا نیازی به تغییر آن هست یا خیر.

هزینه‌ی یک اولویت‌بندی نامناسب

برای یک مدل متراکم (dense) روی پردازنده‌ی گرافیکی متکی به پهنای باند حافظه (memory-bound)، هزینه‌ی یک گام رمزگشایی (decode) فرقی نمی‌کند توکن‌های 1 درخواست را محاسبه کند یا 8 درخواست را. روی کارت L4 ما با مدل Qwen3-8B، اجرای یک گام برای 1 کاربر 60 میلی‌ثانیه و برای 8 کاربر 66 میلی‌ثانیه طول کشید. اما در یک مدل ترکیبی از خبره‌ها (MoE) ماجرا فرق دارد. روی کارت GB10 ما، زمان گام از 33 میلی‌ثانیه به 102 میلی‌ثانیه رسید؛ چرا که یک دسته‌ی بزرگ‌تر می‌تواند خبره‌های بیشتری را بخواند.

بنابراین، اسکژولر دسته‌های بزرگ می‌خواهد. از سویی دیگر، کاربری که در صف منتظر می‌ماند هیچ خروجی‌ای نمی‌بیند؛ پس اسکژولر صف‌های خلوت هم می‌خواهد. هر سیاستی در واقع نوعی مصالحه میان این دو هزینه است.

راه‌حل بدیهی، مرتب‌سازی هوشمندانه‌ی درخواست‌هاست؛ مثلاً اولویت دادن به درخواستی که بیشترین پیشوند کش‌شده را دارد. مقاله‌ی SGLang دقیقاً همین ایده یعنی تطابق طولانی‌ترین پیشوند (longest prefix match) را پیشنهاد داد و اثبات کرد که برای یک دسته‌ی آفلاین در بهینه‌ترین حالت ممکن کار می‌کند {{paper}}. اما ترافیک آنلاین یک دسته‌ی آفلاین نیست، و اجرای این الگوریتم هوشمند در تک‌تک گام‌ها، زمان CPU مصرف می‌کند.

یک نوبت از حلقه

حلقه‌ی اسکژولر (Scheduler loop): تابعی که بی‌وقفه در فرایند اسکژولر اجرا می‌شود. هر نوبت (turn) درخواست‌های جدید را دریافت می‌کند، دسته‌ی بعدی را برمی‌گزیند، آن را روی پردازنده‌ی گرافیکی اجرا می‌کند و نتایج را پردازش می‌کند.

یک نوبت چهار کار را به ترتیب انجام می‌دهد {{code}}:

  1. دریافت (Ingest): تخلیه‌ی درخواست‌های جدید از سوکت ZMQ و افزودن آن‌ها به صف انتظار.
  2. انتخاب (Pick): اگر دسته‌ی قبلی از نوع پیش‌پرکنی (prefill) بود، آن را در دسته‌ی رمزگشایی در حال اجرا ادغام (merge) می‌کند. سپس تلاش می‌کند دسته‌ی پیش‌پرکنی جدیدی از صف انتظار بسازد. اگر وجود داشت، آن را اجرا می‌کند. در غیر این صورت، یک گام رمزگشایی برای تمام درخواست‌های فعال اجرا می‌کند.
  3. اجرا (Run): ساخت یک ForwardBatch از روی ScheduleBatch و اجرای مدل.
  4. پردازش (Process): الحاق توکن‌های نمونه‌برداری‌شده، بررسی شروط توقف (stop conditions)، آزادسازی یا ذخیره‌ی حافظه‌ی کلید-مقدار (KV) درخواست‌های پایان‌یافته، و ارسال نتایج به دیتوکنایزر.

یک درخواست وارد یک دسته‌ی پیش‌پرکنی می‌شود، احتمالاً در چند تکه (chunk) پیش می‌رود و سپس تا زمان توقف به دسته‌ی دیرپای رمزگشایی ملحق می‌شود. هر زمان که اسکژولر ظرفیت پذیرش داشته باشد، اولویت با پیش‌پرکنی است. این قاعده زمان تا اولین توکن (TTFT) را پایین نگه می‌دارد، و بخش 2.3 ارزیابی بودجه‌ای را نشان می‌دهد که تصمیم «امکان پذیرش» را می‌گیرد.

یک نوبت از حلقه‌ی اسکژولرهر نوبت درخواست‌ها را دریافت می‌کند، صف را طبق سیاست مرتب می‌سازد، آنچه در بودجه می‌گنجد را پذیرش می‌کند، و یک دسته‌ی پیش‌پرکنی یا یک گام رمزگشایی اجرا می‌کند.
یک نوبت از حلقه‌ی اسکژولر تابع ingest_requests درخواست‌های جدید را دریافت می‌کند، calc_priority صف انتظار را با حالت پیش‌فرض fcfs مرتب می‌سازد، و PrefillAdder.add_one_req تا زمانی که بودجه‌ی KV اجازه دهد درخواست‌ها را پذیرش می‌کند. اگر درخواستی پذیرش شود، نوبت یک دسته‌ی پیش‌پرکنی را اجرا می‌کند، در غیر این صورت یک گام رمزگشایی برای همه‌ی درخواست‌های در حال اجرا انجام می‌شود. سپس process_batch_result توکن‌ها را اضافه کرده و شرایط توقف را بررسی می‌کند و نوبت بعدی آغاز می‌شود. ingest_requests تخلیه‌ی ZMQ و افزودن به صف انتظار calc_priority مرتب‌سازی صف: پیش‌فرض fcfs PrefillAdder.add_one_req پذیرش تا حد مجاز بودجه‌ی KV پذیرش شد چیزی پذیرش نشد دسته‌ی پیش‌پرکنی فوروارد EXTEND درخواست‌های پذیرفته‌شده گام رمزگشایی یک توکن برای هر درخواستِ در حال اجرا process_batch_result الحاق توکن‌ها، بررسی توقف‌ها، ارسال نتایج نوبت بعدی
از بالا به پایین بخوانید. جعبه‌های کهربایی مراحل اسکژولر، جعبه‌ی سبز بررسی بودجه‌ی KV و جعبه‌های آلویی پردازش GPU هستند. نام توابع برگرفته از اسکژولر نسخه‌ی v0.5.22 است.

دو خط لاگ

اسکژولر برای هر دسته‌ی پیش‌پرکنی یک خط چاپ می‌کند و به ازای هر 40 گام رمزگشایی (مقدار پیش‌فرض --decode-log-interval) نیز یک خط لاگ رمزگشایی می‌اندازد {{code}}. این خطوط کاربردی‌ترین متنی هستند که سرور می‌نویسد. در اینجا سه خط متوالی از بنچمارک ما در همزمانی 8 را می‌بینید:

هشت درخواست، دو دسته‌ی پیش‌پرکنی، یک دسته‌ی رمزگشایی capture/out/server-default.log
[2026-10-16 13:59:07] Prefill batch, #new-seq: 1, #new-token: 511, #cached-token: 1, token usage: 0.00, #running-req: 0, #queue-req: 7, #pending-token: 0, cuda graph: False, input throughput (token/s): 155.03
[2026-10-16 13:59:09] Prefill batch, #new-seq: 7, #new-token: 3553, #cached-token: 2, token usage: 0.02, #running-req: 1, #queue-req: 0, #pending-token: 0, cuda graph: False, input throughput (token/s): 1914.13
[2026-10-16 13:59:09] Decode batch, #running-req: 8, #token: 4075, token usage: 0.02, cuda graph: False, gen throughput (token/s): 98.37, #queue-req: 0

سه خط متوالی از بنچمارک همزمانی 8.

فیلدها را بخوانید:

  • فیلد #new-seq تعداد درخواست‌هایی است که این پیش‌پرکنی می‌پذیرد. #new-token تعداد توکن‌های پرامپتی است که محاسبه می‌کند، و #cached-token تعداد توکن‌هایی است که دوباره از کش مبنا (radix cache) استفاده کرده است.
  • فیلد token usage سهم استفاده‌شده از استخر KV است. استخر ما بزرگ است، بنابراین مصرف در اینجا نزدیک به صفر می‌ماند.
  • فیلد #running-req تعداد درخواست‌های در حال رمزگشایی را می‌شمارد. #queue-req تعداد درخواست‌های منتظر در صف را می‌شمارد.
  • مقدار cuda graph: False روی مک کاملاً طبیعی است. در CUDA، مقدار True یعنی گام رمزگشایی یک گراف ذخیره‌شده (captured graph) را بازپخش (replay) کرده است؛ بخش 4.1 توضیح می‌دهد چرا این موضوع اهمیت دارد.

خط اول یک درخواست را می‌پذیرد، در حالی که هفت درخواست منتظرند. پیش‌پرکنی بعدی آن هفت تای دیگر را با هم می‌پذیرد: 3,553 توکن جدید در یک گام با سرعت 1,914 توکن بر ثانیه. سپس هر هشت درخواست در قالب یک دسته رمزگشایی می‌شوند. دسته‌بندی پیش‌پرکنی منشأ اصلی نرخ پردازش (throughput) است و لاگ رخ دادن آن را به چشم نشان می‌دهد.

سیاست‌ها

سیاست زمان‌بندی (Schedule policy): قاعده‌ای که صف انتظار را پیش از پذیرش مرتب می‌کند. آن را با --schedule-policy تنظیم کنید.

مقدار پیش‌فرض در نسخه‌ی v0.5.22 برابر با fcfs است {{code}}. گزینه‌ها به دو دسته تقسیم می‌شوند:

دسته سیاست‌ها مبنای عملکرد
آگاه از کش (Cache-aware) lpm، dfs-weight، hrrn، shortest-prefill-first درخت مبنا (radix tree): چه مقدار از هر پرامپت قبلاً کش شده است
ناآگاه از کش (Cache-agnostic) fcfs، lof، random، routing-key ترتیب ورود، طول خروجی یا یک کلید مسیریابی

تجزیه‌کننده‌ی آرگومان مقدار --schedule-policy priority را هم می‌پذیرد، اما اسکژولر چنین ترتیبی ندارد و سرور با پیام «Unknown schedule_policy» متوقف می‌شود. برای مرتب‌سازی بر اساس اولویت، از --enable-priority-scheduling همراه با fcfs استفاده کنید.

خیلی از خوانندگان انتظار گزینه‌ی lpm را دارند، چون در مقاله توصیف شده است. این گزینه در نسخه‌ی v0.4.3 پیش‌فرض بود و تا v0.4.6 به fcfs تبدیل شد. هنگام تحقیق برای این راهنما، پول‌ریکوئستی که این تغییر را ایجاد کرد پیدا نشد.

دو قاعده در کد، سیاست‌های آگاه از کش را محدود می‌کنند {{code}}:

  • وقتی صف انتظار بیش از 128 درخواست داشته باشد، lpm و hrrn برای آن نوبت به FCFS تغییر می‌یابند. در کامنت‌های کد دلیلش ذکر شده است: وقتی صف طولانی باشد، تطابق پیشوند (prefix match) و مرتب‌سازی هزینه‌ی پردازشی زیادی دارند.
  • وقتی کش مبنا خاموش باشد، سیاست‌های lpm، dfs-weight و hrrn تبدیل به FCFS می‌شوند. shortest-prefill-first هم اصلاً شروع به کار نمی‌کند.

بنابراین lpm فقط در یک محدوده‌ی باریک کارساز است: صف باید به اندازه‌ای شلوغ باشد که بازچینی ارزش داشته باشد، آن‌قدر خلوت باشد که زیر 128 بماند، و پر از پیشوندهای مشترک باشد.

اندازه‌ی تکه‌ها در مواجهه با پرامپت‌های طولانی

پیش‌پرکنی تکه‌ای (Chunked prefill): قاعده‌ای که پرامپت طولانی را به قطعاتی با حداکثر --chunked-prefill-size توکن می‌شکند؛ یعنی یک قطعه به ازای هر دسته‌ی پیش‌پرکنی. مقدار پیش‌فرض بسته به حافظه‌ی پردازنده‌ی گرافیکی تعیین می‌شود؛ همان‌طور که جدول بخش 4.1 نشان می‌دهد. این مقدار روی یک کارت L4 با حافظه‌ی 22 گیگابایت برابر با 4,096 و روی GB10 برابر با 8,192 است.

توصیه‌ی معمول این است که اندازه‌ی تکه را کوچک‌تر در نظر بگیرید تا گام‌های رمزگشایی در فاصله‌ی میان قطعات یک پرامپت طولانی دفعات بیشتری اجرا شوند. ما این توصیه را آزمایش کردیم. در هر اجرا، 48 پرامپت 1,024 تا 4,096 توکنی با 256 توکن خروجی ارسال شد. درخواست‌ها با نرخ پواسون 0.5، 1 یا 2 بر ثانیه با سه مقدار seed متفاوت وارد شدند.

پردازنده‌ی گرافیکی، مدل تکه (Chunk) نرخ، بر ثانیه توکن خروجی بر ثانیه میانه‌ی TTFT صدک 99 تاخیر بین‌توکنی (ITL) میانه‌ی کلاک SM
GB10، Qwen3-30B-A3B 8,192 (پیش‌فرض) 0.5 70.1 892 ms 929 ms 2,411 MHz
GB10، Qwen3-30B-A3B 1,024 0.5 68.1 1,253 ms 1,977 ms 2,398 MHz
GB10، Qwen3-30B-A3B 8,192 (پیش‌فرض) 2 129.3 269 ms 312 ms 2,411 MHz
GB10، Qwen3-30B-A3B 1,024 2 130.1 256 ms 260 ms 2,411 MHz
L4، Qwen3-8B 4,096 (پیش‌فرض) 0.5 44.1 36.0 s 2,579 ms 773 MHz
L4، Qwen3-8B 1,024 0.5 43.3 37.4 s 2,922 ms 690 MHz
L4، Qwen3-8B 4,096 (پیش‌فرض) 2 46.2 59.8 s 2,512 ms 915 MHz
L4، Qwen3-8B 1,024 2 44.0 62.5 s 2,930 ms 825 MHz

اندازه‌گیری‌های ما نشان داد که تکه‌ی کوچک‌تر روی هیچ‌کدام از دستگاه‌ها بهبودی به همراه نداشت. روی GB10 حالت پیش‌فرض، مقدار صریح 8,192 و مقدار 1,024 را اجرا کردیم. در نرخ‌های 1 و 2 درخواست بر ثانیه، نتایج هر سه حالت درون دامنه‌ی پراکندگی خطای seed یکدیگر قرار گرفتند. در نرخ 0.5 بر ثانیه، تکه‌ی 1,024 عملکرد بدتری داشت. صدک 99 تاخیر بین‌توکنی آن 1,977 در برابر 929 میلی‌ثانیه بود و بازه‌های داده‌های seed هیچ همپوشانی‌ای (overlap) نداشتند.

پژوهشی در سال 2025 درباره‌ی پیش‌پرکنی تکه‌ای روی مدل‌های MoE دلیل احتمالی این افت کارایی (loss) را بیان می‌کند. هر تکه از یک پرامپت، وزن‌های خبره را مجدداً لود می‌کند و در آن پژوهش، این لودهای اضافی ترافیک حافظه را تا 39 درصد افزایش دادند. مدل Qwen3-30B-A3B از نوع MoE است. با تکه‌ی 1,024، یک پرامپت حداکثر 4,096 توکنی در قالب حداکثر چهار تکه اجرا می‌شود. هر تکه دوباره سراغ خواندن خبره‌ها می‌رود. ما ترافیک خبره‌ها را مستقیماً اندازه نگرفتیم، بنابراین این فقط یک برداشت است نه یک نتیجه‌ی قطعی.

درباره‌ی نرخ‌های 1 و 2 بر ثانیه باید احتیاط دومی را هم مدنظر داشت. در هر seed، این پیمایش دقیقاً همان 48 پرامپت را در تمام نرخ‌ها به یک سرور یکسان فرستاد و کش را تخلیه نکرد. نرخ 0.5 اول از همه اجرا شد. استخر GB10 گنجایش نگهداری آن پرامپت‌ها را داشت، بنابراین اجراهای بعدی توانستند بسیاری از آن‌ها را در کش پیدا کنند. این موضوع می‌تواند توضیح دهد چرا اولین توکن در نرخ‌های 1 و 2 بر ثانیه سریع‌تر از 0.5 بود. بخش 5.1 پروتکلی را ارائه می‌دهد که جلوی این اتفاق را می‌گیرد.

روی کارت L4، این بار کاری در تمام نرخ‌ها بیش از توان پردازش کارت بود. خروجی در حوالی 44 توکن بر ثانیه ماند و میانه‌ی اولین توکن بین 36 تا 62 ثانیه طول کشید. کارت دچار افت فرکانس حرارتی (throttling) شد و میانه‌ی کلاک آن روی 690 تا 915 مگاهرتز ماند؛ این پیمایش هم اجراهای دچار افت فرکانس را تکرار نکرد. بدترین فاصله‌ی زمانی بین توکن‌ها با هر دو اندازه تکه بین 2.5 تا 2.9 ثانیه باقی ماند. اجراهای تکه‌ی 1,024 همچنین 80 تا 90 مگاهرتز کندتر از حالت پیش‌فرض در نرخ‌های 0.5 و 2 بر ثانیه کار کردند. بنابراین تفاوت اندک میان این دو اندازه تکه ناشی از اثر تکه‌بندی نیست.

قاعده‌ی اسکژولر که در ابتدای این بخش آمد با نتیجه‌ی L4 همخوانی دارد. هر زمان اسکژولر امکان پذیرش داشته باشد، اولویت با پیش‌پرکنی است. با یک صف پر، تکه‌ی کوچک‌تر نوبت‌های پیش‌پرکنی بیشتری پیش از گام‌های رمزگشایی می‌افزاید و استریم همچنان معطل می‌ماند.

فلگ --enable-mixed-chunk توکن‌های رمزگشایی را داخل دسته‌ی پیش‌پرکنی می‌گذارد تا گام رمزگشایی منتظر یک نوبت پیش‌پرکنی نماند. آن را روی L4 در مقایسه با یک اجرای پیش‌فرض جدید در همان نشست (session) با میانه‌ی کلاک 953 تا 1,095 مگاهرتز تست کردیم.

نرخ، بر ثانیه توکن خروجی بر ثانیه، پیش‌فرض / تکه‌ی ترکیبی صدک 99 تاخیر بین‌توکنی، پیش‌فرض / تکه‌ی ترکیبی
0.5 46.5 / 46.5 2,521 / 2,406 ms
1 46.6 / 47.5 2,491 / 2,289 ms
2 47.3 / 47.6 2,572 / 2,418 ms

تکه‌ی ترکیبی میانه‌ی صدک 99 تاخیر بین‌توکنی را 5 تا 8 درصد کاهش داد، و بازه‌های seed در تمام نرخ‌ها همپوشانی داشتند. با این حال بدترین فاصله‌ی زمانی بین توکن‌ها همچنان بیش از 2.2 ثانیه زمان برد. روی کارت L4 ما با مدل Qwen3-8B، کارتی که از پس این پرامپت‌ها برنمی‌آید، هیچ‌کدام از فلگ‌ها جریان کاری (flow) روانی به استریم ندادند. انتظار داریم راه‌حل، ظرفیت پیش‌پرکنی بیشتر یا پرامپت‌های طولانی کمتر در ثانیه باشد، اما آن را آزمایش نکردیم.

کارت GB10 از پس این بار برمی‌آید و آنجا تکه‌ی ترکیبی واقعاً مفید بود. آن را با همان پیمایش در تاریخ 2026-10-21 در برابر یک اجرای پیش‌فرض جدید در همان روز تست کردیم. سرور پیش‌فرض استخری معادل 251,910 توکن و سرور دارای تکه‌ی ترکیبی 236,751 توکن در اختیار داشتند. در تمام اجراها، میانه‌ی کلاک روی 2,405 مگاهرتز یا بالاتر بود.

استخر GB10 با تکه‌ی ترکیبی (mixed chunk) capture/gpu/out-gb10/server-mixed-chunk.log
[2026-10-21 06:26:47] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 236751, K size: 10.84 GB, V size: 10.84 GB

وضعیت استخر هنگام راه‌اندازی سرور با آرگومان ‎--enable-mixed-chunk.

نرخ، بر ثانیه صدک 99 تاخیر بین‌توکنی، پیش‌فرض / تکه‌ی ترکیبی میانه‌ی TTFT، پیش‌فرض / تکه‌ی ترکیبی توکن خروجی بر ثانیه، پیش‌فرض / تکه‌ی ترکیبی
0.5 922 / 781 ms 841 / 910 ms 70.9 / 72.1
1 219 / 177 ms 244 / 362 ms 108.8 / 112.6
2 261 / 221 ms 238 / 416 ms 133.2 / 138.1

اندازه‌گیری‌های ما نشان داد که جریان روان‌تر شد اما توکن اول کندتر دریافت شد. صدک 99 تاخیر بین‌توکنی در نرخ‌های 0.5 و 2 بر ثانیه، بین 15 تا 19 درصد کاهش یافت که بیرون از بازه‌ی پراکندگی seed بود. میانه‌ی TTFT در نرخ‌های 1 و 2 بر ثانیه 49 تا 74 درصد افزایش یافت که فراتر از بازه‌ی پراکندگی seed بود. نرخ پردازش هم 2 تا 4 درصد بیشتر شد که درون بازه‌ی پراکندگی جای می‌گرفت.

اجرای پیش‌فرض از تاریخ 2026-10-17 نیز همین سوگیری را نشان داد. در مقایسه با آن، صدک 99 تاخیر بین‌توکنی بین 16 تا 29 درصد افت کرد. میانه‌ی TTFT در نرخ‌های 1 و 2 بر ثانیه، 35 و 54 درصد بالا رفت. اخطار فوق درباره‌ی کش برای هر دو سرور در نرخ‌های 1 و 2 بر ثانیه صدق می‌کند.

روی دو کارت گرافیک ما با این بار کاری، این فلگ یک بده‌بستان بود و خود کارت تعیین می‌کرد چه چیزی نصیب شما شود. وقتی پیش‌پرکنی کشش داشته باشد، توکن‌های رمزگشایی که همراه با دسته‌ی پیش‌پرکنی پردازش می‌شوند دیگر معطل نمی‌مانند، و هر پرامپت جدید اندکی بیشتر منتظر می‌ماند. وقتی پیش‌پرکنی کشش ندارد (مثل کارت L4)، صف سرعت کار را تعیین می‌کند و این فلگ تغییر چندانی ایجاد نمی‌کند.

تکه‌ی بزرگ‌تری که راه‌اندازی نشد capture/gpu/incidents/l4-chunk-8192-prefill-graph-oom.txt
[2026-10-18 07:27:15] Memory pool end. avail mem=2.90 GB
Capturing prefill shape (num_tokens=8192 avail_mem=2.33 GB)
torch.AcceleratorError: CUDA error: out of memory
[2026-10-18 07:28:44] RuntimeError: num_active_captures_ > 0 INTERNAL ASSERT FAILED at "/__w/pytorch/pytorch/c10/cuda/CUDACachingAllocator.cpp":3209, please report a bug to PyTorch. markCaptureEnd called with no captures in progress

اجرای SGLang 0.5.22 روی L4 با آرگومان ‎--chunked-prefill-size 8192. خطای نهایی به PyTorch اشاره می‌کند و علت آن دو خط بالاتر آمده است.

حالت عکس روی کارت L4 در همان ابتدای راه‌اندازی شکست خورد. با تکه‌ی 8,192، استخر KV مثل قبل 24,094 توکن گرفت. سپس گراف پیش‌پرکنی برای 8,192 توکن به حافظه‌ای فراتر از 2.33 گیگابایتِ باقی‌مانده نیاز پیدا کرد. آخرین خط لاگ، یک assert در PyTorch است که تقاضای گزارش باگ می‌کند. خطای واقعی، همان خط کمبود حافظه (out-of-memory) بالای آن است.

موضع ما

روی همان fcfs بمانید. منصفانه است، صف را بر اساس پیشوند مرتب نمی‌کند، و کش مبنا همچنان اصابت‌های کش را به شما می‌دهد. یک پیشوند مشترک که زودتر رسیده باشد در درخت حضور دارد و درخواست بعدی بدون توجه به ترتیب با آن تطابق می‌یابد.

فقط زمانی سراغ lpm بروید که هر سه شرط زیر برقرار باشند: ترافیک شما دارای پیشوندهای طولانی مشترک باشد؛ عمق صف معمولاً بین چند عدد تا 128 درخواست باشد؛ و نرخ اصابت کش (hit rate) را قبل و بعد با اندپوینت /metrics اندازه گرفته باشید. بخش 5.2 سری داده‌های cache_hit_rate را برای مقایسه نشان می‌دهد.

اگر به سطوح مختلف کاربران نیاز دارید، به جای سیاست کش از --enable-priority-scheduling استفاده کنید. در این حالت یک درخواست جدید می‌تواند پیش‌دستی (preempt) کند و جای درخواست‌های در حال اجرا را بگیرد، مشروط بر اینکه اولویتش به اندازه‌ی --priority-scheduling-preemption-threshold (به طور پیش‌فرض 10) از آن‌ها بیشتر باشد {{code}}.

یک رخداد تجربی: محدودیتی که تنظیم می‌کنید، محدودیتی نیست که تحویل می‌گیرید

کاربری یک مدل ترکیبی Mamba را بالا آورد و گزینه‌ی --max-running-requests 8 را تنظیم کرد {{issue #36889}}. سرور این فلگ را پذیرفت و عدد 8 را اعلام کرد. با این حال، نرخ پردازش در نهایت روی 2 استریم درجا زد. تنها یک خط info در لاگ می‌گفت که کش وضعیت Mamba، مقدار max_running_requests را به 2 محدود کرده است.

حلقه‌ی اسکژولر تمام محدودیت‌ها را هم‌زمان ارزیابی می‌کند و کوچک‌ترین محدودیت برنده می‌شود. راه‌حلی که گزارش‌دهنده به کار برد، افزایش کش Mamba بود: استفاده از --max-mamba-cache-size 40 با وضعیت bf16 و --mem-fraction-static 0.90 که به 75 درصد نرخ پردازش بیشتر در همزمانی 12 انجامید. در نسخه‌ی v0.5.22 این محدودسازی به صورت یک هشدار است. به لاگ نگاه کنید تا ببینید حلقه در عمل از چه محدودیتی استفاده می‌کند، نه آنچه خودتان تایپ کرده‌اید.

منابع: python/sglang/srt/managers/scheduler.py (توابع run_event_loop،‏ event_loop_normal،‏ get_next_batch_to_run،‏ run_batch،‏ process_batch_result)، ‏python/sglang/srt/managers/schedule_policy.py (توابع و کلاس‌های CacheAwarePolicy،‏ CacheAgnosticPolicy،‏ WAITING_QUEUE_PREFIX_MATCH_MAX،‏ _determine_active_policy،‏ _validate_and_adjust_policy)، ‏python/sglang/srt/arg_groups/fields/schedule.py در v0.5.22؛ مقاله‌ی SGLang، ‏arXiv 2312.07104؛ فایل capture/out/server-default.log؛ ایشوی https://github.com/sgl-project/sglang/issues/36889؛ گزارش‌های capture/gpu/summary/gb10.json و capture/gpu/summary/l4.json (تست‌های mixed)؛ capture/gpu/sweep.py (پیمایش mixed)؛ capture/gpu/incidents/l4-chunk-8192-prefill-graph-oom.txt؛ capture/gpu/out-gb10/server-mixed-chunk.log، ‏capture/gpu/summary/gb10.json (بخش‌های mixed.mixed-chunk،‏ mixed.graphs-on-b)، ‏capture/gpu/out-gb10/server-pools.log، ‏Lee و دیگران، From Tokens to Layers: Redefining Stall-Free Scheduling for MoE Serving with Layered Prefill، ‏arXiv 2510.08055 (2025-10)؛ ‏capture/gpu/sweep.py (برنامه‌ی پیمایش mixed).

ترجمه‌ی فارسی The scheduler loop and --schedule-policy از راهنمای SGLang 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما