اسکژولر هر چند میلیثانیه یکبار به یک پرسش پاسخ میدهد: پردازندهی گرافیکی در گام بعدی کدام توکنها را محاسبه کند؟ در نسخهی v0.5.22، پاسخ پیشفرض آن «هر که زودتر بیاید، زودتر خدمت میگیرد» (FCFS) است.
هشت کاربر در یک ثانیهی مشترک پرامپت میفرستند. یکی از آنها متنی 4,000 توکنی را جایگذاری کرده و بقیه هر کدام یک جمله نوشتهاند. آیا اول باید پرامپت طولانی پردازش شود یا پرامپتهای کوتاه؟ آیا درخواستی که پرامپت سیستم مشترکی با ترافیک دیروز دارد، باید نوبت را دور بزند؟ در تکتک گامها یک نفر باید در این باره تصمیم بگیرد، و در SGLang این وظیفه بر دوش حلقهی اسکژولر است.
وقتی این بخش را تمام کنید، میتوانید خطوط لاگ Prefill batch و Decode batch اسکژولر را بخوانید. میتوانید سیاستِ مرتبکنندهی صف انتظار را نام ببرید و تصمیم بگیرید که آیا نیازی به تغییر آن هست یا خیر.
هزینهی یک اولویتبندی نامناسب
برای یک مدل متراکم (dense) روی پردازندهی گرافیکی متکی به پهنای باند حافظه (memory-bound)، هزینهی یک گام رمزگشایی (decode) فرقی نمیکند توکنهای 1 درخواست را محاسبه کند یا 8 درخواست را. روی کارت L4 ما با مدل Qwen3-8B، اجرای یک گام برای 1 کاربر 60 میلیثانیه و برای 8 کاربر 66 میلیثانیه طول کشید. اما در یک مدل ترکیبی از خبرهها (MoE) ماجرا فرق دارد. روی کارت GB10 ما، زمان گام از 33 میلیثانیه به 102 میلیثانیه رسید؛ چرا که یک دستهی بزرگتر میتواند خبرههای بیشتری را بخواند.
بنابراین، اسکژولر دستههای بزرگ میخواهد. از سویی دیگر، کاربری که در صف منتظر میماند هیچ خروجیای نمیبیند؛ پس اسکژولر صفهای خلوت هم میخواهد. هر سیاستی در واقع نوعی مصالحه میان این دو هزینه است.
راهحل بدیهی، مرتبسازی هوشمندانهی درخواستهاست؛ مثلاً اولویت دادن به درخواستی که بیشترین پیشوند کششده را دارد. مقالهی SGLang دقیقاً همین ایده یعنی تطابق طولانیترین پیشوند (longest prefix match) را پیشنهاد داد و اثبات کرد که برای یک دستهی آفلاین در بهینهترین حالت ممکن کار میکند {{paper}}. اما ترافیک آنلاین یک دستهی آفلاین نیست، و اجرای این الگوریتم هوشمند در تکتک گامها، زمان CPU مصرف میکند.
یک نوبت از حلقه
حلقهی اسکژولر (Scheduler loop): تابعی که بیوقفه در فرایند اسکژولر اجرا میشود. هر نوبت (turn) درخواستهای جدید را دریافت میکند، دستهی بعدی را برمیگزیند، آن را روی پردازندهی گرافیکی اجرا میکند و نتایج را پردازش میکند.
یک نوبت چهار کار را به ترتیب انجام میدهد {{code}}:
- دریافت (Ingest): تخلیهی درخواستهای جدید از سوکت ZMQ و افزودن آنها به صف انتظار.
- انتخاب (Pick): اگر دستهی قبلی از نوع پیشپرکنی (prefill) بود، آن را در دستهی رمزگشایی در حال اجرا ادغام (merge) میکند. سپس تلاش میکند دستهی پیشپرکنی جدیدی از صف انتظار بسازد. اگر وجود داشت، آن را اجرا میکند. در غیر این صورت، یک گام رمزگشایی برای تمام درخواستهای فعال اجرا میکند.
- اجرا (Run): ساخت یک
ForwardBatchاز رویScheduleBatchو اجرای مدل. - پردازش (Process): الحاق توکنهای نمونهبرداریشده، بررسی شروط توقف (stop conditions)، آزادسازی یا ذخیرهی حافظهی کلید-مقدار (KV) درخواستهای پایانیافته، و ارسال نتایج به دیتوکنایزر.
یک درخواست وارد یک دستهی پیشپرکنی میشود، احتمالاً در چند تکه (chunk) پیش میرود و سپس تا زمان توقف به دستهی دیرپای رمزگشایی ملحق میشود. هر زمان که اسکژولر ظرفیت پذیرش داشته باشد، اولویت با پیشپرکنی است. این قاعده زمان تا اولین توکن (TTFT) را پایین نگه میدارد، و بخش 2.3 ارزیابی بودجهای را نشان میدهد که تصمیم «امکان پذیرش» را میگیرد.
دو خط لاگ
اسکژولر برای هر دستهی پیشپرکنی یک خط چاپ میکند و به ازای هر 40 گام رمزگشایی (مقدار پیشفرض --decode-log-interval) نیز یک خط لاگ رمزگشایی میاندازد {{code}}. این خطوط کاربردیترین متنی هستند که سرور مینویسد. در اینجا سه خط متوالی از بنچمارک ما در همزمانی 8 را میبینید:
[2026-10-16 13:59:07] Prefill batch, #new-seq: 1, #new-token: 511, #cached-token: 1, token usage: 0.00, #running-req: 0, #queue-req: 7, #pending-token: 0, cuda graph: False, input throughput (token/s): 155.03
[2026-10-16 13:59:09] Prefill batch, #new-seq: 7, #new-token: 3553, #cached-token: 2, token usage: 0.02, #running-req: 1, #queue-req: 0, #pending-token: 0, cuda graph: False, input throughput (token/s): 1914.13
[2026-10-16 13:59:09] Decode batch, #running-req: 8, #token: 4075, token usage: 0.02, cuda graph: False, gen throughput (token/s): 98.37, #queue-req: 0سه خط متوالی از بنچمارک همزمانی 8.
فیلدها را بخوانید:
- فیلد
#new-seqتعداد درخواستهایی است که این پیشپرکنی میپذیرد.#new-tokenتعداد توکنهای پرامپتی است که محاسبه میکند، و#cached-tokenتعداد توکنهایی است که دوباره از کش مبنا (radix cache) استفاده کرده است. - فیلد
token usageسهم استفادهشده از استخر KV است. استخر ما بزرگ است، بنابراین مصرف در اینجا نزدیک به صفر میماند. - فیلد
#running-reqتعداد درخواستهای در حال رمزگشایی را میشمارد.#queue-reqتعداد درخواستهای منتظر در صف را میشمارد. - مقدار
cuda graph: Falseروی مک کاملاً طبیعی است. در CUDA، مقدارTrueیعنی گام رمزگشایی یک گراف ذخیرهشده (captured graph) را بازپخش (replay) کرده است؛ بخش 4.1 توضیح میدهد چرا این موضوع اهمیت دارد.
خط اول یک درخواست را میپذیرد، در حالی که هفت درخواست منتظرند. پیشپرکنی بعدی آن هفت تای دیگر را با هم میپذیرد: 3,553 توکن جدید در یک گام با سرعت 1,914 توکن بر ثانیه. سپس هر هشت درخواست در قالب یک دسته رمزگشایی میشوند. دستهبندی پیشپرکنی منشأ اصلی نرخ پردازش (throughput) است و لاگ رخ دادن آن را به چشم نشان میدهد.
سیاستها
سیاست زمانبندی (Schedule policy): قاعدهای که صف انتظار را پیش از پذیرش مرتب میکند. آن را با --schedule-policy تنظیم کنید.
مقدار پیشفرض در نسخهی v0.5.22 برابر با fcfs است {{code}}. گزینهها به دو دسته تقسیم میشوند:
| دسته | سیاستها | مبنای عملکرد |
|---|---|---|
| آگاه از کش (Cache-aware) | lpm، dfs-weight، hrrn، shortest-prefill-first |
درخت مبنا (radix tree): چه مقدار از هر پرامپت قبلاً کش شده است |
| ناآگاه از کش (Cache-agnostic) | fcfs، lof، random، routing-key |
ترتیب ورود، طول خروجی یا یک کلید مسیریابی |
تجزیهکنندهی آرگومان مقدار --schedule-policy priority را هم میپذیرد، اما اسکژولر چنین ترتیبی ندارد و سرور با پیام «Unknown schedule_policy» متوقف میشود. برای مرتبسازی بر اساس اولویت، از --enable-priority-scheduling همراه با fcfs استفاده کنید.
خیلی از خوانندگان انتظار گزینهی lpm را دارند، چون در مقاله توصیف شده است. این گزینه در نسخهی v0.4.3 پیشفرض بود و تا v0.4.6 به fcfs تبدیل شد. هنگام تحقیق برای این راهنما، پولریکوئستی که این تغییر را ایجاد کرد پیدا نشد.
دو قاعده در کد، سیاستهای آگاه از کش را محدود میکنند {{code}}:
- وقتی صف انتظار بیش از 128 درخواست داشته باشد،
lpmوhrrnبرای آن نوبت به FCFS تغییر مییابند. در کامنتهای کد دلیلش ذکر شده است: وقتی صف طولانی باشد، تطابق پیشوند (prefix match) و مرتبسازی هزینهی پردازشی زیادی دارند. - وقتی کش مبنا خاموش باشد، سیاستهای
lpm،dfs-weightوhrrnتبدیل به FCFS میشوند.shortest-prefill-firstهم اصلاً شروع به کار نمیکند.
بنابراین lpm فقط در یک محدودهی باریک کارساز است: صف باید به اندازهای شلوغ باشد که بازچینی ارزش داشته باشد، آنقدر خلوت باشد که زیر 128 بماند، و پر از پیشوندهای مشترک باشد.
اندازهی تکهها در مواجهه با پرامپتهای طولانی
پیشپرکنی تکهای (Chunked prefill): قاعدهای که پرامپت طولانی را به قطعاتی با حداکثر --chunked-prefill-size توکن میشکند؛ یعنی یک قطعه به ازای هر دستهی پیشپرکنی. مقدار پیشفرض بسته به حافظهی پردازندهی گرافیکی تعیین میشود؛ همانطور که جدول بخش 4.1 نشان میدهد. این مقدار روی یک کارت L4 با حافظهی 22 گیگابایت برابر با 4,096 و روی GB10 برابر با 8,192 است.
توصیهی معمول این است که اندازهی تکه را کوچکتر در نظر بگیرید تا گامهای رمزگشایی در فاصلهی میان قطعات یک پرامپت طولانی دفعات بیشتری اجرا شوند. ما این توصیه را آزمایش کردیم. در هر اجرا، 48 پرامپت 1,024 تا 4,096 توکنی با 256 توکن خروجی ارسال شد. درخواستها با نرخ پواسون 0.5، 1 یا 2 بر ثانیه با سه مقدار seed متفاوت وارد شدند.
| پردازندهی گرافیکی، مدل | تکه (Chunk) | نرخ، بر ثانیه | توکن خروجی بر ثانیه | میانهی TTFT | صدک 99 تاخیر بینتوکنی (ITL) | میانهی کلاک SM |
|---|---|---|---|---|---|---|
| GB10، Qwen3-30B-A3B | 8,192 (پیشفرض) | 0.5 | 70.1 | 892 ms | 929 ms | 2,411 MHz |
| GB10، Qwen3-30B-A3B | 1,024 | 0.5 | 68.1 | 1,253 ms | 1,977 ms | 2,398 MHz |
| GB10، Qwen3-30B-A3B | 8,192 (پیشفرض) | 2 | 129.3 | 269 ms | 312 ms | 2,411 MHz |
| GB10، Qwen3-30B-A3B | 1,024 | 2 | 130.1 | 256 ms | 260 ms | 2,411 MHz |
| L4، Qwen3-8B | 4,096 (پیشفرض) | 0.5 | 44.1 | 36.0 s | 2,579 ms | 773 MHz |
| L4، Qwen3-8B | 1,024 | 0.5 | 43.3 | 37.4 s | 2,922 ms | 690 MHz |
| L4، Qwen3-8B | 4,096 (پیشفرض) | 2 | 46.2 | 59.8 s | 2,512 ms | 915 MHz |
| L4، Qwen3-8B | 1,024 | 2 | 44.0 | 62.5 s | 2,930 ms | 825 MHz |
اندازهگیریهای ما نشان داد که تکهی کوچکتر روی هیچکدام از دستگاهها بهبودی به همراه نداشت. روی GB10 حالت پیشفرض، مقدار صریح 8,192 و مقدار 1,024 را اجرا کردیم. در نرخهای 1 و 2 درخواست بر ثانیه، نتایج هر سه حالت درون دامنهی پراکندگی خطای seed یکدیگر قرار گرفتند. در نرخ 0.5 بر ثانیه، تکهی 1,024 عملکرد بدتری داشت. صدک 99 تاخیر بینتوکنی آن 1,977 در برابر 929 میلیثانیه بود و بازههای دادههای seed هیچ همپوشانیای (overlap) نداشتند.
پژوهشی در سال 2025 دربارهی پیشپرکنی تکهای روی مدلهای MoE دلیل احتمالی این افت کارایی (loss) را بیان میکند. هر تکه از یک پرامپت، وزنهای خبره را مجدداً لود میکند و در آن پژوهش، این لودهای اضافی ترافیک حافظه را تا 39 درصد افزایش دادند. مدل Qwen3-30B-A3B از نوع MoE است. با تکهی 1,024، یک پرامپت حداکثر 4,096 توکنی در قالب حداکثر چهار تکه اجرا میشود. هر تکه دوباره سراغ خواندن خبرهها میرود. ما ترافیک خبرهها را مستقیماً اندازه نگرفتیم، بنابراین این فقط یک برداشت است نه یک نتیجهی قطعی.
دربارهی نرخهای 1 و 2 بر ثانیه باید احتیاط دومی را هم مدنظر داشت. در هر seed، این پیمایش دقیقاً همان 48 پرامپت را در تمام نرخها به یک سرور یکسان فرستاد و کش را تخلیه نکرد. نرخ 0.5 اول از همه اجرا شد. استخر GB10 گنجایش نگهداری آن پرامپتها را داشت، بنابراین اجراهای بعدی توانستند بسیاری از آنها را در کش پیدا کنند. این موضوع میتواند توضیح دهد چرا اولین توکن در نرخهای 1 و 2 بر ثانیه سریعتر از 0.5 بود. بخش 5.1 پروتکلی را ارائه میدهد که جلوی این اتفاق را میگیرد.
روی کارت L4، این بار کاری در تمام نرخها بیش از توان پردازش کارت بود. خروجی در حوالی 44 توکن بر ثانیه ماند و میانهی اولین توکن بین 36 تا 62 ثانیه طول کشید. کارت دچار افت فرکانس حرارتی (throttling) شد و میانهی کلاک آن روی 690 تا 915 مگاهرتز ماند؛ این پیمایش هم اجراهای دچار افت فرکانس را تکرار نکرد. بدترین فاصلهی زمانی بین توکنها با هر دو اندازه تکه بین 2.5 تا 2.9 ثانیه باقی ماند. اجراهای تکهی 1,024 همچنین 80 تا 90 مگاهرتز کندتر از حالت پیشفرض در نرخهای 0.5 و 2 بر ثانیه کار کردند. بنابراین تفاوت اندک میان این دو اندازه تکه ناشی از اثر تکهبندی نیست.
قاعدهی اسکژولر که در ابتدای این بخش آمد با نتیجهی L4 همخوانی دارد. هر زمان اسکژولر امکان پذیرش داشته باشد، اولویت با پیشپرکنی است. با یک صف پر، تکهی کوچکتر نوبتهای پیشپرکنی بیشتری پیش از گامهای رمزگشایی میافزاید و استریم همچنان معطل میماند.
فلگ --enable-mixed-chunk توکنهای رمزگشایی را داخل دستهی پیشپرکنی میگذارد تا گام رمزگشایی منتظر یک نوبت پیشپرکنی نماند. آن را روی L4 در مقایسه با یک اجرای پیشفرض جدید در همان نشست (session) با میانهی کلاک 953 تا 1,095 مگاهرتز تست کردیم.
| نرخ، بر ثانیه | توکن خروجی بر ثانیه، پیشفرض / تکهی ترکیبی | صدک 99 تاخیر بینتوکنی، پیشفرض / تکهی ترکیبی |
|---|---|---|
| 0.5 | 46.5 / 46.5 | 2,521 / 2,406 ms |
| 1 | 46.6 / 47.5 | 2,491 / 2,289 ms |
| 2 | 47.3 / 47.6 | 2,572 / 2,418 ms |
تکهی ترکیبی میانهی صدک 99 تاخیر بینتوکنی را 5 تا 8 درصد کاهش داد، و بازههای seed در تمام نرخها همپوشانی داشتند. با این حال بدترین فاصلهی زمانی بین توکنها همچنان بیش از 2.2 ثانیه زمان برد. روی کارت L4 ما با مدل Qwen3-8B، کارتی که از پس این پرامپتها برنمیآید، هیچکدام از فلگها جریان کاری (flow) روانی به استریم ندادند. انتظار داریم راهحل، ظرفیت پیشپرکنی بیشتر یا پرامپتهای طولانی کمتر در ثانیه باشد، اما آن را آزمایش نکردیم.
کارت GB10 از پس این بار برمیآید و آنجا تکهی ترکیبی واقعاً مفید بود. آن را با همان پیمایش در تاریخ 2026-10-21 در برابر یک اجرای پیشفرض جدید در همان روز تست کردیم. سرور پیشفرض استخری معادل 251,910 توکن و سرور دارای تکهی ترکیبی 236,751 توکن در اختیار داشتند. در تمام اجراها، میانهی کلاک روی 2,405 مگاهرتز یا بالاتر بود.
[2026-10-21 06:26:47] KV Cache is allocated. dtype: torch.bfloat16, #tokens: 236751, K size: 10.84 GB, V size: 10.84 GBوضعیت استخر هنگام راهاندازی سرور با آرگومان --enable-mixed-chunk.
| نرخ، بر ثانیه | صدک 99 تاخیر بینتوکنی، پیشفرض / تکهی ترکیبی | میانهی TTFT، پیشفرض / تکهی ترکیبی | توکن خروجی بر ثانیه، پیشفرض / تکهی ترکیبی |
|---|---|---|---|
| 0.5 | 922 / 781 ms | 841 / 910 ms | 70.9 / 72.1 |
| 1 | 219 / 177 ms | 244 / 362 ms | 108.8 / 112.6 |
| 2 | 261 / 221 ms | 238 / 416 ms | 133.2 / 138.1 |
اندازهگیریهای ما نشان داد که جریان روانتر شد اما توکن اول کندتر دریافت شد. صدک 99 تاخیر بینتوکنی در نرخهای 0.5 و 2 بر ثانیه، بین 15 تا 19 درصد کاهش یافت که بیرون از بازهی پراکندگی seed بود. میانهی TTFT در نرخهای 1 و 2 بر ثانیه 49 تا 74 درصد افزایش یافت که فراتر از بازهی پراکندگی seed بود. نرخ پردازش هم 2 تا 4 درصد بیشتر شد که درون بازهی پراکندگی جای میگرفت.
اجرای پیشفرض از تاریخ 2026-10-17 نیز همین سوگیری را نشان داد. در مقایسه با آن، صدک 99 تاخیر بینتوکنی بین 16 تا 29 درصد افت کرد. میانهی TTFT در نرخهای 1 و 2 بر ثانیه، 35 و 54 درصد بالا رفت. اخطار فوق دربارهی کش برای هر دو سرور در نرخهای 1 و 2 بر ثانیه صدق میکند.
روی دو کارت گرافیک ما با این بار کاری، این فلگ یک بدهبستان بود و خود کارت تعیین میکرد چه چیزی نصیب شما شود. وقتی پیشپرکنی کشش داشته باشد، توکنهای رمزگشایی که همراه با دستهی پیشپرکنی پردازش میشوند دیگر معطل نمیمانند، و هر پرامپت جدید اندکی بیشتر منتظر میماند. وقتی پیشپرکنی کشش ندارد (مثل کارت L4)، صف سرعت کار را تعیین میکند و این فلگ تغییر چندانی ایجاد نمیکند.
[2026-10-18 07:27:15] Memory pool end. avail mem=2.90 GB
Capturing prefill shape (num_tokens=8192 avail_mem=2.33 GB)
torch.AcceleratorError: CUDA error: out of memory
[2026-10-18 07:28:44] RuntimeError: num_active_captures_ > 0 INTERNAL ASSERT FAILED at "/__w/pytorch/pytorch/c10/cuda/CUDACachingAllocator.cpp":3209, please report a bug to PyTorch. markCaptureEnd called with no captures in progressاجرای SGLang 0.5.22 روی L4 با آرگومان --chunked-prefill-size 8192. خطای نهایی به PyTorch اشاره میکند و علت آن دو خط بالاتر آمده است.
حالت عکس روی کارت L4 در همان ابتدای راهاندازی شکست خورد. با تکهی 8,192، استخر KV مثل قبل 24,094 توکن گرفت. سپس گراف پیشپرکنی برای 8,192 توکن به حافظهای فراتر از 2.33 گیگابایتِ باقیمانده نیاز پیدا کرد. آخرین خط لاگ، یک assert در PyTorch است که تقاضای گزارش باگ میکند. خطای واقعی، همان خط کمبود حافظه (out-of-memory) بالای آن است.
موضع ما
روی همان fcfs بمانید. منصفانه است، صف را بر اساس پیشوند مرتب نمیکند، و کش مبنا همچنان اصابتهای کش را به شما میدهد. یک پیشوند مشترک که زودتر رسیده باشد در درخت حضور دارد و درخواست بعدی بدون توجه به ترتیب با آن تطابق مییابد.
فقط زمانی سراغ lpm بروید که هر سه شرط زیر برقرار باشند: ترافیک شما دارای پیشوندهای طولانی مشترک باشد؛ عمق صف معمولاً بین چند عدد تا 128 درخواست باشد؛ و نرخ اصابت کش (hit rate) را قبل و بعد با اندپوینت /metrics اندازه گرفته باشید. بخش 5.2 سری دادههای cache_hit_rate را برای مقایسه نشان میدهد.
اگر به سطوح مختلف کاربران نیاز دارید، به جای سیاست کش از --enable-priority-scheduling استفاده کنید. در این حالت یک درخواست جدید میتواند پیشدستی (preempt) کند و جای درخواستهای در حال اجرا را بگیرد، مشروط بر اینکه اولویتش به اندازهی --priority-scheduling-preemption-threshold (به طور پیشفرض 10) از آنها بیشتر باشد {{code}}.
یک رخداد تجربی: محدودیتی که تنظیم میکنید، محدودیتی نیست که تحویل میگیرید
کاربری یک مدل ترکیبی Mamba را بالا آورد و گزینهی --max-running-requests 8 را تنظیم کرد {{issue #36889}}. سرور این فلگ را پذیرفت و عدد 8 را اعلام کرد. با این حال، نرخ پردازش در نهایت روی 2 استریم درجا زد. تنها یک خط info در لاگ میگفت که کش وضعیت Mamba، مقدار max_running_requests را به 2 محدود کرده است.
حلقهی اسکژولر تمام محدودیتها را همزمان ارزیابی میکند و کوچکترین محدودیت برنده میشود. راهحلی که گزارشدهنده به کار برد، افزایش کش Mamba بود: استفاده از --max-mamba-cache-size 40 با وضعیت bf16 و --mem-fraction-static 0.90 که به 75 درصد نرخ پردازش بیشتر در همزمانی 12 انجامید. در نسخهی v0.5.22 این محدودسازی به صورت یک هشدار است. به لاگ نگاه کنید تا ببینید حلقه در عمل از چه محدودیتی استفاده میکند، نه آنچه خودتان تایپ کردهاید.
منابع: python/sglang/srt/managers/scheduler.py (توابع run_event_loop، event_loop_normal، get_next_batch_to_run، run_batch، process_batch_result)، python/sglang/srt/managers/schedule_policy.py (توابع و کلاسهای CacheAwarePolicy، CacheAgnosticPolicy، WAITING_QUEUE_PREFIX_MATCH_MAX، _determine_active_policy، _validate_and_adjust_policy)، python/sglang/srt/arg_groups/fields/schedule.py در v0.5.22؛ مقالهی SGLang، arXiv 2312.07104؛ فایل capture/out/server-default.log؛ ایشوی https://github.com/sgl-project/sglang/issues/36889؛ گزارشهای capture/gpu/summary/gb10.json و capture/gpu/summary/l4.json (تستهای mixed)؛ capture/gpu/sweep.py (پیمایش mixed)؛ capture/gpu/incidents/l4-chunk-8192-prefill-graph-oom.txt؛ capture/gpu/out-gb10/server-mixed-chunk.log، capture/gpu/summary/gb10.json (بخشهای mixed.mixed-chunk، mixed.graphs-on-b)، capture/gpu/out-gb10/server-pools.log، Lee و دیگران، From Tokens to Layers: Redefining Stall-Free Scheduling for MoE Serving with Layered Prefill، arXiv 2510.08055 (2025-10)؛ capture/gpu/sweep.py (برنامهی پیمایش mixed).