تفکیک (Disaggregation)، پردازش پیشپرکنی (prefill) را به سرورهای اختصاصی خود منتقل میکند تا پرامپتهای طولانی دیگر انتشار توکنهای بقیهی کاربران را به تاخیر نیندازند؛ البته این کار فقط زمانی نتیجه میدهد که آن تاخیر، بر اساس اندازهگیریهای واقعی، مشکل اصلی سیستم شما باشد.
کاربران چت شما استریمینگ روانی را تجربه میکنند، تا اینکه یک نفر متنی طولانی را جایگذاری میکند. در این لحظه، همهی استریمها متوقف میشوند چون سرور مشغول پیشپرکنی آن سند است. پیشپرکنی یعنی پردازش همزمان تعداد زیادی توکن، در حالی که رمزگشایی (decode) به تولید یک توکن به ازای هر درخواست در هر گام محدود میشود. وقتی هر دو روی یک سرور اجرا شوند، در گامهای پردازشی GPU شریک میشوند و پیشپرکنی طولانی، تمام گام را میبلعد. پیشپرکنی تکهای (Chunked prefill) این توقفها را کوتاهتر میکند، اما نمیتواند آنها را کامل از بین ببرد.
پس از پایان این بخش، میتوانید سازوکار SGLang را برای انتقال کش کلید-مقدار (KV cache) یک درخواست از سرور پیشپرکنی به سرور رمزگشایی توضیح دهید. همچنین میتوانید کوچکترین ساختار تفکیکشده را راه بیندازید و بر اساس دادههای اندازهگیریشده تصمیم بگیرید که آیا به آن نیاز دارید یا نه.
دو سرور، یک درخواست
تفکیک پیشپرکنی و رمزگشایی (Prefill-decode disaggregation یا PD): دو نوع سرور SGLang که با گزینههای --disaggregation-mode prefill و --disaggregation-mode decode اجرا میشوند. مقدار پیشفرض null است؛ یعنی یک سرور هر دو کار را با هم انجام میدهد [[code]]. سرور پیشپرکنی، کش کلید-مقدار پرامپت و اولین توکن را محاسبه میکند؛ سپس سرور رمزگشایی این کش کلید-مقدار را تحویل میگیرد و بقیهی توکنها را میسازد.
مستندات SGLang دو دلیل برای این جداسازی میآورد [[docs]]: دستههای پیشپرکنی، پردازش دستههای رمزگشایی را دچار وقفه (Interrupt) میکنند. با موازیسازی داده در اتنشن، ممکن است یک گروه در حال پیشپرکنی باشد و گروهی دیگر در حال رمزگشایی؛ در نتیجه گروه رمزگشایی در هر گام معطل کندترین گروه میماند. سرورهای مجزا هر دو معطلی را حذف میکنند. علاوه بر این، هر استخر میتواند چیدمان موازیسازی ویژهی خود را داشته باشد؛ مثلاً موازیسازی تنسور عریض برای پیشپرکنی و موازیسازی داده در اتنشن برای رمزگشایی.
کش کلید-مقدار چطور منتقل میشود؟
درگاه معرفیشده در بخش 6.4 شروعکنندهی هر تبادل است. این درگاه یک سرور پیشپرکنی و یک سرور رمزگشایی را انتخاب میکند، سپس سه فیلد را به درخواست میافزاید: هاست بوتاسترپِ سرور پیشپرکنی، پورت بوتاسترپ آن و یک عدد تصادفی 63 بیتی به نام اتاق بوتاسترپ (bootstrap room). پس از آن، درخواستِ یکسان را همزمان برای هر دو سرور میفرستد [[code]].
اتاق بوتاسترپ (Bootstrap room): عددی که هر دو سرور از آن برای پیدا کردن نیمهی دیگرِ یک درخواست استفاده میکنند. آن را مثل شمارهی رزرو در نظر بگیرید: سرور رمزگشایی جایگاههای کش کلید-مقدار را رزرو میکند و سرور پیشپرکنی داخل آنها مینویسد.
- سرور رمزگشایی یک دریافتکننده میسازد، رتبهی (Rank) پیشپرکنی را از طریق سرور بوتاسترپ پیدا میکند و جایگاههای کش کلید-مقدار را برای پرامپت نگه میدارد.
- آدرس آن جایگاهها را برای سمت پیشپرکنی میفرستد.
- سرور پیشپرکنی یک گذر رو به جلو (forward pass) عادی را برای پیشپرکنی پرامپت اجرا میکند.
- سرور پیشپرکنی صفحات کش کلید-مقدار را داخل جایگاههای رزروشدهی سرور رمزگشایی مینویسد. در بکاند پیشفرض Mooncake، این کار با یک عملیات یکطرفهی نوشتن RDMA انجام میشود. Mooncake صفحات پیوسته در حافظه را در هر دو سمت گروهبندی کرده و در قالب یک انتقال دستهای جابهجا میکند [[code]].
- سرور رمزگشایی اتمام انتقال را میبیند و بدون نیاز به پیشپرکنی مجدد، درخواست را به دستهی در حال اجرای خود میافزاید.
- استریم کاربر از سمت سرور رمزگشایی ارسال میشود.
سرور بوتاسترپ روی هاست پیشپرکنی اجرا میشود و پورت پیشفرض آن 8998 است [[code]]. هر سمت، وضعیت انتقال را در قالب پنج حالت دنبال میکند: Failed ،Bootstrapping ،WaitingForInput ،Transferring و Success [[code]].
تنظیمات مهم
| تنظیم | پیشفرض | مفهوم |
|---|---|---|
--disaggregation-mode |
null |
مقادیر prefill یا decode برای تعیین نقش سرور |
--disaggregation-transfer-backend |
mooncake |
گزینههای دیگر: mooncake_tcp ،nixl ،mori ،ascend ،fake |
--disaggregation-bootstrap-port |
8998 | پورت سرور بوتاسترپ روی هاست پیشپرکنی |
--num-reserved-decode-tokens |
512 | توکنهای رمزگشاییِ رزروشده در حافظه هنگام پیوستن درخواست به دستهی در حال اجرا |
SGLANG_DISAGGREGATION_BOOTSTRAP_TIMEOUT |
300 | مدتزمان (ثانیه) انتظار پیشپرکنی برای دریافت آدرسهای جایگاه از سمت رمزگشایی |
SGLANG_DISAGGREGATION_WAITING_TIMEOUT |
300 | مدتزمان (ثانیه) انتظار رمزگشایی برای رسیدن صفحات کش کلید-مقدار |
SGLANG_DISAGGREGATION_QUEUE_SIZE |
4 | صفهای انتقال موازی |
همهی مقادیر پیشفرض از کد نسخهی v0.5.22 استخراج شدهاند [[code]]. گزینهی mooncake_tcp برای کلاسترهای بدون کارت شبکهی RDMA است؛ ما سرعت آن را اندازه نگرفتیم.
درخواستها را مستقیماً به سرور پیشپرکنی یا رمزگشایی نفرستید. اسکژولر وجود اتاق بوتاسترپ را بررسی میکند و پیام خطایش میگوید که باید درخواستها را به مسیریاب بفرستید [[code]].
دیدگاه ما
کار را با تفکیک شروع نکنید. ابتدا با یک سرور شروع کنید، سپس نسخههای موازیسازی داده را پشت درگاه بیاورید. فقط زمانی پیشپرکنی را از رمزگشایی جدا کنید که با اندازهگیری دیده باشید تداخل پیشپرکنی، تاخیر بین توکنها را در بار ترافیکی همزمان شما خراب میکند. تفکیک، دستهی دومی از خرابیها را به سیستم اضافه میکند: مرحلهی بوتاسترپ، انتقال RDMA، دو تایماوت جدید و مسیریابی که باید سرورها را درست با هم جفت کند.
حتی برای درخواستهای پرتاخیر (Tail)، این سود مشروط است نه تضمینی. مطالعهای در سال 2025 سرورهای تفکیکشده را با سرورهایی مقایسه کرد که هر دو مرحله را با هم اجرا میکردند. این تحقیق نشان داد که بهبود کارایی قطعی نیست و به بار درخواستها و مسیر جابهجایی کش کلید-مقدار بستگی دارد. ما خودمان این مورد را اندازه نگرفتیم. قبل از نهاییکردن ساختار تفکیکشده، آن را با همان تعداد GPU در قالب سرورهای ساده و زیر بار واقعی خود مقایسه کنید.
یک رخداد واقعی هزینهی رد شدن از این اندازهگیری را نشان میدهد. کاربری یک سرور پیشپرکنی و یک سرور رمزگشایی را، هر کدام با TP4، راهاندازی کرد (ایشوی شمارهی 12591). زمان تا اولین توکن (TTFT) نسبت به یک سرور TP4 بدون تفکیک بیشتر شد. علت، قدیمی بودن موتور انتقال Mooncake بود. بهروزرسانی آن مشکل را حل کرد و یکی از توسعهدهندگان هم پیشنهاد داد بدون موازیسازی داده در اتنشن، مقدار SGLANG_DISAGGREGATION_QUEUE_SIZE=1 تنظیم شود. بدون وجود خط مبنا روی سرور واحد، هیچکس متوجه نمیشد که تفکیک سرورها اوضاع را بدتر کرده است.
دو رخداد دیگر، هر دو از سمت مسیریاب
در ترافیک 64 درخواست همزمان، سیستمی با مدل GLM-4.5 خطاهای زیادی با پیامهای «Prefill bootstrap failed» و «Aborted by AbortReq» را در سمت پیشپرکنی لاگ کرد (ایشوی شمارهی 9266). این سیستم با 4 تا 7 درخواست همزمان مشکلی نداشت. تایماوت مسیریاب برای کلاینتِ پیشپرکنی بیش از حد کوتاه بود؛ بنابراین مسیریاب درخواستهایی را که هنوز در جریان بودند لغو میکرد. پول ریکوئست شمارهی #9803 این تایماوت را اصلاح کرد.
یکی از توسعهدهندگان در گفتوگویی مرتبط یک قاعدهی کلی را مطرح کرد (ایشوی شمارهی 9926): خطای «Aborted by AbortReq» یعنی کلاینت یا مسیریاب عملیات را متوقف کرده است. قبل از اینکه به فرایند انتقال شک کنید، اول تایماوتها را بررسی کنید.
تیم Novita AI تاخیر متفاوتی را در مدل GLM-4.7 روی پردازندههای H200 پیدا کرد [[field Novita 2026-01]]. با تفکیک سرورها و استفاده از اسکژولر همپوشانی، نرخ پردازش حدود 10 درصد بالا رفت اما زمان تا اولین توکن بسیار بدتر شد. در سمت پیشپرکنی، انتقال کش کلید-مقدار منتظر اجرای کرنل دستهی بعدی میماند. بدون گرافهای CUDA، آن اجرا برای مدل 92 لایهی آنها صدها میلیثانیه زمان میبرد. آنها برای رفع مشکل، پرچم --disaggregation-async-transfer را اضافه کردند. ما این پرچم را در کد نسخهی v0.5.22 پیدا نکردیم، پس قبل از کپی کردن دستوراتشان، نسخهی خود را بررسی کنید.
چند سرور پیشپرکنی به ازای هر سرور رمزگشایی؟
این نسبت به ترافیک شما بستگی دارد. تیم dstack مدل gpt-oss-120b را روی هشت GPU از نوع H200 فقط با تفکیک SGLang و موازیسازی تنسور آزمایش کرد [[field dstack 2025-09]]. در ترافیکهای همزمان بالا، نسبت یک سرور پیشپرکنی به سه سرور رمزگشایی در همهی معیارها برنده شد؛ چه در بارهای با پیشپرکنی سنگین، چه رمزگشایی سنگین و چه بار متوازن. در همزمانی پایین، نسبتهای سه به یک و دو به دو، زمان تا اولین توکن بهتری دادند. مطلب وبلاگی آنها نمودارها را بدون اعداد مطلق نشان میدهد؛ پس فقط برای دیدن جهت کلی جریان به آن نگاه کنید.
در بالاترین مقیاس، تیم SGLang مدل DeepSeek را روی 12 نود با هشت GPU از نوع H100 اجرا کرد [[team 2025-05]]. آنها برای ورودیهای 2000 توکنی، به ازای هر نود نرخ پردازش 52.3 هزار توکن ورودی و 22.3 هزار توکن خروجی در ثانیه را گزارش کردند. آنها پیشپرکنی را روی 4 نود و رمزگشایی را روی 9 نود در تستهای جداگانه سنجیدند. تیم Mooncake نیز اجرای مدل Kimi K2 را روی 128 کارت H200 با 4 نود پیشپرکنی و 12 نود رمزگشایی گزارش کرد [[team 2025-07]]. آنها نودهای بیشتری به رمزگشایی اختصاص دادند تا استخر کش کلید-مقدار گنجایش یک دستهی 480تایی را داشته باشد. هر دو گزارش از سوی تیمهای سازندهی سیستم منتشر شده است.
روی دو کارت L4 چه اتفاقی افتاد؟
ما مدل Qwen3-8B را به یک سرور پیشپرکنی روی اولین کارت L4 و یک سرور رمزگشایی روی کارت دوم تفکیک کردیم. کارتهای ما RDMA نداشتند؛ بنابراین از --disaggregation-transfer-backend mooncake_tcp استفاده کردیم. کارت دوم پادهای تیم دیگری را هم اجرا میکرد؛ به همین دلیل استخر رمزگشایی تنها 2,925 توکن ظرفیت داشت، در حالی که ظرفیت پیشپرکنی 24,094 توکن بود. سپس آزمون جامع حلقهبازِ بخش 5.1 را از طریق مسیریاب اجرا کردیم.
… Decode batch, #running-req: 2, #token: 1206, token usage: 0.41, pre-allocated usage: 0.00, #prealloc-req: 19, #transfer-req: 0, #retracted-req: 0
… TCP lane queue-full rejection count: 4096
… Session 151.242.195.41:15367 failed.
Prefill transfer failed lines: 2902
Successful requests: 240
Total generated tokens (retokenized): 0
Mean TTFT (ms): 0.00سطرهایی از لاگهای پیشپرکنی و رمزگشایی و از نتایج بنچمارک در نرخ 8 درخواست بر ثانیه. برچسبهای زمانی حذف شدهاند.
بخش رمزگشایی فقط میتوانست همزمان دو درخواست را جلو ببرد و 19 درخواست دیگر در صف حافظهی رمزگشایی معطل ماندند. سرور پیشپرکنی به تولید کش کلید-مقدار برای آنها ادامه داد و صف انتقال TCP به سمت رمزگشایی پر شد. سه دقیقه بعد از شروع بنچمارک، نشست انتقال از کار افتاد و دیگر وصل نشد. از آن به بعد، انتقال همهی درخواستها با شکست روبهرو شد.
بخش خطرناک ماجرا بعد از این بود. همهی درخواستهای ناموفق همچنان از طریق مسیریاب به عنوان درخواست موفق ثبت شدند، منتها بدون هیچ متنی! بنچمارک، 240 درخواست از 240 درخواست را با نرخ 8 درخواست در ثانیه موفق حساب کرد. خروجی بنچمارک نرخ 751.85 توکن خروجی در ثانیه را نشان داد که حتی از 728.61 توکن در ثانیهی سرور FP8 در همان نرخ هم بیشتر بود. فقط دو عدد این خطا را لو دادند: صفر بودن توکنهای خروجیِ مجدداً توکنایزشده و میانگین TTFT معادل 0.00 میلیثانیه.
ما آن آمار نرخ پردازش را منتشر نکردیم. ابزار آزمون ما حالا جلوی بنچمارکی را که TTFT همهی درخواستهایش 0 باشد میگیرد.
سپس تفکیک را برعکس پیاده کردیم: سرور رمزگشایی تمام استخر با 24,094 توکن را گرفت و پیشپرکنی روی کارت مشترک با 2,925 توکن قرار گرفت. از 1 تا 8 کاربر، همهی درخواستها متن برگرداندند. در 16 کاربر، از 8,192 توکن تولیدشده فقط 2,048 توکن متن بازگشت. در 32 کاربر، خروجی همهی درخواستها خالی بود و ابزار آزمون فرایند را متوقف کرد.
c8: Successful requests: 32
c8: Total generated tokens: 4096
c8: Total generated tokens (retokenized): 4096
c16: Successful requests: 64
c16: Total generated tokens: 8192
c16: Total generated tokens (retokenized): 2048
c32: Successful requests: 128
c32: Total generated tokens: 16384
c32: Total generated tokens (retokenized): 0 سطرهای خلاصه بنچمارک در 8، 16 و 32 کاربر. توکنهای تولیدشده را با توکنهای مجدداً توکنایزشده مقایسه کنید.
حالت اول در هر دو ارزیابی خیلی زود به در بسته خورد. در 2 کاربر، از 2,048 توکنِ تولیدشده فقط 512 توکن متن برگشت و در 4 کاربر هیچ متنی دریافت نشد. در آزمون با نرخ ثابت هم از 0.5 درخواست در ثانیه به بعد، بیشترِ متن خروجی از دست رفت. ما نتیجهی اندازهگیریشدهای از این تفکیک زیر بار روی این دو کارت نداریم و ادعایی هم نمیکنیم. پیش از آنکه نرخ پردازش را در هر بنچمارک تفکیکشدهای بخوانید، اول Total generated tokens (retokenized) را بررسی کنید.
چه معیارهایی را اندازه بگیریم؟
اول با بنچمارک بخش 5.1، معیار TTFT و تاخیر بین توکنها را روی یک سرور بسنجید. اگر با ورود پرامپتهای طولانی، تاخیر بین توکنها بالا رفت، تفکیک میتواند به درد بخورد. بعد از تفکیک، حواستان به این معیارها باشد [[code]]:
- معیارهای
sglang:num_bootstrap_failed_reqs_totalوsglang:num_transfer_failed_reqs_totalکه باید بدون تغییر و روی صفر بمانند - معیارهای
sglang:kv_transfer_latency_msوsglang:kv_transfer_speed_gb_sکه هزینهی هر جابهجایی را نشان میدهند - معیارهای
sglang:num_decode_prealloc_queue_reqsوsglang:num_decode_transfer_queue_reqsکه درخواستهای معطل حافظه یا در صف انتقال را نشان میدهند.
منابع: فایلهای python/sglang/srt/arg_groups/fields/disagg.py ،python/sglang/srt/arg_groups/choices.py ،python/sglang/srt/environ.py ،python/sglang/srt/disaggregation/prefill.py ،python/sglang/srt/disaggregation/decode.py ،python/sglang/srt/disaggregation/base/conn.py (کلاس KVPoll) ،python/sglang/srt/disaggregation/common/conn.py ،python/sglang/srt/disaggregation/mooncake/conn.py ،python/sglang/srt/managers/data_parallel_controller.py ،python/sglang/srt/observability/metrics_collector.py ،sgl-model-gateway/src/routers/http/pd_router.rs و pd_types.rs و فایل docs/docs/advanced_features/pd_disaggregation.mdx، همگی در نسخهی v0.5.22. لاگهای capture/gpu/incidents/l4-pd-mooncake-tcp-queue.txt و capture/gpu/out-l4/bench-pd-swap.txt. ایشوهای #12591، #9266، #9926 و پول ریکوئست #9803. پست Novita AI در Hugging Face مورخ 2026-01-22. مطلب dstack با عنوان «Benchmarking Prefill-Decode ratios» مورخ 2025-09-25. گزارش LMSYS از استقرار روی 96 پردازندهی H100 مورخ 2025-05-05. تیم Mooncake در وبلاگ LMSYS مورخ 2025-07-20، لاگ capture/gpu/incidents/l4-pd-summary-lines.txt، و مقالهی Li و همکاران با عنوان Revisiting Disaggregated Large Language Model Serving for Performance and Energy Implications در arXiv به شمارهی 2601.08833 (2025-11).