بخش 6.3 · مقیاس‌پذیری افقی

تفکیک پیش‌پرکنی و رمزگشایی

Split prefill and decode

فهرست مطالب
  1. مشکلی که این روش حل می‌کند
  2. مسائلی که با این روش حل نمی‌شوند
  3. راه‌اندازی
  4. تعیین ظرفیت دو سمت

جداسازی سرورهای پیش‌پرکنی (prefill) و رمزگشایی (decode) فقط زمانی می‌ارزد که پرامپت‌های طولانی به استریم دیگر کاربران ضربه بزنند.

پرامپت‌های طولانی استریم خروجی را برای تک‌تک کاربران کُند می‌کنند. با خواندن این بخش، می‌توانید تصمیم بگیرید که سرو تفکیک‌شده (Disaggregated serving) چه زمانی واقعاً به‌صرفه است.

مشکلی که این روش حل می‌کند

روی یک سرور واحد، یک پرامپت طولانی در تمام گام‌های محاسباتی با استریم‌های فعال شریک می‌شود. حین پردازش آن، همه‌ی استریم‌ها باید برای دریافت توکن بعدی خود کمی بیشتر منتظر بمانند. با افزایش تعداد پرامپت‌های طولانی، بدترین وقفه‌ها میان توکن‌ها برای همه طولانی‌تر می‌شود.

سرو تفکیک‌شده از دو نوع سرور استفاده می‌کند: سرور پیش‌پرکنی پرامپت را پردازش می‌کند و کش کلید-مقدار (KV cache) آن را می‌سازد؛ سرور رمزگشایی هم با تحویل گرفتن آن کش، پاسخ را تولید می‌کند. به این ترتیب، پرامپت‌های طولانی دیگر در یک گام محاسباتی مشترک با استریم‌های در حال اجرا تداخل پیدا نمی‌کنند.

مسائلی که با این روش حل نمی‌شوند

طبق مستندات vLLM، تفکیک پیش‌پرکنی نرخ پردازش (Throughput) را افزایش نمی‌دهد؛ بلکه زمان توکن اول و نرخ استریم را به دو متغیر مستقل تبدیل می‌کند تا بتوانید کنترلشان کنید و دُم تاخیرِ بین‌توکنی (inter-token latency) را مهار نمایید. البته این کار هزینه‌بر است: انتقال کش کلید-مقدار برای تک‌تک درخواست‌ها و نیاز به راه‌اندازی سرورهای بیشتر.

حتی برای دُم تاخیر هم این بهبود همیشگی نیست و شرط دارد. مقاله‌ی «Revisiting Disaggregated Large Language Model Serving for Performance and Energy Implications» سرورهای تفکیک‌شده را با سرورهایی که هر دو مرحله را اجرا می‌کنند مقایسه کرده است. طبق یافته‌های این مقاله، رسیدن به بازدهی بهتر قطعی نیست و کاملاً به بار کاری درخواست‌ها و مسیر انتقال کش کلید-مقدار بستگی دارد. ما خودمان این موضوع را اندازه‌گیری نکرده‌ایم.

تنها زمانی سراغ این روش بروید که صدک 99 تاخیر بین‌توکنی اهمیت دارد و پرامپت‌های طولانی علت بالا رفتن آن هستند. برای پاسخ‌گویی به کاربران بیشتر روی همان GPUها از این معماری استفاده نکنید. پیش از نهایی کردن تصمیم خود، آن را با اجرای سرورهای عادی روی همان GPUها و زیر بار کاری واقعی مقایسه کنید.

راه‌اندازی

به هر سرور یک اتصال‌دهنده‌ی کش کلید-مقدار (KV connector) و یک نقش در پارامتر --kv-transfer-config اختصاص می‌یابد. اتصال‌دهنده‌ی NIXL انتخاب رایج است، اما به کتابخانه‌ی NIXL نیاز دارد که با پکیج wheel ابزار vLLM نصب نمی‌شود. پس ابتدا آن را در همان محیط vLLM نصب کنید. فایل نیازمندی‌های vLLM در نسخه‌ی 0.31.0 نسخه‌ی 1.4.1 را تثبیت کرده است:

uv pip install nixl==1.4.1

سرور پیش‌پرکنی کش را می‌سازد و سرور رمزگشایی آن را مصرف می‌کند. روی یک هاست با دو پردازنده‌ی گرافیکی (GPU)، به هر سرور یک GPU، پورت اختصاصی و پورت کانال جانبی NIXL مجزا بدهید:

CUDA_VISIBLE_DEVICES=0 VLLM_NIXL_SIDE_CHANNEL_PORT=5600 \
vllm serve Qwen/Qwen3-8B --port 8100 \
  --kv-transfer-config '{"kv_connector": "NixlConnector", "kv_role": "kv_producer"}'
CUDA_VISIBLE_DEVICES=1 VLLM_NIXL_SIDE_CHANNEL_PORT=5601 \
vllm serve Qwen/Qwen3-8B --port 8200 \
  --kv-transfer-config '{"kv_connector": "NixlConnector", "kv_role": "kv_consumer"}'

هر سرور در لاگ راه‌اندازی خود عبارت‌های Creating v1 connector with name: NixlConnector و Initializing NIXL wrapper را ثبت می‌کند. اگر لاگ عبارت NIXL is not available را نشان داد، یعنی این کتابخانه در محیط شما نصب نیست.

سپس یک مسیریاب (Router) جلویشان بگذارید. مسیریاب برای هر درخواست، ابتدا آن را به سرور پیش‌پرکنی می‌فرستد و پارامترهای انتقال کش کلید-مقدار را از پاسخ آن می‌خواند؛ سپس درخواست را همراه با همان پارامترها به سرور رمزگشایی ارسال می‌کند تا بتواند کش را بارگذاری کند. مخزن vLLM اسکریپت‌های نمونه و یک پراکسی برای این پیکربندی دارد. خود CI پروژه نیز این سناریو را روی جفت پردازنده‌های گرافیکی L4 تست می‌کند.

اگر انتقال کش با خطا مواجه شود، سیاست پیش‌فرض رد کردن درخواست است؛ اما با تنظیم فیلد kv_load_failure_policy روی recompute، پرامپت در صورت بروز خطا دوباره روی سرور رمزگشایی پردازش و محاسبه می‌شود.

روی سخت‌افزار ما اندازه‌گیری نشده است. ما سرو تفکیک‌شده با vLLM را روی دو پردازنده‌ی L4 اجرا نکرده‌ایم.

پیش‌پرکنی و رمزگشایی روی دو سرورسرور پیش‌پرکنی پرامپت را محاسبه می‌کند و یک اتصال‌دهنده‌ی KV کش آن را به سرور رمزگشایی منتقل می‌کند تا توکن‌ها را بنویسد.
تفکیک پیش‌پرکنی و رمزگشایی: جابه‌جایی کش کلید-مقدار میان دو سرور مسیریاب درخواست جدید را به سرور پیش‌پرکنی می‌فرستد که پرامپت را محاسبه کرده و کش کلید-مقدار آن را می‌نویسد. NixlConnector کش را به سرور رمزگشایی کپی می‌کند، که سپس توکن‌ها را به صورت استریم برمی‌گرداند. هر دو سرور یک kv_connector را در --kv-transfer-config تنظیم می‌کنند. مسیریاب انتخاب یک جفت سرور پیش‌پرکنی محاسبه‌ی پرامپت سرور رمزگشایی تولید توکن‌ها NixlConnector کپی بلوک‌های KV Both servers: --kv-transfer-config with "kv_connector": "NixlConnector".
فلش‌های فیروزه‌ای کش کلید-مقدار را منتقل می‌کنند. فلش خط‌چین جریان توکن‌هاست. برگرفته از مستندات vLLM نسخه‌ی v0.31.0.

تعیین ظرفیت دو سمت

نسبت سرورهای پیش‌پرکنی به رمزگشایی به طول پرامپت‌ها و پاسخ‌های شما بستگی دارد. پرامپت‌های طولانی با پاسخ‌های کوتاه به ظرفیت پیش‌پرکنی بیشتری نیاز دارند؛ در مقابل، پرامپت‌های کوتاه با پاسخ‌های طولانی به ظرفیت رمزگشایی بیشتری نیاز دارند. زمان توکن اول و استریم را در هر دو سمت اندازه‌گیری کنید و سرورها را یکی‌یکی انتقال دهید.

منابع: مستندات vLLM در نسخه‌ی v0.31.0 (بخش‌های docs/features/disagg_prefill.md و docs/features/nixl_connector_usage.md)، سورس‌کد vLLM در نسخه‌ی v0.31.0 (مسیرهای vllm/config/kv_transfer.py و vllm/distributed/kv_transfer/)، پیکربندی CI پروژه vLLM در نسخه‌ی v0.31.0 (مسیر Buildkite.)، مقاله‌ی Revisiting Disaggregated Large Language Model Serving for Performance and Energy Implications (سند arXiv 2601.08833)، فایل requirements/kv_connectors.txt در نسخه‌ی v0.31.0 و سورس‌کد vLLM در نسخه‌ی v0.31.0 (مسیرهای vllm/distributed/kv_transfer/kv_connector/factory.py و vllm/distributed/kv_transfer/kv_connector/v1/nixl/base_worker.py).

ترجمه‌ی فارسی Split prefill and decode از راهنمای vLLM 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما