سؤال مصاحبه

چه زمانی تفکیک پیش‌پرکنی و رمزگشایی ارزشش را دارد

When prefill-decode disaggregation pays

  • سطح ۳: ارشد
  • طراحی
  • ۱۲ دقیقه

کاربران چت شما تا زمانی که کسی یک سند طولانی پیست نکرده باشد، استریم روانی را تجربه می‌کنند؛ اما به‌محض این اتفاق، همه‌ی استریم‌ها متوقف می‌شوند تا سرور آن سند را پیش‌پرکنی (prefill) کند. یکی از همکارانتان پیشنهاد می‌دهد پیش‌پرکنی و رمزگشایی را از هم تفکیک (prefill-decode disaggregation) کنید: سرورهای پیش‌پرکنی جدا و سرورهای رمزگشایی (decode) جدا. چه زمانی این تفکیک ارزشش را دارد، چه کارهایی از دستش برنمی‌آید، و چطور باید درباره‌اش تصمیم بگیرید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

تفکیک پیش‌پرکنی از رمزگشایی زمانی به کار می‌آید که مشکلِ اندازه‌گیری‌شده، دُم تاخیر بین توکن‌ها (inter-token latency tail) باشد و پرامپت‌های طولانی مسبب آن باشند؛ چرا که سرور پیش‌پرکنی دیگر هیچ گامی را با یک استریم شریک نمی‌شود. این کار نرخ پردازش (throughput) را بالا نمی‌برد: مستندات صراحتاً به این نکته اشاره کرده‌اند، هزینه‌ی انتقال کش کلید-مقدار (KV cache) به ازای هر درخواست را به همراه سرورهای بیشتر و یک مسیریاب (router) تحمیل می‌کند، و پژوهشی در سال 2025 نشان داد که حتی بهبود دُم تاخیر نیز به بار کاری و مسیر جابه‌جایی کش وابسته است. تصمیم‌گیری را با اندازه‌گیری پیش ببرید: ابتدا یک سرور، سپس نسخه‌های موازی پشت یک گیت‌وی، و در آخر تفکیک؛ آن هم در مقایسه با اجرای همان تعداد GPU به‌صورت سرورهای ساده تحت بار واقعی‌تان.

پاسخ کامل

چه مشکلی را حل می‌کند و چه مشکلی را نه

روی یک سرور، پرامپت طولانی هر گام را با استریم‌های در حال اجرا شریک می‌شود و در نتیجه، هر استریم برای دریافت توکن بعدی‌اش کمی بیشتر معطل می‌ماند. پیش‌پرکنی تکه‌ای (Chunked prefill) این وقفه را کوتاه‌تر می‌کند اما نمی‌تواند کاملاً حذفش کند. استفاده از دو نوع سرور این وقفه را از بین می‌برد: سرور پیش‌پرکنی، پرامپت را پردازش و کش کلید-مقدار آن را می‌سازد، و سرور رمزگشایی آن کش را تحویل می‌گیرد و پاسخ را می‌نویسد.

مستندات vLLM می‌گوید پیش‌پرکنی تفکیک‌شده نرخ پردازش را افزایش نمی‌دهد. این تفکیک امکان کنترل زمان تا اولین توکن و استریم را به‌صورت دو عدد مجزا فراهم می‌کند، و دُم تاخیر بین توکن‌ها را مهار می‌سازد. حتی همین دستاورد هم مشروط است، نه یک پیش‌فرض همیشگی: پژوهشی که سرورهای تفکیک‌شده را با سرورهای مجری هر دو مرحله مقایسه کرده نشان می‌دهد این بهینه‌سازی به بار درخواست‌ها و مسیر جابه‌جایی کش بستگی دارد.

کش چگونه جابه‌جا می‌شود

در SGLang، گیت‌وی آغازگر هر تبادل است. یک سرور پیش‌پرکنی و یک سرور رمزگشایی را انتخاب می‌کند، هاست و پورت بوت‌استرپ سرور پیش‌پرکنی را به همراه یک شماره اتاق (room number) تصادفی 63 بیتی اضافه می‌کند، و درخواست یکسان را برای هر دو می‌فرستد. سرور رمزگشایی جایگاه‌های کش کلید-مقدار (KV slots) را رزرو کرده و آدرس‌های آن‌ها را اعلام می‌کند. سرور پیش‌پرکنی یک پیش‌پرکنی عادی را اجرا کرده و صفحات کش کلید-مقدار را مستقیماً درون آن جایگاه‌ها می‌نویسد؛ این کار با بک‌اند انتقال پیش‌فرض به‌صورت یک RDMA write یک‌طرفه انجام می‌شود، یا روی کلاسترهای فاقد کارت‌های RDMA از طریق TCP صورت می‌گیرد. سرور رمزگشایی پایان انتقال را می‌بیند و درخواست را به دسته‌ی در حال اجرای خود می‌افزاید. هر انتقال مراحل بوت‌استرپ، انتظار، در حال انتقال و موفقیت را طی می‌کند و هر مرحله ممکن است با شکست روبه‌رو شود. پورت بوت‌استرپ به‌صورت پیش‌فرض 8998 است، هر دو مهلت زمانی (timeout) روی 300 ثانیه تنظیم شده‌اند، و طول صف انتقال برابر با 4 است.

در vLLM به هر سرور یک اتصال‌دهنده (connector) کش کلید-مقدار و یک نقش اختصاص می‌یابد: kv_producer یا kv_consumer. اتصال‌دهنده‌ی مشترک به کتابخانه‌ای نیاز دارد که پکیج wheel آن را نصب نمی‌کند و روی نسخه‌ی 1.4.1 فیکس (pinned) شده است. یک مسیریاب هر درخواست را ابتدا به سرور پیش‌پرکنی می‌فرستد، پارامترهای انتقال را از پاسخ آن می‌خواند، و سپس درخواست را همراه با آن‌ها به سرور رمزگشایی ارسال می‌کند. اگر انتقالی شکست بخورد، خط‌مشی پیش‌فرض درخواست را رد می‌کند؛ تنظیم kv_load_failure_policy روی recompute باعث می‌شود در صورت شکست، پرامپت دوباره روی سرور رمزگشایی پردازش شود.

هرگز درخواستی را مستقیماً به سروری که نقش اختصاصی دارد نفرستید. اسکژولر (scheduler) وجود اتاق بوت‌استرپ را بررسی می‌کند و به شما می‌گوید که از مسیریاب استفاده کنید.

ترتیب مراحل تصمیم‌گیری

  1. زمان تا اولین توکن (TTFT) و تاخیر بین توکن‌ها را روی یک سرور با بنچمارکی شامل ترکیبی از پرامپت‌های طولانی و کوتاه اندازه بگیرید.
  2. نسخه‌های موازی داده (data-parallel) را پشت یک گیت‌وی اضافه کنید و دوباره اندازه‌گیری را انجام دهید.
  3. فقط زمانی سراغ تفکیک بروید که با ورود پرامپت‌های طولانی، دُم تاخیر بین توکن‌ها همچنان بالا می‌رود؛ سپس معماری تفکیک‌شده را با همان تعداد GPU که به‌صورت سرورهای ساده تحت بار کاری واقعی‌تان کار می‌کنند مقایسه کنید.

تعیین ظرفیت دو سمت

پرامپت‌های طولانی با پاسخ‌های کوتاه به ظرفیت پیش‌پرکنی بیشتری نیاز دارند. پرامپت‌های کوتاه با پاسخ‌های طولانی به ظرفیت رمزگشایی بیشتری محتاج‌اند. در آزمایشی روی 8 تا GPU مشخص شد که در همروندی بالا، نسبتِ یک سرور پیش‌پرکنی به سه سرور رمزگشایی در تمام معیارها برنده شد؛ در حالی که در همروندی پایین، نسبت‌های سه به یک و دو به دو زمان اولین توکن بهتری دادند. این موضوع مسیر کلی را نشان می‌دهد، نه لزوماً نسبت دقیق کار شما را. زمان اولین توکن و استریم را در هر دو سمت اندازه بگیرید و سرورها را یکی‌یکی جابه‌جا کنید.

اشتباهات تیم‌های دیگر

  • زوجی شامل یک سرور پیش‌پرکنی و یک سرور رمزگشایی، زمان اولین توکن طولانی‌تری نسبت به یک سرور ساده با همان سهم از GPUها ثبت کرد. علت، یک کتابخانه‌ی انتقال قدیمی بود که با ارتقای آن مشکل برطرف شد. بدون خط مبنای (baseline) تک‌سرور، هیچ‌کس متوجه این مشکل نمی‌شد.
  • در بار 64 درخواست هم‌روند، سیستمی با خطاهای متعدد بوت‌استرپ و پیام Aborted by AbortReq در سمت پیش‌پرکنی مواجه شد، در حالی که بین 4 تا 7 درخواست هم‌روند بدون مشکل کار می‌کرد. مهلت زمانی مسیریاب برای کلاینت پیش‌پرکنی بیش از حد کوتاه بود و با یک اصلاحیه طولانی‌تر شد. اصل راهنما: لغو درخواست (abort) یعنی کلاینت یا مسیریاب آن را متوقف کرده‌اند، پس قبل از اینکه به مسیر انتقال مشکوک شوید، مهلت‌های زمانی را بررسی کنید.
  • با فعال بودن اسکژولر همپوشانی (overlap scheduler)، در یک استقرار مشاهده شد که نرخ پردازش حدود 10 درصد بالا رفت اما زمان اولین توکن به‌شدت بدتر شد؛ چرا که انتقال کش کلید-مقدار منتظر اجرای کرنل (kernel) بعدی می‌ماند. راهکار آن‌ها پرچمی بود که راهنمای سیستم در نسخه‌ی پین‌شده به آن اشاره‌ای نکرده بود.

مواردی که باید بعد از تفکیک زیر نظر بگیرید

شمارنده‌های خطای بوت‌استرپ و خطای انتقال باید روی صفر ثابت بمانند. سنجه‌های تاخیر انتقال و سرعت، هزینه‌ی هر جابه‌جایی را نشان می‌دهند. سنجه‌های پیش‌تخصیص رمزگشایی و صف انتقال، درخواست‌های در انتظار حافظه یا در انتظار انتقال را مشخص می‌کنند. در هر بنچمارکی، پیش از نرخ پردازش، توکن‌های خروجی توکنایزشده‌ی مجدد را بخوانید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: با استفاده از همان تعداد GPU، اولین توکن زوج تفکیک‌شده دیرتر از سرور ساده می‌رسد. در وهله‌ی اول به چه چیزی شک می‌کنید؟ پاسخ مورد انتظار: مسیر انتقال، قدیمی بودن کتابخانه‌ی انتقال یا مهلت زمانی مسیریاب؛ در یک حادثه این مشکل با یک ارتقا برطرف شد و فقط خط مبنای تک‌سرور نشان داد که تفکیک اوضاع را بدتر کرده است.
  • سطح 3: سمت پیش‌پرکنی در بار 64 کاربر خطاهای abort ثبت می‌کند اما در بار 4 تا 7 کاربر به‌خوبی کار می‌کند. ایراد از کجاست؟ پاسخ مورد انتظار: در مهلت‌های زمانی مسیریاب یا کلاینت که درخواست‌های در حال اجرا را متوقف کرده‌اند، نه در انتقال؛ اصلاحیه‌ای در ادامه مهلت زمانی مسیریاب را طولانی‌تر کرد.
  • سطح 4: چطور نسبت سرورهای پیش‌پرکنی به رمزگشایی را تعیین می‌کنید؟ پاسخ مورد انتظار: بر اساس طول پرامپت و پاسخ و همچنین میزان همروندی‌تان؛ پرامپت‌های طولانی با پاسخ‌های کوتاه به پیش‌پرکنی بیشتر نیاز دارند و برعکس آن به رمزگشایی بیشتر. آزمایشی نشان داد که نسبت یک پیش‌پرکنی به سه رمزگشایی در همروندی بالا برنده شد و نسبت‌های سه به یک یا دو به دو در همروندی پایین زمان اولین توکن بهتری دادند؛ بنابراین هر دو سمت را اندازه بگیرید و سرورها را یکی‌یکی جابه‌جا کنید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «تفکیک، نرخ پردازش را افزایش می‌دهد.» مستندات می‌گوید چنین نیست؛ این کار امکان کنترل زمان اولین توکن و استریم را به‌صورت دو عدد مجزا فراهم می‌کند و هزینه‌ی یک انتقال کش کلید-مقدار به ازای هر درخواست و سرورهای بیشتری را تحمیل خواهد کرد.
  • «برای دور زدن مسیریاب، درخواست‌ها را مستقیماً به سرور رمزگشایی بفرستید.» اسکژولر وجود اتاق بوت‌استرپ را الزامی می‌داند و به شما می‌گوید درخواست‌ها را به مسیریاب بفرستید؛ اتاق همان جایی است که دو سرور نیمه‌ی مربوط به هر درخواست را از طریق آن پیدا می‌کنند.
  • «انتقال ناموفق به یک پیش‌پرکنی معمولی برمی‌گردد.» خط‌مشی پیش‌فرض vLLM درخواست را رد می‌کند؛ اگر می‌خواهید سرور رمزگشایی پرامپت را دوباره پردازش کند، باید خط‌مشی خرابی را روی recompute تنظیم کنید.
  • «پیش‌پرکنی تکه‌ای از قبل این مشکل را حل کرده است.» این کار وقفه را کوتاه‌تر می‌کند ولی نمی‌تواند حذفش کند، چون تکه همچنان گام پردازشی را با رمزگشایی‌های در حال اجرا شریک می‌شود؛ تفکیک این اشتراک را از بین می‌برد اما به بهای یک انتقال و دسته‌ای جدید از خطاها.

کجای دوره آموزش داده می‌شود

بخش‌های تفکیک پیش‌پرکنی و رمزگشایی و بخش تفکیک در SGLang راه‌اندازی، محدودیت‌ها و حوادث پیرامون آن را پوشش می‌دهند.