سؤال مصاحبه

نمونه‌ی دومی که کش پیشوند را بی‌اثر می‌کند

A second replica that undoes the prefix cache

  • سطح ۳: ارشد
  • طراحی
  • ۱۵ دقیقه

برای دو برابر کردن ظرفیت سرویس‌دهی، یک نمونه‌ی عملیاتی (replica) دوم اضافه می‌کنید. نرخ پردازش (throughput) بالا می‌رود، اما زمان تولید اولین توکن در نشست‌های گفت‌وگوی طولانی بدتر می‌شود و نرخ اصابت کش (cache hit rate) روی هر دو سرور افت می‌کند. علت را توضیح دهید و مسیریابی را طوری طراحی کنید که نمونه‌ی دوم دیگر اثر کش را خنثی نکند.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

هر نمونه کش کلید-مقدار (KV cache) اختصاصی خودش را دارد، و مسیریابی (router) که درخواست‌ها را تصادفی یا به نوبت توزیع می‌کند، نوبت پنجم یک گفت‌وگو را به سروری می‌فرستد که هرگز نوبت‌های اول تا چهارم را ندیده است. آن نمونه مجبور می‌شود تمام تاریخچه را دوباره پیش‌پرکنی (prefill) کند؛ یعنی دقیقاً همان عدم‌اصابت پیشوندی که کش برای جلوگیری از آن ساخته شده است. هر گفت‌وگو را با یک سیاست مسیریابی آگاه از کش (cache-aware routing) به همان سروری هدایت کنید که پیشوند آن را نگه داشته است؛ سیاستی که به یاد می‌سپارد کدام سرور چه متنی را دیده و قبل از هر کاری تعادل بار را هم بررسی می‌کند. سپس نرخ اصابت را مستقیماً از خود سرورها بخوانید، چرا که داده‌های ثبت‌شده در مسیریاب صرفاً یک حدس است.

پاسخ کامل

سازوکار مسئله

یک سرویس ساده‌ی Kubernetes درخواست‌ها را تصادفی پخش می‌کند. کنترل‌کننده‌ی داخلی موازی‌سازی داده (data parallelism) در SGLang هم به‌صورت پیش‌فرض روی نوبت‌گردشی (round-robin) تنظیم شده که پیشوندها را کاملاً نادیده می‌گیرد. در هر دو حالت، نوبت‌های یک گفت‌وگو روی نمونه‌های متفاوتی می‌نشینند و هر نمونه تاریخچه‌ای را پردازش می‌کند که دیگری قبلاً در خود ذخیره داشته است. یک گزارش میدانی در مستندات SGLang ابعاد این خسارت را اندازه گرفته است: با مسیریابی نوبت‌به‌نوبت، 23 درصد از توکن‌های ورودی دوباره محاسبه می‌شدند. تنها با اضافه‌کردن یک هدر به درخواست که هر گفت‌وگو را به یک GPU مشخص سنجاق می‌کرد، نرخ اصابت کش از 64.7 به 92.1 درصد رسید و میانه زمان تولید اولین توکن به نصف کاهش یافت.

نحوه‌ی انتخاب سرور توسط مسیریاب آگاه از کش

درگاه SGLang به ازای هر مدل یک درخت مبنا (radix tree) تقریبی روی کاراکترهای متن درخواست نگه می‌دارد؛ بنابراین برای مسیریابی هرگز متن را توکنایز نمی‌کند. این درگاه برای هر درخواست، سه مرحله را به ترتیب زیر اجرا می‌کند:

  1. تعادل بار را بررسی می‌کند. اگر بار شلوغ‌ترین سرور بیش از 64 واحد بالاتر از خلوت‌ترین سرور و بیشتر از 1.5 برابر آن باشد، درخواست به خلوت‌ترین سرور فرستاده می‌شود.
  2. در غیر این صورت، نرخ تطابق را حساب می‌کند؛ یعنی سهمی از متن درخواست که با درخت همخوانی دارد. اگر این مقدار بالای 0.3 باشد، درخواست به سروری می‌رود که طولانی‌ترین تطابق را دارد.
  3. اگر زیر 0.3 باشد، به خلوت‌ترین سرور ارسال می‌شود.

هر 120 ثانیه یک وظیفه‌ی (task) پس‌زمینه هر درخت را هرس می‌کند تا حداکثر 67,108,864 گره داشته باشد. بررسی تعادل بار از عمد در مرحله‌ی اول قرار گرفته است: اگر اولویت با پیشوند بود، همه‌ی گفت‌وگوهای طولانی روی یک سرور داغ تلنبار می‌شدند.

درخت فقط یک حدس است

درگاه فقط ثبت می‌کند که متن را به کجا فرستاده است. این درگاه هرگز از سرور نمی‌پرسد که هنوز چه چیزهایی را نگه داشته، و سرور هم ممکن است بعداً پیشوند را بیرون انداخته باشد (evict). در نتیجه ممکن است درخواستی دقیقاً به سروری برسد که درخت تعیین کرده، اما باز هم پیش‌پرکنی شود. بنابراین فقط به تصمیم‌های مسیریابی اکتفا نکنید؛ نرخ اصابت را روی خود سرورها و از روی شمارنده‌های دوره‌ای آن‌ها بسنجید.

انتخاب سیاست بر اساس نوع ترافیک

برای ترافیک گفت‌وگو و ایجنت (agent) که نوبت‌ها پیشوندهای طولانی مشترک دارند، از مسیریابی آگاه از کش استفاده کنید. برای ترافیک دسته‌ای (batch) با پرامپت‌های کاملاً یکتا، از سیاست توان-دو (power-of-two) یا نوبت‌گردشی استفاده کنید؛ چون نرخ تطابق زیر آستانه در هر صورت هیچ وابستگیِ مکانی (affinity) ایجاد نمی‌کند. هرگز ترافیک چندنوبتی را پشت موازی‌سازی داده‌ی درون‌سروری با حالت پیش‌فرض نوبت‌گردشی قرار ندهید.

همین ایده در لایه‌های vLLM

مستندات vLLM چند مسیریاب معرفی می‌کند که متریک‌های موتور را برای انتخاب نمونه می‌خوانند؛ از جمله مسیریابی که رویدادهای کش کلید-مقدار را با فلگ --kv-events-config از موتور دریافت می‌کند تا درخواست مستقیماً به نمونه‌ای برود که پیشوند آن را در اختیار دارد. مسیریاب در استک عملیاتی (production stack)، نشست را روی یک نمونه نگه می‌دارد. طبق ادبیات درس درگاه‌ها، این کار همان مسیریابی ارائه‌دهنده در یک لایه پایین‌تر است: درگاه هوش مصنوعی (AI Gateway) بین ارائه‌دهنده‌ها مسیریابی می‌کند، و مسیریاب موتور بین نمونه‌ها.

قفل‌کردن نسخه‌ی مسیریاب همراه با موتور

مستندات SGLang حادثه‌ای را ثبت کرده که در آن همان بیلد موتور با یک نسخه‌ی مسیریاب، نرخ پردازش 132,140 توکن در ثانیه می‌داد و با نسخه‌ی بعدی به 69,767 توکن در ثانیه افت کرد. مسیریاب و موتور را مثل یک سیستم واحد بنچ‌مارک بگیرید و نسخه‌ی هر دو را با هم قفل کنید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا مسیریاب تعادل بار را قبل از تطابق پیشوند (prefix match) بررسی می‌کند؟ پاسخ مورد انتظار: اگر اولویت با پیشوند باشد، تمام گفت‌وگوهای طولانی به یک سرور شلوغ هدایت می‌شوند. شرط عدم‌تعادل بار باعث می‌شود که در صورت اختلاف زیاد، درخواست به خلوت‌ترین سرور برود.
  • سطح 3: کدام نوع ترافیک نباید از سیاست آگاه از کش استفاده کند؟ پاسخ مورد انتظار: ترافیک دسته‌ای با پرامپت‌های یکتا. وقتی نرخ تطابق زیر آستانه باشد کششی ایجاد نمی‌کند، پس یک سیاست مبتنی بر بار، همین کار را با وضعیت (state) کمتری انجام می‌دهد.
  • سطح 4: نرخ اصابت یک سرور پایین می‌ماند، با این‌که درگاه گفت‌وگوهای مربوط به آن را همان‌جا می‌فرستد. علت چیست؟ پاسخ مورد انتظار: درختِ درگاه فقط ثبت می‌کند که متن به کجا ارسال شده، نه این‌که سرور هنوز چه داده‌ای نگه داشته است. سرور پیشوند را پاک کرده و درخواست دوباره پیش‌پرکنی می‌شود. باید شمارنده‌های خود سرور خوانده شوند.
  • سطح 4: بدون دست‌زدن به موتور، مسیریاب را ارتقا می‌دهید. چه متغیری را اندازه می‌گیرید؟ پاسخ مورد انتظار: نرخ پردازش و نرخ اصابت کل سیستم (مسیریاب و موتور با هم)؛ چرا که در یک حادثه‌ی گزارش‌شده، تغییر مسیریاب به‌تنهایی نرخ پردازش را به نصف کاهش داده بود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «یک نمونه اضافه کنید تا نرخ اصابت هر سرور ثابت بماند.» هر نمونه کش اختصاصی خودش را دارد و مسیریابی تصادفی هر گفت‌وگو را بین هر دو سرور تکه‌تکه می‌کند.
  • «شناسه‌ی کاربر را به یک سرور هش (hash) کنید و کار تمام است.» این روش کاربر را روی یک سرور نگه می‌دارد اما بار کاری را نادیده می‌گیرد. درگاهِ مستندات ابتدا بار را متعادل می‌کند تا یک کاربر پرکار نتواند بدون راه نجات، یک نمونه را اشباع کند.
  • «به‌جای درگاه، موازی‌سازی داده‌ی درون‌سروری را روشن کنید.» روش پیش‌فرض آن نوبت‌گردشی است که پیشوندها را نادیده می‌گیرد؛ یعنی دقیقاً همان مشکلی که قصد حل کردنش را دارید.

کجای دوره آموزش داده می‌شود

بخش درگاه مدل در SGLang 101 مسیریابی آگاه از کش و گزارش میدانی را توضیح می‌دهد، بخش کوبرنتیز در vLLM 101 به مسیریاب‌هایی اشاره می‌کند که متریک‌های موتور و رویدادهای کش را می‌خوانند، و درس درگاه‌های هوش مصنوعی جایگاه مسیریابی را در میان قابلیت‌های درگاه بررسی می‌کند.