سؤال مصاحبه

هشت نسخه از یک کش کلید-مقدار یکسان

Eight copies of the same KV cache

  • سطح ۴: استف
  • مفهومی
  • ۱۰ دقیقه

یکی از هم‌تیمی‌های شما مدلی مبتنی بر اتنشن نهفته (Latent Attention یا MLA) را روی هشت پردازنده‌ی گرافیکی (GPU) با --tp-size 8 سرو می‌کند و می‌پرسد چرا این سرور با وجود 640 گیگابایت حافظه، توکن‌های کش کلید-مقدار (KV cache) بسیار کمی را در خود جای می‌دهد. توضیح دهید که تقسیم‌بندی موازی‌سازی تنسور (Tensor Parallelism) با این کش چگونه رفتار می‌کند، حالت گروه‌بندی اتنشن چه تغییری ایجاد می‌کند و چه مواردی بدون داشتن فلگ اختصاصی تغییر می‌کنند.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

اتنشن نهفته برای هر توکن و هر لایه یک متغیر نهفته‌ی فشرده ذخیره می‌کند که برای یک مدل 61لایه‌ای حدود 68.6 کیلوبایت است. از آنجا که موازی‌سازی تنسور نمی‌تواند یک هد تکی را بین چند GPU تقسیم کند، هر یک از 8 رتبه (Rank) کل کش مربوط به تمام توکن‌ها را ذخیره می‌کند؛ یعنی هشت نسخه‌ی تکراری و بدون هیچ ظرفیت توکن اضافی. موازی‌سازی داده‌ی اتنشن (Attention Data Parallelism)، لایه‌های اتنشن را به‌صورت موازی‌سازی داده در داخل گروه تنسور اجرا می‌کند؛ به‌طوری که هر گروه اسکژولر (Scheduler)، درخواست‌ها و کش کلید-مقدار اختصاصی خود را دارد، در حالی که لایه‌های متخصص (Expert) همچنان بین همه‌ی GPUها توزیع‌شده می‌مانند. با این کار، ظرفیت کلید-مقدار متناسب با تعداد گروه‌ها رشد می‌کند؛ چیدمان مناسب برای این مدل‌ها استفاده از --attn-dp-size 8 در کنار --tp-size 8 است. این حالت همچنین اندازه‌ی پیش‌پرکنی تکه‌ای (Chunked Prefill) را بر تعداد گروه‌ها تقسیم کرده و محافظه‌کاری زمان‌بندی را در 0.3 ضرب می‌کند؛ در نتیجه اندازه‌ی تکه‌ای که برای یک GPU تنظیم شده بود کوچک‌تر می‌شود و سیستم درخواست‌ها را جسورانه‌تر می‌پذیرد.

پاسخ کامل

یک جهان، راه‌های بسیار برای تقسیم آن

جهان مدل (Model world) مجموعه‌ای از GPUها است که یک نسخه‌ی کامل از مدل را در خود نگه می‌دارند، و SGLang آن را فقط از روی دو عدد می‌سازد: اندازه‌ی جهان (World size) باید برابر با حاصل‌ضرب --tp-size در --pp-size باشد. موازی‌سازی داده‌ی اتنشن، موازی‌سازی متخصصان (Expert Parallelism) و موازی‌سازی کانتکست (Context Parallelism) پردازنده‌ی گرافیکی جدیدی اضافه نمی‌کنند، بلکه همان پردازنده‌های گرافیکیِ گروه تنسور را برای لایه‌های مختلف به‌شکل متفاوتی دوباره گروه‌بندی می‌کنند. مقدار پیش‌فرض همه‌ی این فلگ‌ها 1 است.

دو معنای موازی‌سازی داده

موازی‌سازی داده با فلگ --dp-size یعنی داشتن چندین نسخه‌ی کامل از مدل که هر کدام درخواست‌ها و کش کلید-مقدار اختصاصی خود را دارند و پشت یک کنترل‌کننده قرار گرفته‌اند؛ این کنترل‌کننده درخواست‌ها را به‌طور پیش‌فرض به روش نوبتی چرخشی (Round-robin) به یکی از نسخه‌ها می‌فرستد. اما موازی‌سازی داده‌ی اتنشن با فلگ --attn-dp-size به این معناست که در داخل یک گروه تنسور، لایه‌های اتنشن به‌صورت موازی‌سازی داده اجرا می‌شوند، در حالی که لایه‌های پیش‌خور (Feed-forward) یا متخصصان بین تمام پردازنده‌ها تقسیم‌شده باقی می‌مانند؛ مثلاً ترکیب --attn-dp-size 4 با --tp-size 8 چهار گروه اتنشن ایجاد می‌کند که هر کدام دو GPU دارند.

قبل از نسخه‌ی v0.5.22 یک فلگ هر دو مفهوم را در بر داشت: --dp-size تعداد نسخه‌های مدل را مشخص می‌کرد، مگر اینکه --enable-dp-attention تنظیم شده بود که در این صورت تعداد گروه‌های اتنشن را می‌شمرد. تغییر ادغام‌شده (merge شده) در تاریخ 2026-09-30 دلیل این کار را در یک جمله توضیح داد: این فلگ دو معنای کاملاً متفاوت داشت و هر کسی برای فهمیدن موضوع باید هر دو فلگ را بررسی می‌کرد. در نسخه‌ی پین‌شده، عبارت --dp-size 8 --enable-dp-attention همراه با یک هشدار منسوخ‌شدن به‌صورت خودکار به --attn-dp-size 8 --dp-size 1 بازنویسی می‌شود. همچنین ترکیب --dp-size 2 --attn-dp-size 4 خطا می‌دهد، چون ترکیب نسخه‌های کامل مدل با گروه‌های اتنشن پشتیبانی نمی‌شود، و کامنتی در کد آمده است که این فلگ قدیمی پس از 2026-12-31 به‌کلی حذف شود. هنوز بسیاری از راهنماهای سطح اینترنت از همان ساختار قدیمی استفاده می‌کنند.

چرا اتنشن به حالت اختصاصی نیاز دارد؟

اتنشن نهفته برای هر توکن و هر لایه یک متغیر نهفته‌ی فشرده ذخیره می‌کند که عملاً معادل یک هد کلید-مقدار است. موازی‌سازی تنسور نمی‌تواند یک هد را بین چند GPU خرد کند؛ بنابراین با --tp-size 8، هر GPU کل کش نهفته را برای تمام توکن‌ها ذخیره می‌کند و هشت GPU در عمل هشت نسخه‌ی یکسان نگه می‌دارند. با موازی‌سازی داده‌ی اتنشن، هر گروه فقط درخواست‌های اختصاصی خود را نگه می‌دارد و در نتیجه ظرفیت کلید-مقدار همگام با تعداد گروه‌ها افزایش می‌یابد. تیمی که این حالت را پیاده‌سازی کرده، ادعا می‌کند که برای این مدل‌ها به حداکثر 1.9 برابر نرخ پردازش (Throughput) رمزگشایی (Decode) بیشتر رسیده است. در مدلی متراکم (Dense) با اتنشن پرس‌وجوی گروه‌بندی‌شده (Grouped-Query Attention)، این دلیل صدق نمی‌کند: چنین مدلی چندین هد کلید-مقدار دارد و موازی‌سازی تنسور تا زمانی که اندازه‌ی تنسور حداکثر برابر با تعداد هدهای کلید-مقدار باشد، کش را بدون ایجاد نسخه‌های تکراری خرد می‌کند. فراتر از این تعداد، هر هد کلید-مقدار روی بیش از یک رتبه کپی می‌شود.

دو اثر جانبی

فعال‌سازی موازی‌سازی داده‌ی اتنشن دو تنظیم دیگر را هم تغییر می‌دهد. اندازه‌ی پیش‌پرکنی تکه‌ای بر تعداد گروه‌ها تقسیم می‌شود؛ بنابراین تکه‌ی 8192 توکنی که برای یک GPU تنظیم شده بود، با هشت گروه به 1024 تبدیل می‌شود و لاگ سرور مقادیر قدیم و جدید را چاپ می‌کند؛ در نتیجه پرامپت‌های طولانی به گام‌های زمان‌بندی بیشتری نیاز پیدا خواهند کرد. همچنین محافظه‌کاری اسکژولر در 0.3 ضرب می‌شود؛ یعنی اسکژولر درخواست‌های جدید را با رزرو فضای کمتری برای توکن‌های آینده‌شان می‌پذیرد.

داده‌های تجربی از پروژه‌ها

یک تیم دانشجویی که مدلی با اتنشن نهفته را برای یک مسابقه بهینه‌سازی می‌کرد، در حالت آفلاین با موازی‌سازی تنسور ساده‌ی 16مسیره به حدود 5.9 هزار توکن در ثانیه رسید، و با چیدمان تنسور 4، داده 4، پایپ‌لاین 2 و موازی‌سازی داده‌ی اتنشن روی یک نود، سرعت 17417 توکن در ثانیه را ثبت کرد؛ البته این مورد را صرفاً به‌صورت یک نقطه داده در نظر بگیرید، چون توضیحات آن‌ها درباره‌ی کسر حافظه نادرست است. یک استقرار در محیط عملیاتی (Production) از همین خانواده‌ی مدل، رمزگشایی را روی دو نود با 16 گروه اتنشن و موازی‌سازی متخصصان 16مسیره اجرا می‌کند. متریک sglang:dp_attention_token_imbalance_ratio را زیر نظر بگیرید؛ این شاخص نسبت توکن‌های شلوغ‌ترین گروه به میانگین را نشان می‌دهد که عدد 1.0 در آن به معنای تعادل کامل است.

رویکرد پیشنهادی

از موازی‌سازی تنسور صرفاً در حدی استفاده کنید که مدل در حافظه جا شود و نه بیشتر. ظرفیت را با افزودن نسخه‌های مدل افزایش دهید؛ چه داخل یک سرور و چه پشت یک درگاه (Gateway)، با استخرهای برابر. تعداد گروه‌های اتنشن را برای مدل‌های متخصصِ مبتنی بر اتنشن نهفته برابر با اندازه‌ی تنسور قرار دهید و برای مدل‌های متراکم با اتنشن پرس‌وجوی گروه‌بندی‌شده، آن را روی 1 بگذارید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا همان سرور با یک مدل متراکمِ مبتنی بر اتنشن پرس‌وجوی گروه‌بندی‌شده نیازی به گروه‌های اتنشن ندارد؟ پاسخ مورد انتظار: آن مدل چندین هد کلید-مقدار دارد؛ بنابراین تا زمانی که تعداد هدها حداقل به اندازه‌ی رتبه‌ها باشد، موازی‌سازی تنسور کش را بدون ایجاد کپی بین رتبه‌ها تقسیم می‌کند؛ مشکل کپی‌های تکراری فقط زمانی رخ می‌دهد که اتنشن یک متغیر نهفته‌ی غیرقابل‌تقسیم داشته باشد.
  • سطح 4: در یک راهنما از سال گذشته، فلگ قدیمی کپی همراه با فلگ اتنشن ارسال شده است. در نسخه‌ی پین‌شده چه اتفاقی می‌افتد و به‌جای آن چه باید بنویسید؟ پاسخ مورد انتظار: سرور آن را به --attn-dp-size همراه با --dp-size 1 بازنویسی کرده و یک هشدار منسوخ‌شدن چاپ می‌کند، و فلگ قدیمی قرار است بعد از پایان سال 2026 حذف شود؛ باید از --attn-dp-size استفاده کنید و بدانید که ترکیب نسخه‌های کپی با گروه‌های اتنشن منجر به خطا می‌شود.
  • سطح 4: تیمی زمان توکن اول را با تکه‌ی 8192 تنظیم کرد و سپس هشت گروه اتنشن را فعال ساخت. چرا پردازش پرامپت‌های طولانی کندتر شد؟ پاسخ مورد انتظار: اندازه‌ی تکه بر تعداد گروه‌ها تقسیم می‌شود، بنابراین هر گروه اکنون پیش‌پرکنی را در تکه‌های 1024تایی انجام می‌دهد و پرامپت طولانی به گام‌های زمان‌بندی بیشتری نیاز دارد؛ لاگ سرور مقادیر قدیم و جدید را چاپ می‌کند و نسبت پذیرش نیز در 0.3 ضرب شده است.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «هشت GPU ظرفیت کش کلید-مقدار را هشت برابر می‌کنند.» در موازی‌سازی تنسور با اتنشن نهفته، هر رتبه کل کش را در خود نگه می‌دارد؛ بنابراین هشت GPU هشت نسخه‌ی تکراری و فقط ظرفیت یک پردازنده را دارند؛ موازی‌سازی داده‌ی اتنشن عاملی است که ظرفیت را همگام با گروه‌ها افزایش می‌دهد.
  • «فلگ --dp-size 8 یعنی هشت گروه اتنشن.» در نسخه‌ی پین‌شده، --dp-size تعداد نسخه‌های مدل را می‌شمارد؛ گروه‌های اتنشن با --attn-dp-size مشخص می‌شوند و ساختار نگارشی قدیمی به همراه فلگ اضافی با یک هشدار بازنویسی می‌شود تا زمانی که کلاً حذف گردد.
  • «موازی‌سازی داده‌ی اتنشن فقط لایه‌های اتنشن را تغییر می‌دهد.» این کار اندازه‌ی پیش‌پرکنی تکه‌ای را نیز بر تعداد گروه‌ها تقسیم کرده و محافظه‌کاری زمان‌بندی را در 0.3 ضرب می‌کند، بنابراین توکن اول و نحوه‌ی پذیرش درخواست‌ها هر دو تغییر می‌کنند.
  • «برای ظرفیت بیشتر از آن در تمام مدل‌ها استفاده کنید.» برای یک مدل متراکم با اتنشن پرس‌وجوی گروه‌بندی‌شده، موازی‌سازی تنسور از قبل کش را بدون کپی‌های تکراری تقسیم می‌کند؛ دیدگاه راهنما این است که تعداد گروه‌های اتنشن فقط برای مدل‌های متخصص با اتنشن نهفته برابر با اندازه‌ی تنسور باشد.

کجای دوره آموزش داده می‌شود

بخش موازی‌سازی در SGLang هر دو نوع موازی‌سازی داده را تشریح می‌کند، و بخش استخر کلید-مقدار و بایت به ازای هر توکن به بررسی اندازه‌ی متغیر نهفته می‌پردازد.