سؤال مصاحبه

نرخ پردازش یکسان، دو رویکرد هنگام پر شدن استخر حافظه

Same throughput, two choices at a full pool

  • سطح ۴: استف
  • بده‌بستان
  • ۱۲ دقیقه

روی یک پردازنده‌ی گرافیکی L4 با مدل Qwen/Qwen3-8B و استخر حافظه‌ی یکسان 24,096 توکنی، آزمایش حلقه‌بسته با 64 کاربر هم‌زمان، به vLLM نرخ خروجی 241 توکن بر ثانیه و به SGLang نرخ 257 توکن بر ثانیه می‌دهد؛ بنابراین هر دو موتور از نظر نرخ پردازش (Throughput) برابرند. با این حال تیم چت می‌گوید یکی از آن‌ها زیر این بار عملاً غیرقابل‌استفاده است و دیگری مشکلی ندارد. آن‌ها چه چیزی را می‌بینند و شما کدام موتور را برای چت انتخاب می‌کنید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

آن‌ها پیامد دو تصمیم متفاوت را هنگام پر شدن استخر حافظه (Pool) می‌بینند. در 64 کاربر هم‌زمان، vLLM تعداد 40 درخواست را پردازش کرد و 11 درخواست را در صف نگه داشت، در حالی که استخرش 99.5 درصد پر بود؛ در نتیجه اولین توکن آن 1.7 برابر سریع‌تر آمد (10,953 میلی‌ثانیه در برابر 18,356 میلی‌ثانیه). اما هر پیش‌پرکنی (Prefill) جدید گام پردازش را با رمزگشایی‌های (Decodes) در حال اجرا شریک شد و فاصله‌ی صدک 99 بین توکن‌ها (P99 ITL) به 1,363 میلی‌ثانیه رسید؛ در حالی که این عدد در SGLang برابر 114 میلی‌ثانیه بود که 37 درخواست را پردازش می‌کرد و 27 درخواست را در صف نگه می‌داشت. برای چت، باید P99 ITL را در کنار زمان اولین توکن در بار کاری و الگوی ترافیک واقعی خودتان بررسی کنید؛ چون این دو موتور به‌صورت پیش‌فرض دو سمت متفاوت این مصالحه را انتخاب می‌کنند، و یک فلگ در SGLang این کفه را جابه‌جا کرد.

پاسخ کامل

استخرهای یکسان، کلاک‌های یکسان

در راهنما سه تصمیم گرفته شد تا فقط خود موتور متغیر بماند. سرور vLLM با پارامتر --num-gpu-blocks-override 1506 اجرا شد (1,506 بلاک 16 توکنی که دقیقاً برابر 24,096 توکن است)، در حالی که SGLang اندازه‌ی استخر خود را 24,094 توکن در نظر گرفت. هر دو در یک نشست (Session) روی یک پردازنده‌ی گرافیکی اجرا شدند، هر اجرا در دمای 72 درجه‌ی سانتی‌گراد یا کمتر آغاز شد و هر بار که میانه‌ی کلاک SM زیر 1,000 مگاهرتز رفت، اجرا کنار گذاشته و تا سه بار تکرار شد. سرور vLLM با --max-model-len 8192 اجرا شد که همه‌ی درخواست‌ها در آن جا می‌شدند و مشکل بیلد نمونه‌گیر (Sampler) آن نیز برطرف شد؛ بنچمارک حریصانه (Greedy) است، بنابراین نمونه‌گیر تغییری در خروجی ایجاد نمی‌کند.

حلقه‌ی بسته

هم‌زمانی توکن خروجی بر ثانیه، SGLang / vLLM میانه‌ی TTFT، SGLang / vLLM صدک 99 فاصله‌ی بین توکن‌ها (P99 ITL)، SGLang / vLLM میانه‌ی کلاک SM، SGLang / vLLM
1 13.84 / 13.51 185 / 192 میلی‌ثانیه 104 / 105 میلی‌ثانیه 1,290 / 1,290 مگاهرتز
8 112.46 / 112.79 170 / 253 میلی‌ثانیه 71 / 68 میلی‌ثانیه 1,485 / 1,470 مگاهرتز
16 201.13 / 200.90 212 / 289 میلی‌ثانیه 81 / 80 میلی‌ثانیه 1,470 / 1,425 مگاهرتز
32 271.28 / 273.93 2,871 / 1,813 میلی‌ثانیه 102 / 619 میلی‌ثانیه 1,320 / 1,275 مگاهرتز
64 256.62 / 241.39 18,356 / 10,953 میلی‌ثانیه 114 / 1,363 میلی‌ثانیه 1,215 / 1,013 مگاهرتز

تا 32 کاربر، تفاوت دو موتور در نرخ پردازش زیر 3 درصد و در زمان به ازای هر توکن زیر 6 درصد بود. پیش از پر شدن استخر حافظه، SGLang اولین توکن را زودتر تحویل داد: 170 در برابر 253 میلی‌ثانیه در 8 کاربر.

آمارها چه می‌گویند

فراتر از این نقطه، دو موتور تصمیمات متفاوتی گرفتند. SGLang تعداد 37 درخواست را پردازش کرد و 27 درخواست را در صف نگه داشت و استخرش 92 درصد پر شد. vLLM تعداد 40 درخواست را پردازش و 11 درخواست را در صف نگه داشت، 99.5 درصد استخرش را پر کرد و هم‌زمان پرامپت‌های جدید را با سرعت 460 توکن بر ثانیه پیش‌پرکنی کرد. درخواست‌های بیشتری شروع شدند، پس اولین توکن آن‌ها زودتر آمد. اما هر پیش‌پرکنی جدید، گام پردازش را با رمزگشایی‌های در حال اجرا شریک شد و در نتیجه استریم‌ها متوقف ماندند. نکته‌ی مربوط به فرکانس کلاک به سطر آخر برمی‌گردد: حتی بعد از سه بار تلاش، اجرای vLLM در 64 کاربر، میانه‌ی کلاک 1,013 مگاهرتز در برابر 1,215 مگاهرتز داشت؛ بنابراین بخشی از اختلاف نرخ پردازش به خاطر کارت گرافیک است. با این حال، اختلاف 12 برابری در دم توزیع فاصله‌ی بین توکن‌ها خیلی بزرگ‌تر از آن است که با اختلاف 17 درصدی کلاک توجیه شود.

نرخ ورود ثابت

تا 2 درخواست در ثانیه، نرخ پردازش هر دو موتور برابر بود؛ SGLang اولین توکن را زودتر تحویل داد (284 در برابر 317 میلی‌ثانیه در 0.5 درخواست در ثانیه) و vLLM زمان به ازای هر توکنِ کوتاه‌تری داشت (68 در برابر 74 میلی‌ثانیه در 1 درخواست در ثانیه). در 2 درخواست در ثانیه، vLLM میانه‌ی 1.36 درخواست بر ثانیه را در محدوده‌ی تاخیر (Latency) مجاز پاسخ داد و SGLang مقدار 0.88 را، آن هم با بازه‌های سید تصادفی هم‌پوشان (Overlapping seed ranges). از 4 درخواست در ثانیه به بعد، هر دو موتور از نرخ ورود درخواست‌ها عقب افتادند و همان رویکرد پذیرش متفاوت دوباره نمایان شد: vLLM نرخ 286.6 توکن بر ثانیه در برابر 257.5 ارائه داد (11 درصد بیشتر)، اما زمان P99 به ازای هر توکن آن 187 در برابر 127 میلی‌ثانیه شد.

ترافیک موجی و طول‌های متغیر

با طول پرامپت ثابت در 16 کاربر، درخواست‌ها موجی وارد می‌شوند؛ در این حالت هر دو موتور نرخ پردازش برابری داشتند، در حالی که vLLM اولین توکن را زودتر تحویل داد (1,499 در برابر 1,775 میلی‌ثانیه) و SGLang جریان ارسال توکن‌ها را روان نگه داشت (P99 ITL برابر 81 در برابر 502 میلی‌ثانیه). با طول‌های متغیر، vLLM به‌صورت پیش‌فرض جلوتر بود: 169.6 در برابر 159.6 توکن بر ثانیه و P99 ITL برابر 191 در برابر 363 میلی‌ثانیه. سپس فعال‌سازی --enable-mixed-chunk در SGLang—که رمزگشایی‌های در حال اجرا را داخل دسته‌ی پیش‌پرکنی می‌گذارد—این فاصله را به 193 در برابر 191 میلی‌ثانیه رساند؛ البته به قیمت بدتر شدن P99 ITL در طول‌های ثابت از 81 به 203 میلی‌ثانیه.

پرامپت‌های مشترک

با پرامپت سیستم مشترک، کش هر دو موتور اصابت کرد (Cache hit) و هر دو موتور میانه‌ی زمان اولین توکن را در تمام طول‌های مشترک زیر 500 میلی‌ثانیه نگه داشتند. با خاموش کردن کش در 4,096 توکن مشترک، زمان SGLang به 14,706 میلی‌ثانیه و vLLM به 13,353 میلی‌ثانیه رسید. این نتیجه حاصل کَش است، نه خود موتور.

تراشه‌ی GB10

روی GB10 هر دو موتور خروجی یکسانی در 32 و 64 کاربر دادند و P99 ITL در vLLM حدود دو برابر بیشتر بود (478 در برابر 220 میلی‌ثانیه در 32 کاربر).

نحوه‌ی انتخاب

روی این کارت گرافیک با پرامپت‌های غیرتکراری، انتخاب بیشتر تصمیمی بر سر تاخیر بود و الگوی ترافیک برنده را مشخص کرد. وقتی درخواست‌ها هم‌زمان می‌رسیدند (هنگام پر شدن استخر یا در ترافیک موجی)، SGLang از یکنواختی استریم محافظت می‌کرد و vLLM از زمان اولین توکن. با طول‌های متغیر، vLLM به‌صورت پیش‌فرض پیشتاز بود و یک فلگ این برتری را از بین برد. بر اساس پشتیبانی از مدل، زمان راه‌اندازی و سخت‌افزاری که در اختیار دارید تصمیم بگیرید؛ سپس ترکیب طول پرامپت‌های خودتان را بسنجید و P99 ITL را در کنار اولین توکن بخوانید. موتورها را فقط با استخرهای یکسان و کلاک‌های متناظر مقایسه کنید، یا اصلاً مقایسه نکنید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا vLLM در نرخ پردازش یکسان، اولین توکن را سریع‌تر و استریم بدتری را ارائه داد؟ پاسخ مورد انتظار: درخواست‌های بیشتری را پذیرفت (40 در برابر 37) و استخرش را تا 99.5 درصد پر کرد، در حالی که پرامپت‌های جدید را با سرعت 460 توکن بر ثانیه پیش‌پرکنی می‌کرد؛ هر پیش‌پرکنی جدید گام پردازش را با رمزگشایی‌های در حال اجرا شریک شد، بنابراین استریم‌ها متوقف شدند در حالی که توکن‌های اول زودتر رسیدند.
  • سطح 4: با طول پرامپت‌های متغیر، vLLM در روانی استریم جلوتر بود و سپس SGLang به آن رسید. چه چیزی تغییر کرد؟ پاسخ مورد انتظار: فلگ mixed-chunk رمزگشایی‌های در حال اجرا را وارد دسته‌ی پیش‌پرکنی کرد، بنابراین پرامپت جدید دیگر استریم را متوقف نمی‌کرد؛ P99 ITL با طول‌های متغیر از 363 به 193 میلی‌ثانیه کاهش یافت و هزینه‌ی آن بدتر شدن P99 ITL در طول‌های ثابت (از 81 به 203 میلی‌ثانیه) بود، چون کل موج‌ها گام‌های پردازش را با رمزگشایی‌ها شریک شدند.
  • سطح 4: مقایسه‌ای منتشر شده که نشان می‌دهد یک موتور 29 درصد جلوتر است. قبل از پذیرفتن آن چه سوالاتی می‌پرسید؟ پاسخ مورد انتظار: نسخه‌ها و تاریخ، آیا بار کاری با بار کاری شما (شامل سهم پیشوندهای تکراری) هم‌خوانی دارد، آیا بودجه‌های حافظه و فلگ‌های زمینه یکسان بوده‌اند، آیا هم‌زمانی از محدودیت گراف رمزگشایی فراتر رفته، آیا فلگ‌ها به‌درستی معادل‌سازی شده‌اند، و چه کسی هزینه‌ی تست را پرداخته است.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «نرخ پردازش هر دو برابر است، پس فرقی نمی‌کند کدام را انتخاب کنید.» در 64 کاربر، صدک 99 فاصله‌ی بین توکن‌ها در خروجی یکسان، روی یکی 1,363 میلی‌ثانیه و روی دیگری 114 میلی‌ثانیه بود؛ برای چت، این همان عددی است که کاربران حس می‌کنند.
  • «موتوری که اولین توکن را زودتر تحویل می‌دهد برای چت بهتر است.» این موتور توکن اول را به قیمت توقف‌های مکرر در استریم به دست آورد؛ P99 ITL آن 12 برابر بیشتر بود و هیچ سقفی درستش نکرد؛ باید هر دو عدد را با هم بخوانید.
  • «موتور سریع‌تر در بنچمارک، سریع‌تر است.» مقایسه را فقط با استخرها و کلاک‌های متناظر انجام دهید؛ در یکی از تست‌های منتشرشده، یک موتور روی سهم حافظه‌ی خودکار و دیگری روی 0.9 حافظه‌ی کارت رها شده بود، بنابراین دو استخر با هم تفاوت داشتند.
  • «این نتیجه برای ترافیک متنوع ما هم صادق است.» برنده با الگوی ترافیک تغییر کرد: در استخر پر و بارهای موجی یک موتور از استریم محافظت کرد، با طول‌های متغیر موتور دیگر به‌صورت پیش‌فرض پیشتاز بود، و یک فلگ این برتری را حذف کرد؛ ترکیب طول‌های واقعی خود را اندازه بگیرید.

کجای دوره آموزش داده می‌شود

مبحث Reading other people's SGLang benchmarks مقایسه‌ی استخرهای یکسان را پوشش می‌دهد، و Tune chat for many users داده‌های P99 ITL روی GB10 را اضافه می‌کند.