سرویس چت شما روی کارت L4 با 32 کاربر همزمان، استریم بسیار نامطلوبی دارد: صدک 99 فاصلهی بین توکنها (inter-token latency یا ITL) برابر با 613 میلیثانیه است، در حالی که هدف شما حداکثر 100 میلیثانیه برای هر توکن و دریافت اولین توکن ظرف کمتر از 1 ثانیه است. یکی از همتیمیها پیشنهاد میکند با تنظیم --max-num-seqs 16 تعداد درخواستها در هر گام پردازش کمتر شود. انتظار شما چیست و اندازهگیریهای عملی چه میگویند؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
تعیین سقف، جا برای کاربران بیشتر باز نمیکند؛ فقط انتخاب میکند چه کسی در صف بماند. با تعیین سقف 16 برای 32 کاربر، استریم هر درخواست کمی روانتر شد (میانهی ITL برابر با 69.8 در برابر 80.5 میلیثانیه و P99 ITL برابر با 595 در برابر 613 میلیثانیه)، اما نیمی از کاربران در صف معطل شدند، میانهی زمان دریافت اولین توکن از 1.8 به 12.3 ثانیه رسید، و توان خروجی با 38 درصد افت به 171.8 توکن در ثانیه رسید. در 64 کاربر، هیچ سقفی از آزمونهای مستند نتوانست P99 ITL را به زیر 1.1 ثانیه برساند؛ بنابراین راهحل روی این کارت گرافیک، کاهش تعداد کاربران بهازای هر نمونه (replica) است، نه تعیین سقف.
پاسخ کامل
نقطهی شکست استریم
اجرای مدل Qwen/Qwen3-8B روی کارت L4 در نشست فرکانس کامل (full-clock)، با 512 توکن پرامپت و 128 توکن خروجی، در سه سید (seed) مختلف:
| کاربران | توکن خروجی در ثانیه | میانهی TTFT | P99 ITL | درصد تحقق هدف | میانهی فرکانس SM |
|---|---|---|---|---|---|
| 8 | 112.8 | 0.25 ثانیه | 67 میلیثانیه | 75% | 1,485 مگاهرتز |
| 16 | 201.3 | 0.29 ثانیه | 85 میلیثانیه | 64% | 1,455 مگاهرتز |
| 32 | 275.1 | 1.80 ثانیه | 613 میلیثانیه | 0% | 1,275 مگاهرتز |
| 64 | 242.3 | 11.18 ثانیه | 1,233 میلیثانیه | 0% | 1,005 مگاهرتز |
در این آزمون کش پیشوند (prefix cache) ریست نشده بود، به همین دلیل ردیفهای زیر 32 کاربر وضعیت را بیش از حد خوب نشان میدهند؛ با ریست کش، سهم پاسخهای مطابق با هدف در 16 کاربر به 25 درصد افت کرد و P99 ITL به 522 میلیثانیه رسید. روی این GPU، هر گام پردازش گنجایش 2,048 توکن دارد؛ بخشهای جدید پرامپت این گنجایش را با استریمهای در حال اجرا شریک میشوند و همین موضوع باعث توقف موقت استریمها میشود.
اعمال سقف روی 32 کاربر
| پیکربندی | توکن خروجی در ثانیه | میانهی TTFT | میانهی ITL | P99 ITL | میانهی فرکانس SM |
|---|---|---|---|---|---|
| پیشفرض، 256 | 275.1 | 1.8 ثانیه | 80.5 میلیثانیه | 613 میلیثانیه | 1,275 مگاهرتز |
--max-num-seqs 16 |
171.8 | 12.3 ثانیه | 69.8 میلیثانیه | 595 میلیثانیه | 1,365 مگاهرتز |
فرکانس پردازنده در حالت دارای سقف بالاتر بود، بنابراین افت خروجی ربطی به فرکانس ندارد. استریم کمی یکدستتر شد، اما نیمی از کاربران منتظر دریافت اولین توکن خود ماندند و خروجی 38 درصد افت کرد.
اعمال سقف روی 64 کاربر
در فرکانس قفلشده روی 900 مگاهرتز، دو سید و ریست در هر اجرا، در مقایسه با SGLang روی همان کارت گرافیک:
| پیکربندی | میانهی TTFT | P99 ITL | توکن خروجی در ثانیه |
|---|---|---|---|
| پیشفرض SGLang | 19.4 ثانیه | 143 تا 153 میلیثانیه | 225 تا 231 |
| پیشفرض vLLM | 11.8 ثانیه | 1,359 میلیثانیه | 220 |
--max-num-seqs 32 |
17.2 تا 20.6 ثانیه | 1,163 تا 1,399 میلیثانیه | 196 تا 230 |
--max-num-active-seqs 48 |
11.8 ثانیه | 1,329 تا 1,373 میلیثانیه | 215 تا 218 |
--max-num-active-seqs 16 |
44.8 تا 48.8 ثانیه | 1,133 تا 1,139 میلیثانیه | 129 تا 136 |
هیچ سقفی نتوانست P99 ITL را در vLLM به ارقام SGLang نزدیک کند. با 16 یا 32 درخواست در حال اجرا، P99 ITL بالای 1.1 ثانیه ماند و دریافت اولین توکن بین 17 تا 65 ثانیه طول کشید. روی این سختافزار، تعیین سقف وقفههای طولانی را در 64 کاربر برطرف نمیکند؛ راهحل واقعی، کاهش تعداد کاربران روی هر نمونه است.
استخر کوچک حافظه، همان صف دوم است
استخری با 6,560 توکن در مقایسه با 24,096 توکن برای 32 کاربر، میانهی زمان تا اولین توکن را از 3.1 به 31.6 ثانیه و صدک 99 آن را از 7.1 به 48.0 ثانیه رساند. هر درخواستِ 640 توکنی تا پایان پردازش به 640 توکن از این استخر نیاز دارد؛ بنابراین در استخر کوچک تقریباً 10 درخواست جا میشدند و 22 تای دیگر منتظر ماندند تا درخواستهای در حال اجرا تمام شوند. در حالت استخر کوچک فرکانس هم تا 248 مگاهرتز افت کرد، اما فرکانس 3.6 برابری پایینتر نمیتواند دلیل تاخیر 10 برابری در اولین توکن باشد؛ مقصر اصلی صف انتظار بود.
روش پذیرش در SGLang، و چرایی شکست صادقانهی صف
موتور SGLang درخواست را تنها زمانی میپذیرد که پیشبینیِ مصرف حافظه با گنجایش استخر بخواند. هر درخواست جدید باید بهاندازهی توکنهای کشنشدهی پرامپت بهاضافهی باقیماندهی max_new_tokens (محدود به 4,096) فضا داشته باشد. از سوی دیگر، هر درخواستِ در حال اجرا باقیماندهی max_new_tokens خود را ضرب در نسبتی نگه میدارد که در آغاز 0.7 است و طی 600 گام رمزگشایی (decode) تا 0.098 کاهش مییابد، چرا که بیشتر درخواستها زودتر تمام میشوند. اگر این پیشبینی بیش از حد جسورانه باشد، اسکژولر درخواستهای جاری را پس میزند (retract) و به صف بازمیگرداند تا دوباره پیشپرکنی (prefill) شوند. در یک استخر کوچک با ظرفیت 4,096 توکن و 16 کاربر که هرکدام 512 توکن میخواستند، دقیقاً پنج درخواست همزمان اجرا شد: تولید هر توکن پس از شروع اجرا فقط 24 میلیثانیه طول کشید، در حالی که میانهی انتظار کاربران برای دریافت اولین توکن 27.9 ثانیه بود. همهی درخواستها موفقیتآمیز بودند. صف طولانی در کنار توکنهای سریع یعنی سیستم کنترل پذیرش (admission control) وظیفهاش را درست انجام میدهد؛ پسزدن درخواستها زنگ خطر است و رخداد بیش از یکبار در دقیقهی آن خطای پیکربندی محسوب میشود. در کلاینتها مقدار max_new_tokens را واقعبینانه تعیین کنید: کلاینتی که 4,096 توکن میخواهد ولی 200 توکن مصرف میکند، رزرو فضا برای هر درخواست جدید را حدود 20 برابر بزرگتر از واقعیت میکند.
راهکار عملی
- اهداف موردنظر برای دریافت اولین توکن و زمان تولید هر توکن را مشخص کنید.
- با ریست کردن کش در هر اجرا، تعداد کاربران را جاروب کنید (sweep) و آخرین تعدادی را که به هر دو هدف میرسد بیابید.
- اگر مصرف کش نزدیک به سقف است و درخواستها معطل میمانند، استخر خیلی کوچک است: با کش FP8 یا وزنهای FP8 جا باز کنید.
- اگر استخر حافظه جا دارد ولی P99 ITL بالاست، GPU پر شده است: یک GPU یا نمونه اضافه کنید و نقطهی زانو (knee) را در کلاینت یا Gateway اعمال کنید.
- هنگام انتخاب موتور برای چت، به P99 ITL دقت کنید. روی سختافزار GB10 هر دو موتور با 32 و 64 کاربر خروجی یکسانی داشتند، اما P99 ITL در vLLM با 32 کاربر برابر با 478 میلیثانیه در مقابل 220 میلیثانیهی SGLang بود.
سؤالهای تکمیلی مصاحبهگر
- سطح 3: فرکانس پردازنده در اجرای دارای سقف بالاتر از اجرای پیشفرض بود. چرا این نکته برای نتیجهگیری مهم است؟ پاسخ مورد انتظار: فرکانس بالاتر باید به اجرای دارای سقف کمک میکرد؛ بنابراین افت خروجی 38 درصدی ارتباطی با فرکانس ندارد و افت کارایی ناشی از اعمال سقف است.
- سطح 3: موتور SGLang چگونه دربارهی پذیرش درخواست تصمیم میگیرد و اگر پیشبینیاش اشتباه باشد چه رخ میدهد؟ پاسخ مورد انتظار: هر درخواست جدید باید بهاندازهی پرامپت کشنشده بهاضافهی باقیماندهی max_new_tokens جا داشته باشد، و درخواستهای در حال اجرا باقیماندهی خروجی خود را ضرب در نسبتی نگه میدارند که از 0.7 شروع میشود و طی 600 گام رمزگشایی به 0.098 میرسد؛ اگر پیشبینی بیش از حد جسورانه باشد، اسکژولر درخواستهای جاری را به صف بازمیگرداند تا دوباره پیشپرکنی شوند.
- سطح 4: استخر فضا دارد، تاخیر دُم (tail gap) همچنان فراتر از هدف است و سقفگذاری فقط زمان انتظار را جابهجا میکند. چه گزینهای باقی میماند؟ پاسخ مورد انتظار: توان GPU تکمیل شده است؛ یک GPU یا نمونه اضافه کنید و به هر کدام کاربران کمتری اختصاص دهید، نقطهی زانو را در کلاینت یا Gateway مهار کنید، و هنگام انتخاب موتور به P99 ITL توجه کنید، چرا که روی GB10 با خروجی برابر، تفاوت دو موتور حدود دو برابر بود.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «تعیین سقف برای درخواستهای در حال اجرا، جا را برای کاربران بیشتر باز میکند.» خیر، این کار فقط تعیین میکند چه کسی معطل بماند؛ با 32 کاربر، سقف 16 فقط معطلی را به صف منتقل کرد (با زمان اولین توکن 12.3 ثانیه) و 38 درصد از خروجی را هدر داد.
- «برای کمک به صف، حداکثر طول مدل را کم کنید.» حجم استخر تغییری نمیکند، بنابراین وقتی مصرف کش در آستانهی پر شدن است کمکی نخواهد کرد؛ با کش FP8 یا وزنهای FP8 جا باز کنید.
- «کلاینتها برای احتیاط باید مقدار max_new_tokens را بالا بگیرند.» پیشبینی پذیرش آن را رزرو میکند؛ کلاینتی که 4,096 توکن میخواهد ولی 200 توکن مصرف میکند، رزرو فضا برای هر درخواست جدید را حدود 20 برابر بیهوده بزرگ میکند و در نتیجه درخواستهای کمتری پذیرش میشوند.
- «وجود صف نشانهی خرابی سرور است.» صف طولانی با توکنهای سریع یعنی کنترل پذیرش وظیفهاش را درست انجام میدهد؛ پنج درخواستی که در اجرای استخر کوچک پذیرفته شدند، نرخ 24 میلیثانیه بهازای هر توکن را ثبت کردند، هرچند کاربر میانه 27.9 ثانیه معطل ماند. زنگ خطر واقعی پسزدن درخواستهاست، نه صف کشیدن آنها.
کجای دوره آموزش داده میشود
درس Tune chat for many users آزمونهای سقفگذاری و استخر کوچک را بررسی میکند، و Admission and retraction سازوکار این پیشبینی را شرح میدهد.