سؤال مصاحبه

تحلیل سه خط لاگ از اسکژولر

Read three scheduler log lines

  • سطح ۲: میانی
  • کدخوانی
  • ۸ دقیقه

در ادامه سه خط لاگ از دو موتور سرویس‌دهی زیر بار کاری را می‌بینید. تک‌تک فیلدها را بررسی کنید و بگویید سرور در حال انجام چه کاری بوده، کاربران چه وضعیتی را حس کرده‌اند و برای حل مشکل، سراغ کدام عدد می‌روید.

[2026-10-16 14:01:00] Prefill batch, #new-seq: 7, #new-token: 955, #cached-token: 15102, token usage: 0.05, #running-req: 1, #queue-req: 0, #pending-token: 0, cuda graph: False, input throughput (token/s): 1472.94
[2026-10-16 13:59:09] Decode batch, #running-req: 8, #token: 4075, token usage: 0.02, cuda graph: False, gen throughput (token/s): 98.37, #queue-req: 0
INFO 10-17 22:35:43 [loggers.py:320] Engine 000: Avg prompt throughput: 460.3 tokens/s, Avg generation throughput: 323.6 tokens/s, Running: 40 reqs, Waiting: 11 reqs, GPU KV cache usage: 99.5%, Prefix cache hit rate: 8.7%

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

خط اول مربوط به یک دسته‌ی پیش‌پرکنی (prefill) در SGLang است: 7 درخواست پذیرش شده‌اند، 955 توکن پرامپت جدید پردازش شده و 15,102 توکن از کش درخت مبنا (radix cache) بازخوانی شده است؛ استخر فقط 5 درصد پر است و هیچ درخواستی پشت صف نمانده؛ یعنی یک بار کاری با پیشوند مشترک که کش به‌خوبی در آن کار می‌کند. خط دوم مربوط به یک گام رمزگشایی (decode) برای 8 درخواست هم‌زمان با سرعت 98.37 توکن بر ثانیه و صفی خالی است: سروری سالم با بار سبک. خط سوم vLLM را با استخری پر نشان می‌دهد: 40 درخواست در حال اجرا، 11 تا در صف انتظار، 99.5 درصد کش مصرف‌شده و نرخ اصابت (hit rate) 8.7 درصد؛ در نتیجه درخواست‌های جدید منتظر حافظه می‌مانند و آن عددی که باید برایش چاره‌اندیشی کنید، ظرفیت استخر است.

پاسخ کامل

خط لاگ پیش‌پرکنی در SGLang، فیلد به فیلد

  • فیلد #new-seq تعداد درخواست‌های پذیرفته‌شده در این دسته‌ی پیش‌پرکنی را نشان می‌دهد: 7.
  • فیلد #new-token تعداد توکن‌های پرامپت جدید را نشان می‌دهد که محاسبه می‌شوند: 955. فیلد #cached-token نشان‌دهنده‌ی توکن‌هایی است که از درخت مبنا بازاستفاده شده‌اند: 15,102. این هفت درخواست یک پرامپت سیستمی طولانی مشترک داشتند که در درخواستی قبلی محاسبه شده بود؛ بنابراین فقط بخش سوال‌های آن‌ها جدید بود.
  • فیلد token usage سهمی از استخر حافظه‌ی کلید-مقدار (KV cache pool) است که درخواست‌های در حال اجرا و پیشوندهای کش‌شده در مجموع اشغال کرده‌اند: 0.05، یعنی استخر تقریباً خالی است.
  • فیلد #running-req درخواست‌های در حال رمزگشایی را می‌شمارد: 1. فیلد #queue-req تعداد درخواست‌های منتظر در صف را می‌شمارد: 0. فیلد #pending-token توکن‌های مربوط به درخواست‌های پذیرفته‌شده‌ای است که هنوز پیش‌پرکنی نشده‌اند: 0.
  • فیلد cuda graph مشخص می‌کند آیا این گام با بازپخش (replay) یک گراف ضبط‌شده اجرا شده است یا نه. مقدار False روی پلتفرمی بدون گراف کاملاً طبیعی است؛ لاگ حاضر هم روی چنین پلتفرمی ثبت شده است.
  • فیلد input throughput سرعت پیش‌پرکنی این دسته را نشان می‌دهد: 1,472.94 توکن بر ثانیه.

همین بنچمارک اگر بدون کش درخت مبنا اجرا می‌شد، سه دسته‌ی پیش‌پرکنی تا سقف 4,096 توکن برای هشت درخواست پر می‌کرد که در تک‌تک آن‌ها مقدار #cached-token: 0 بود. عدد 4,096 همان اندازه‌ی پیش‌پرکنی تکه‌ای (chunked prefill) است.

خط لاگ رمزگشایی

SGLang به‌صورت پیش‌فرض به ازای هر دسته‌ی پیش‌پرکنی یک خط و به ازای هر 40 گام رمزگشایی هم یک خط لاگ چاپ می‌کند. این خط نشان می‌دهد 8 درخواست به‌طور هم‌زمان در حال رمزگشایی هستند، 4,075 توکن نگه‌داری می‌شود، 2 درصد از استخر مصرف شده، نرخ پردازش (throughput) خروجی 98.37 توکن بر ثانیه است و صفی وجود ندارد. خطوط قبلی در همین اجرا نشان می‌دهند دسته چطور شکل گرفته است: ابتدا یک درخواست پذیرش شد در حالی که 7 تای دیگر منتظر ماندند، سپس آن 7 تای دیگر همراه با 3,553 توکن جدید با سرعت 1,914 توکن بر ثانیه پذیرفته شدند، و در نهایت هر 8 درخواست در قالب یک دسته وارد رمزگشایی شدند. دسته‌بندی پیش‌پرکنی دقیقاً همان جایی است که نرخ پردازش بالا از آن ناشی می‌شود و لاگْ رخ دادن آن را ثبت کرده است.

خط آمار vLLM

فیلدهای Running و Waiting درخواست‌های در حال اجرا و منتظر در صف را نشان می‌دهند: 40 و 11. فیلد GPU KV cache usage درصد استفاده از استخر را مشخص می‌کند: 99.5 درصد. فیلد Prefix cache hit rate سهم توکن‌های پرامپت ارائه‌شده از کش را نشان می‌دهد: 8.7 درصد. نرخ‌های پردازش پرامپت و تولید خروجی نشان می‌دهند که موتور در آن بازه چه کاری انجام داده است: پرامپت‌های جدید با سرعت 460.3 توکن بر ثانیه پیش‌پرکنی شدند در حالی که هم‌زمان 40 درخواست در حال رمزگشایی بودند؛ یعنی هر پیش‌پرکنی جدید گام پردازش را با جریان‌های فعال به اشتراک گذاشته است. در آن اجرا، با 64 کاربر روی یک پردازنده‌ی گرافیکی L4، میانه‌ی زمان تا توکن اول 10,953 میلی‌ثانیه و فاصله‌ی صدک 99 (P99) بین توکن‌ها 1,363 میلی‌ثانیه بود. پایین بودن نرخ اصابت ایراد سیستم نیست؛ پرامپت‌های بنچمارک یکتا بودند و عملاً اشتراکی با هم نداشتند.

چه عددی اقدام لازم دارد؟

  • خط 1: هیچ اقدامی لازم نیست. فقط بررسی کنید با رشد مجموعه‌ی کاری (working set)، اصابت‌ها پایدار بمانند؛ چون پیشوندهای کش‌شده در همان استخری می‌نشینند که درخواست‌های فعال قرار دارند.
  • خط 2: هیچ اقدامی لازم نیست. سرور ظرفیت خالی دارد؛ با یک آزمونِ جاروب (sweep) می‌توانید سقف آن را مشخص کنید.
  • خط 3: ظرفیت استخر. این فضا را با کش FP8 یا وزن‌های FP8 افزایش دهید، یا تعداد کاربران هم‌زمان به ازای هر نمونه (replica) را کمتر کنید. سقف گذاشتن روی تعداد درخواست‌های فعال، فقط تعیین می‌کند چه کسی در صف بماند.

خط استخر را هنگام بالا آمدن سرویس هم بخوانید. روی همین کارت، لاگ استارتاپ این بود: GPU KV cache size: 24,096 tokens, Maximum concurrency for 8,192 tokens per request: 2.94x؛ و عدد 2.94 فرض را بر این می‌گذارد که همه‌ی درخواست‌ها به حداکثر طول خود برسند.

نکاتی که در لاگ‌ها پیدا نیست

هیچ‌کدام از این لاگ‌ها کلاک پردازنده‌ی گرافیکی، سمتِ کلاینتِ ارسال‌کننده‌ی بار، یا خالی شدن کش قبل از شروع اجرا را نشان نمی‌دهند. این موارد جزئیاتی هستند که باید در نتایج و در کنار این خطوط ثبت شوند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: در خط اول، چرا تعداد توکن‌های کش‌شده بسیار بیشتر از توکن‌های جدید است؟ پاسخ مورد انتظار: این 7 درخواست یک پرامپت سیستمی طولانی مشترک داشتند که در درخواستی قبلی محاسبه شده بود؛ بنابراین ساختار درختی آن را تأمین کرد و فقط سوال‌ها جدید بودند. اجرای بدون کش همین بنچمارک، دسته‌هایی با 4,096 توکن جدید و صفر توکن کش‌شده داشت.
  • سطح 3: نرخ اصابت در خط سوم 8.7 درصد است. آیا کش خراب شده است؟ پاسخ مورد انتظار: خیر؛ بنچمارک تصادفی پرامپت‌های یکتا می‌فرستد، بنابراین اشتراک چندانی برای بازاستفاده وجود ندارد. نرخ اصابت تابع پرامپت‌ها است و عدد تعیین‌کننده در آن خط، استخر 99.5 درصدی در کنار 11 درخواست منتظر در صف است.
  • سطح 3: فیلد token usage چه مواردی را شامل می‌شود و چه زمانی باید نگران آن شد؟ پاسخ مورد انتظار: سهمی از استخر که در مجموع توسط درخواست‌های در حال اجرا و پیشوندهای کش‌شده اشغال شده است؛ نزدیک به مقدار 1.0 استخر پر می‌شود، درخواست‌های جدید صف می‌کشند و پیشوندهای کش‌شده از حافظه بیرون رانده می‌شوند.
  • سطح 4: آیا تعیین سقف برای تعداد درخواست‌های در حال اجرا کمکی به سرور در خط سوم می‌کند؟ پاسخ مورد انتظار: خیر؛ استخر پر است، بنابراین تعیین سقف فقط تعیین می‌کند چه کسی در صف بماند و زمان انتظار را به توکن اول منتقل می‌کند؛ استخر را با کش FP8 یا وزن‌های FP8 بزرگ‌تر کنید، یا تعداد کاربران به ازای هر نمونه را کاهش دهید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «نرخ اصابت 8.7 درصد یعنی پیکربندی کش پیشوند ایراد دارد.» پرامپت‌های یکتا اشتراکی برای کش کردن ندارند؛ نرخ اصابت بازتابی از خود پرامپت‌ها است و همین موتور در اجرایی با پیشوند مشترک، اعدادی بسیار بالاتر ثبت کرده است.
  • «مقدار 0.05 برای token usage نشان می‌دهد سرور تقریباً بیکار است.» این عدد یعنی استخر تقریباً خالی است؛ پردازنده‌ی گرافیکی همچنان می‌تواند به شدت درگیر باشد، چنان‌که سرعت 1,472.94 توکن پرامپت بر ثانیه این را نشان می‌دهد؛ برای سنجش بار کاری، تعداد درخواست‌های فعال و صف را بررسی کنید.
  • «مقدار False برای cuda graph یعنی مشکلی در کار است.» این فیلد فقط می‌گوید گام فعلی از بازپخش یک گراف ضبط‌شده استفاده نکرده است؛ این وضعیت روی پلتفرم‌های بدون گراف و در طول یک دسته‌ی پیش‌پرکنی طبیعی است؛ روی پلتفرم CUDA، باید آن را در خطوط رمزگشایی بررسی کنید.
  • «صف 11 تایی کوچک است، پس می‌شود نادیده‌اش گرفت.» وقتی استخر روی 99.5 درصد است، تک‌تک درخواست‌های منتظر باید منتظر پایان کار یکی از درخواست‌های فعال بمانند؛ و با 64 کاربر روی آن کارت، میانه‌ی زمان تا توکن اول 10,953 میلی‌ثانیه بوده است؛ گلوگاه اصلی همان ظرفیت استخر است.

کجای دوره آموزش داده می‌شود

بخش‌های حلقه‌ی اسکژولر و گزینه‌ی schedule-policy-- و کش درخت مبنا خطوط مربوط به SGLang را توضیح می‌دهند، و تحلیل بنچمارک‌های دیگران در SGLang خط آمار vLLM را در شرایط پر بودن استخر بررسی می‌کند.