با سه مسیر (route) و یک خط لاگ، ظرف یک دقیقه میفهمید که آیا سرور بالا آمده، مدل درستی بارگذاری شده، و چقدر ظرفیت پذیرش دارد.
سرور شما اجرا شده و میخواهید قبل از ارسال ترافیک واقعی، از کارکرد درست آن مطمئن شوید. بعد از خواندن این بخش، میتوانید مسیر سلامت، فهرست مدلها، سنجهها (metrics) و اندازهی کش کلید-مقدار (KV cache) را بررسی کنید.
فراخوانی مسیر سلامت
این دستور را اجرا کنید:
curl -i http://localhost:8000/health
پاسخ HTTP/1.1 200 OK را با بدنهای خالی دریافت میکنید. لاگ سرور نیز همین درخواست را نشان میدهد.
INFO: Application startup complete.
INFO: 127.0.0.1:35152 - "GET /health HTTP/1.1" 200 OK
INFO: 127.0.0.1:34616 - "GET /v1/models HTTP/1.1" 200 OKسه خط از انتهای فرآیند راهاندازی.
مسیر سلامت وقتی موتور سرور در حال اجرا باشد کد 200 میدهد. این مسیر توکنی تولید نمیکند، بنابراین دریافت 200 ثابت نمیکند که یک درخواست حتماً تا آخر انجام میشود. مثل بخش اولین درخواست، یک درخواست کوتاه هم بفرستید.
اگر این مسیر پاسخی نداد، سرور هنوز در حال بارگذاری است یا متوقف شده. انتهای لاگ سرور را بخوانید. بارگذاری یک مدل بزرگ ممکن است چند دقیقه طول بکشد.
بررسی نام مدل
این دستور را اجرا کنید:
curl http://localhost:8000/v1/models
در پاسخ، یک مدل فهرست میشود. فیلد id همان نامی است که درخواستهای شما باید از آن استفاده کنند. مقدار max_model_len هم حداکثر طول درخواستی است (بر حسب توکن) که سرور میپذیرد.
خواندن اندازهی کش کلید-مقدار
به لاگ راهاندازی سرور برگردید و خطی را پیدا کنید که با GPU KV cache size شروع میشود. روی سیستم DGX Spark ما، این خط به این شکل است:
(EngineCore pid=143) INFO 10-21 10:59:46 [kv_cache_utils.py:2464] GPU KV cache size: 234,960 tokens, Maximum concurrency for 8,192 tokens per request: 28.68xیک خط از لاگ راهاندازی.
عدد اول، کل توکنهای زمینهای (context) است که سرور میتواند برای همهی کاربران با هم نگه دارد. عدد دوم نشان میدهد چند درخواست با حداکثر طول کامل، همزمان در حافظه جا میشوند. هرچه درخواستها کوتاهتر باشند، تعداد بیشتری جا خواهند گرفت.
اگر عدد اول خیلی کوچکتر از حد انتظار شماست، برنامهی دیگری حافظهی GPU را اشغال کرده یا سهم تخصیص حافظه (memory fraction) پایین است. در بخش محاسبهی حافظه پیش از انتخاب GPU میبینید که چطور قبل از شروع، این عدد را پیشبینی کنید.
خواندن سنجهها
این دستور را اجرا کنید:
curl -s http://localhost:8000/metrics | grep -E "^vllm:(num_requests_running|num_requests_waiting|kv_cache_usage_perc)\{"
سه خط خروجی میبینید. وقتی ترافیکی نیست، تعداد درخواستهای در حال اجرا و در انتظار 0 است و میزان مصرف کش کلید-مقدار هم 0 است. در ترمینال دوم درخواستی بفرستید و دوباره دستور را اجرا کنید تا تغییر این اعداد را ببینید.
سه سنجهی زیر پاسخ اولیهی اکثر سوالها را میدهند:
| سنجه | مفهوم سنجه |
|---|---|
vllm:num_requests_running |
درخواستهایی که موتور در حال حاضر روی آنها کار میکند |
vllm:num_requests_waiting |
درخواستهای داخل صف به دلیل پر بودن دسته (batch) یا کش |
vllm:kv_cache_usage_perc |
بخشی از کش کلید-مقدار که استفاده شده، از 0 تا 1 |
اگر تعداد درخواستهای در انتظار بیشتر از 0 باشد و مصرف کش نزدیک به 1 برسد، یعنی کش پر شده است. صفحهی نظارت بر vLLM در محیط عملیاتی فهرست کامل هشدارها را آورده است.
منابع: مستندات vLLM نسخهی v0.31.0 (فایلهای docs/serving/online_serving/openai_compatible_server.md و docs/design/metrics.md)، لاگ سرور در capture/gpu/out-gb10/server-load-vllm.log.