بخش 1.2 · شروع کار

بررسی سلامت سرور

Check that the server is healthy

فهرست مطالب
  1. فراخوانی مسیر سلامت
  2. بررسی نام مدل
  3. خواندن اندازه‌ی کش کلید-مقدار
  4. خواندن سنجه‌ها

با سه مسیر (route) و یک خط لاگ، ظرف یک دقیقه می‌فهمید که آیا سرور بالا آمده، مدل درستی بارگذاری شده، و چقدر ظرفیت پذیرش دارد.

سرور شما اجرا شده و می‌خواهید قبل از ارسال ترافیک واقعی، از کارکرد درست آن مطمئن شوید. بعد از خواندن این بخش، می‌توانید مسیر سلامت، فهرست مدل‌ها، سنجه‌ها (metrics) و اندازه‌ی کش کلید-مقدار (KV cache) را بررسی کنید.

فراخوانی مسیر سلامت

این دستور را اجرا کنید:

curl -i http://localhost:8000/health

پاسخ HTTP/1.1 200 OK را با بدنه‌ای خالی دریافت می‌کنید. لاگ سرور نیز همین درخواست را نشان می‌دهد.

نخستین بررسی سلامت و فهرست مدل‌ها، از یک DGX Spark capture/gpu/out-gb10/server-load-vllm.log
INFO:     Application startup complete.
INFO:     127.0.0.1:35152 - "GET /health HTTP/1.1" 200 OK
INFO:     127.0.0.1:34616 - "GET /v1/models HTTP/1.1" 200 OK

سه خط از انتهای فرآیند راه‌اندازی.

مسیر سلامت وقتی موتور سرور در حال اجرا باشد کد 200 می‌دهد. این مسیر توکنی تولید نمی‌کند، بنابراین دریافت 200 ثابت نمی‌کند که یک درخواست حتماً تا آخر انجام می‌شود. مثل بخش اولین درخواست، یک درخواست کوتاه هم بفرستید.

اگر این مسیر پاسخی نداد، سرور هنوز در حال بارگذاری است یا متوقف شده. انتهای لاگ سرور را بخوانید. بارگذاری یک مدل بزرگ ممکن است چند دقیقه طول بکشد.

بررسی نام مدل

این دستور را اجرا کنید:

curl http://localhost:8000/v1/models

در پاسخ، یک مدل فهرست می‌شود. فیلد id همان نامی است که درخواست‌های شما باید از آن استفاده کنند. مقدار max_model_len هم حداکثر طول درخواستی است (بر حسب توکن) که سرور می‌پذیرد.

خواندن اندازه‌ی کش کلید-مقدار

به لاگ راه‌اندازی سرور برگردید و خطی را پیدا کنید که با GPU KV cache size شروع می‌شود. روی سیستم DGX Spark ما، این خط به این شکل است:

خط مربوط به کش کلید-مقدار، از یک DGX Spark capture/gpu/out-gb10/server-load-vllm.log
(EngineCore pid=143) INFO 10-21 10:59:46 [kv_cache_utils.py:2464] GPU KV cache size: 234,960 tokens, Maximum concurrency for 8,192 tokens per request: 28.68x

یک خط از لاگ راه‌اندازی.

عدد اول، کل توکن‌های زمینه‌ای (context) است که سرور می‌تواند برای همه‌ی کاربران با هم نگه دارد. عدد دوم نشان می‌دهد چند درخواست با حداکثر طول کامل، هم‌زمان در حافظه جا می‌شوند. هرچه درخواست‌ها کوتاه‌تر باشند، تعداد بیشتری جا خواهند گرفت.

اگر عدد اول خیلی کوچک‌تر از حد انتظار شماست، برنامه‌ی دیگری حافظه‌ی GPU را اشغال کرده یا سهم تخصیص حافظه (memory fraction) پایین است. در بخش محاسبه‌ی حافظه پیش از انتخاب GPU می‌بینید که چطور قبل از شروع، این عدد را پیش‌بینی کنید.

خواندن سنجه‌ها

این دستور را اجرا کنید:

curl -s http://localhost:8000/metrics | grep -E "^vllm:(num_requests_running|num_requests_waiting|kv_cache_usage_perc)\{"

سه خط خروجی می‌بینید. وقتی ترافیکی نیست، تعداد درخواست‌های در حال اجرا و در انتظار 0 است و میزان مصرف کش کلید-مقدار هم 0 است. در ترمینال دوم درخواستی بفرستید و دوباره دستور را اجرا کنید تا تغییر این اعداد را ببینید.

سه سنجه‌ی زیر پاسخ اولیه‌ی اکثر سوال‌ها را می‌دهند:

سنجه مفهوم سنجه
vllm:num_requests_running درخواست‌هایی که موتور در حال حاضر روی آن‌ها کار می‌کند
vllm:num_requests_waiting درخواست‌های داخل صف به دلیل پر بودن دسته (batch) یا کش
vllm:kv_cache_usage_perc بخشی از کش کلید-مقدار که استفاده شده، از 0 تا 1

اگر تعداد درخواست‌های در انتظار بیشتر از 0 باشد و مصرف کش نزدیک به 1 برسد، یعنی کش پر شده است. صفحه‌ی نظارت بر vLLM در محیط عملیاتی فهرست کامل هشدارها را آورده است.

منابع: مستندات vLLM نسخه‌ی v0.31.0 (فایل‌های docs/serving/online_serving/openai_compatible_server.md و docs/design/metrics.md)، لاگ سرور در capture/gpu/out-gb10/server-load-vllm.log.

ترجمه‌ی فارسی Check that the server is healthy از راهنمای vLLM 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما