این کتابچه کمکتان میکند مدلهای باز را با vLLM سرو کنید، منابع لازم را تخمین بزنید، آن را بهینه کنید و خطاهایش را رفع کنید؛ علاوه بر این، برای هر تصمیم فنی پاسخی مبتنی بر اندازهگیری واقعی به شما ارائه میدهد.
مستندات vLLM میگوید هر فلگ چه کاری انجام میدهد. این کتابچه نشانتان میدهد کدام فلگها متناسب با GPU و ترافیک شما اهمیت دارند و با تغییر دادن آنها چه نتیجهای گرفتیم.
از اینجا شروع کنید
این دستورها یک سرور را بالا میآورند:
uv venv --python 3.12 --seed
source .venv/bin/activate
uv pip install vllm==0.31.0 --torch-backend=auto
vllm serve Qwen/Qwen3-0.6B --reasoning-parser qwen3 2>&1 | tee server.log
curl http://localhost:8000/v1/models
دستور curl را در ترمینال دوم اجرا کنید. در بخش 1 تمام این دستورها و خروجیهایی را که باید ببینید قدمبهقدم بررسی میکنیم.
بعد از خواندن این کتابچه چه کارهایی میتوانید بکنید
- vLLM را نصب کنید، یک مدل سرو کنید و سطرهای ابتدایی راهاندازی (Startup) را بخوانید؛ سطرهایی که پاسخ بیشتر سؤالات شما در آنها نهفته است.
- پیشبینی کنید چند کاربر روی GPU شما جا میشوند، و خطای کمبود حافظه (Out-Of-Memory) را در همان زمان بالا آمدن برطرف کنید.
- فقط یک یا دو فلگی را که برای ترافیکتان واقعاً اهمیت دارند انتخاب کنید و دست به بقیهی فلگها نزنید تا روی پیشفرض بمانند.
- بر اساس اندازهگیری واقعی تصمیم بگیرید چه زمانی دیکودینگ حدسی (Speculative Decoding)، قالب FP8 یا سطحی از کامپایل ارزش استفاده دارد.
- بر اساس نشانهای که میبینید، سرور کُند یا ازکارافتاده را خطایابی کنید.
این کتابچه به درد چه کسانی میخورد
پیش از این مدلی را از طریق API فراخوانی کردهاید و حالا میخواهید خودتان یک مدل باز را سرو کنید. میدانید توکن (Token) و GPU چیستند. کد منبع یک موتور سرو را هم نخواندهاید و نیازی هم نیست بخوانید.
بخشها چطور مرتب شدهاند
بخشهای 1 تا 7 مطابق روال واقعی کار شما چیده شدهاند: ابتدا یک سرور بالا میآورید، ابعاد منابعش را تخمین میزنید، بر اساس ترافیک خود تنطیمش میکنید، ویژگیهای افزایش سرعت را اضافه میکنید، آن را اندازه میگیرید، مقیاس میدهید و در نهایت به مرحلهی اجرا میرسانید. هر صفحه به یک سؤال پاسخ میدهد و با آزمایشی تمام میشود که نشان میدهد تغییر اعمالشده جواب داده است.
بخش 8 سازوکار درونی vLLM را توضیح میدهد؛ هر بار که یکی از رفتارهای پیشفرض غافلگیرتان کرد، سراغ این بخش بروید. در صفحات مرجع نیز جدول فلگها، معیارها، نمایهی حوادث و یادداشتهای آزمایشگاه قرار دارند.
روی چه سختافزاری آزمایش کردیم
آزمایشها را روی vLLM 0.31.0 با یک NVIDIA L4 و یک سرور DGX Spark انجام دادیم. کارت L4 مدل Qwen3-8B را سرو کرد و DGX Spark مدل Qwen3-30B-A3B را بالا آورد. کنار هر عددِ مبتنی بر اندازهگیری در این کتابچه، نام دستگاه مربوطه هم آمده است. در یادداشتهای آزمایشگاه سیدها (Seeds)، فرکانسها و جدولهای کامل را آوردهایم.
چهار نشست کارت L4
کارت L4 با یک سرعت ثابت کار نکرد. فرکانس ریزپردازندههای چندمنظورهی آن (SM clock) با تغییر دما و سایر پردازشهای روی نود بالا و پایین میشد. بنابراین یک بار کاری یکسان روی Qwen3-8B در نشستهای مختلف زمانهای متفاوتی ثبت کرد. در این کتابچه، بالای هر جدول مربوط به L4 نام نشست آن آمده است؛ مقایسهی دو عدد را فقط درون یک نشست انجام دهید.
| نشست | تاریخها | میانهی فرکانس SM | 1 کاربر، میانهی TPOT | 32 کاربر، توکن خروجی بر ثانیه |
|---|---|---|---|---|
| فرکانس کامل، خنکشده پیش از هر اجرا | 2026-10-17 تا 2026-10-21 | 1,000 تا 1,560 MHz | 60.4 ms | 273.9 تا 275.1 |
| تحت افت حرارتی (Throttled) | 2026-10-22 | 210 MHz در 1 کاربر، 450 MHz در 32 کاربر | 104.1 ms | 186.7 |
| قفلشده روی 900 MHz | 2026-10-22 | 881 تا 900 MHz، 210 MHz برای خط مبنای (Baseline) 1 کاربره | 99.0 ms | 208.8 |
| کارت اشتراکی، استخرِ 2,928 توکنی | 2026-10-22 | 368 تا 450 MHz | 241.7 ms | اجرا نشد |
وقتی GPU داغ میکند یا مصرف برقش را با پردازشهای دیگر شریک میشود، با فرکانسی پایینتر از فرکانس کاملش کار میکند و اصطلاحاً تروتل (Throttle) میشود. قفل کردن با nvidia-smi -lgc سقف فرکانس را تعیین میکند؛ اما نمیتواند جلوی افت فرکانس GPU بیش از حد داغشده را به زیر این سقف بگیرد.
منابع: مستندات vLLM در نگارش v0.31.0 (فایلهای docs/getting_started/quickstart.md و docs/features/reasoning_outputs.md)، capture/gpu/summary/l4.json، capture/gpu/summary/l4-gpu1.json و capture/gpu/summary/gb10.json.