بخش 3.10 · تنظیم متناسب با ترافیک شما

سرو مدل‌های استدلال‌گر

Serve reasoning models

فهرست مطالب
  1. خروجی مدل را بشناسید
  2. فعال‌سازی پارسر
  3. خاموش کردن یا محدودسازی تفکر
  4. تغییرات خروجی JSON و ابزارها
  5. بررسی صحت تنظیمات

مدل استدلال‌گر (Reasoning model) پیش از پاسخ نهایی، فرایند تفکرش را می‌نویسد و پارسر استدلال، این بخش را از متن پاسخ جدا نگه می‌دارد.

سرور Qwen3 شما به‌جای پاسخی کوتاه، یک بلوک طولانی از روند تفکر مدل را برمی‌گرداند. با پایان این بخش، یاد می‌گیرید که چطور بخش تفکر را از پاسخ جدا کنید، تفکر را خاموش کنید و طول آن را محدود سازید.

در این راهنما سرعت مدل‌های استدلال‌گر را نسنجیده‌ایم. فیلدها و سوییچ‌های این صفحه را روی یک کارت گرافیک L4 با مدل Qwen3-8B-FP8 بررسی کرده‌ایم. این موارد شامل فیلد reasoning، سوییچ enable_thinking برای هر درخواست و برای کل سرور، سقف بودجه‌ی تفکر و ترتیب استریم می‌شود. سایر نکات برگرفته از مستندات vLLM و سورس‌کد نسخه‌ی 0.31.0 است.

خروجی مدل را بشناسید

مدل استدلال‌گر: مدلی است که ابتدا مراحل تفکر و استدلال خود را بین نشانگرهایی مانند <think> و </think> می‌نویسد و سپس به سراغ پاسخ نهایی می‌رود. Qwen3، DeepSeek-R1 و QwQ نمونه‌هایی از این دست هستند. Qwen3 به‌طور پیش‌فرض فکر می‌کند.

بدون پارسر استدلال (Reasoning parser)، vLLM کل خروجی را درون فیلد content برمی‌گرداند؛ در نتیجه پاسخ شما با متن تفکر آغاز می‌شود. علاوه بر این، توکن‌های تفکر هم جزو max_tokens به حساب می‌آیند؛ بنابراین تعیین سقفی کوتاه می‌تواند درخواست را پیش از شروع پاسخ اصلی قطع کند.

فعال‌سازی پارسر

سرور را همراه با پارسر متناسب با خانواده‌ی مدل خود اجرا کنید. برای Qwen3 این پارسر qwen3 است:

vllm serve Qwen/Qwen3-8B --reasoning-parser qwen3 2>&1 | tee server.log

حالت پیش‌فرض بدون پارسر است؛ vLLM نوع پارسر را از روی نام مدل تشخیص نمی‌دهد. مستندات vLLM نام پارسر هر خانواده‌ی پشتیبانی‌شده را آورده است؛ مثلاً deepseek_r1 برای DeepSeek-R1 و QwQ.

با فعال بودن پارسر، پاسخ چت شامل دو فیلد متنی خواهد بود:

فیلد محتوا
choices[0].message.reasoning متن تفکر، بدون نشانگرها
choices[0].message.content پاسخ نهایی

در حالت استریم، هر تکه (Chunk) متن جدید را یا در delta.reasoning می‌آورد یا در delta.content. در نسخه‌های قدیمی‌تر، این فیلد reasoning_content نام داشت. در نسخه‌ی 0.31.0 نام این فیلد به reasoning تغییر یافته است؛ پس اگر کلاینت شما از نام قدیمی استفاده می‌کند، آن را به‌روزرسانی کنید.

خاموش کردن یا محدودسازی تفکر

سه راهکار پیش روی شماست:

  • برای یک درخواست: مقدار "chat_template_kwargs": {"enable_thinking": false} را در بدنه‌ی درخواست بفرستید. در کلاینت OpenAI، این مقدار را درون extra_body قرار دهید.
  • برای کل سرور: سرور را با --default-chat-template-kwargs '{"enable_thinking": false}' بالا بیاورید. البته هر درخواست می‌تواند با chat_template_kwargs اختصاصی خود، دوباره تفکر را روشن کند.
  • تعیین بودجه برای تفکر: مقدار thinking_token_budget را همراه درخواست ارسال کنید. وقتی تعداد توکن‌های تفکر به این عدد برسد، vLLM مدل را وادار می‌کند تا بخش تفکر را ببندد و پاسخ نهایی را شروع کند. در این روش، پارسر حتماً باید فعال باشد.

نام enable_thinking از الگوی چت (chat template) مدل Qwen3 می‌آید. خانواده‌های دیگر نام‌های متفاوتی به کار می‌برند؛ پس حتماً الگوی چت مدل خود را بررسی کنید.

تغییرات خروجی JSON و ابزارها

وقتی پارسر استدلال روشن باشد، خروجی ساختاریافته (Structured Output) فقط روی پاسخ نهایی اعمال می‌شود، یعنی بعد از پایان تفکر؛ خود تفکر متنی آزاد باقی می‌ماند. پارسر Qwen3 با فراخوانی ابزار (Tool call) هم کار می‌کند؛ در نتیجه یک درخواست می‌تواند فیلدهای reasoning و tool_calls را کنار هم برگرداند. برای فراخوانی ابزار، سرور را با --enable-auto-tool-choice و یک پارسر فراخوانی ابزار راه بیندازید؛ مثل --tool-call-parser hermes برای Qwen3. در صفحه‌ی JSON روش درخواست اسکیما نشان داده شده است.

برای درخواست‌هایی که تفکر دارند، مقدار max_tokens را بالا در نظر بگیرید. اگر سقف توکن‌ها وسط روند تفکر به پایان برسد، فیلد content خالی مانده و finish_reason برابر با length می‌شود. پاسخی که با محدودیت توکن قطع شود، JSON معتبری نخواهد بود.

بررسی صحت تنظیمات

یک درخواست با تفکر روشن و یک درخواست با تفکر خاموش بفرستید:

curl -s http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" \
  -d '{"model": "Qwen/Qwen3-8B", "messages": [{"role": "user", "content": "Is 91 a prime number?"}], "max_tokens": 2048}'

پاسخ اول هم در reasoning و هم در content متن دارد. حالا مقدار "chat_template_kwargs": {"enable_thinking": false} را به بدنه اضافه کرده و دوباره بفرستید. پاسخ دوم فیلد reasoning خالی یا ناموجود دارد و یک content کوتاه تحویل می‌دهد.

منابع: مستندات vLLM در نسخه‌ی v0.31.0 (بخش‌های docs/features/reasoning_outputs.md و docs/features/structured_outputs.md)، سورس‌کد vLLM در نسخه‌ی v0.31.0 (مسیرهای vllm/reasoning/،‏ vllm/config/structured_outputs.py،‏ vllm/config/reasoning.py،‏ vllm/entrypoints/launchers/cli_args.py،‏ vllm/entrypoints/openai/chat_completion/protocol.py و vllm/sampling_params.py)، فایل لاگ capture/gpu/out-l4/livecheck-2026-10-22.txt.

ترجمه‌ی فارسی Serve reasoning models از راهنمای vLLM 101 دوره‌ی AI Engineering from Scratch، نوشته‌ی Rohit Ghumare، تحت مجوز MIT. دستورها، لاگ‌ها و اعداد عیناً از اجراهای ثبت‌شده‌ی متن اصلی‌اند. فهرست راهنما