مدل استدلالگر (Reasoning model) پیش از پاسخ نهایی، فرایند تفکرش را مینویسد و پارسر استدلال، این بخش را از متن پاسخ جدا نگه میدارد.
سرور Qwen3 شما بهجای پاسخی کوتاه، یک بلوک طولانی از روند تفکر مدل را برمیگرداند. با پایان این بخش، یاد میگیرید که چطور بخش تفکر را از پاسخ جدا کنید، تفکر را خاموش کنید و طول آن را محدود سازید.
در این راهنما سرعت مدلهای استدلالگر را نسنجیدهایم. فیلدها و سوییچهای این صفحه را روی یک کارت گرافیک L4 با مدل Qwen3-8B-FP8 بررسی کردهایم. این موارد شامل فیلد reasoning، سوییچ enable_thinking برای هر درخواست و برای کل سرور، سقف بودجهی تفکر و ترتیب استریم میشود. سایر نکات برگرفته از مستندات vLLM و سورسکد نسخهی 0.31.0 است.
خروجی مدل را بشناسید
مدل استدلالگر: مدلی است که ابتدا مراحل تفکر و استدلال خود را بین نشانگرهایی مانند <think> و </think> مینویسد و سپس به سراغ پاسخ نهایی میرود. Qwen3، DeepSeek-R1 و QwQ نمونههایی از این دست هستند. Qwen3 بهطور پیشفرض فکر میکند.
بدون پارسر استدلال (Reasoning parser)، vLLM کل خروجی را درون فیلد content برمیگرداند؛ در نتیجه پاسخ شما با متن تفکر آغاز میشود. علاوه بر این، توکنهای تفکر هم جزو max_tokens به حساب میآیند؛ بنابراین تعیین سقفی کوتاه میتواند درخواست را پیش از شروع پاسخ اصلی قطع کند.
فعالسازی پارسر
سرور را همراه با پارسر متناسب با خانوادهی مدل خود اجرا کنید. برای Qwen3 این پارسر qwen3 است:
vllm serve Qwen/Qwen3-8B --reasoning-parser qwen3 2>&1 | tee server.log
حالت پیشفرض بدون پارسر است؛ vLLM نوع پارسر را از روی نام مدل تشخیص نمیدهد. مستندات vLLM نام پارسر هر خانوادهی پشتیبانیشده را آورده است؛ مثلاً deepseek_r1 برای DeepSeek-R1 و QwQ.
با فعال بودن پارسر، پاسخ چت شامل دو فیلد متنی خواهد بود:
| فیلد | محتوا |
|---|---|
choices[0].message.reasoning |
متن تفکر، بدون نشانگرها |
choices[0].message.content |
پاسخ نهایی |
در حالت استریم، هر تکه (Chunk) متن جدید را یا در delta.reasoning میآورد یا در delta.content. در نسخههای قدیمیتر، این فیلد reasoning_content نام داشت. در نسخهی 0.31.0 نام این فیلد به reasoning تغییر یافته است؛ پس اگر کلاینت شما از نام قدیمی استفاده میکند، آن را بهروزرسانی کنید.
خاموش کردن یا محدودسازی تفکر
سه راهکار پیش روی شماست:
- برای یک درخواست: مقدار
"chat_template_kwargs": {"enable_thinking": false}را در بدنهی درخواست بفرستید. در کلاینت OpenAI، این مقدار را درونextra_bodyقرار دهید. - برای کل سرور: سرور را با
--default-chat-template-kwargs '{"enable_thinking": false}'بالا بیاورید. البته هر درخواست میتواند باchat_template_kwargsاختصاصی خود، دوباره تفکر را روشن کند. - تعیین بودجه برای تفکر: مقدار
thinking_token_budgetرا همراه درخواست ارسال کنید. وقتی تعداد توکنهای تفکر به این عدد برسد، vLLM مدل را وادار میکند تا بخش تفکر را ببندد و پاسخ نهایی را شروع کند. در این روش، پارسر حتماً باید فعال باشد.
نام enable_thinking از الگوی چت (chat template) مدل Qwen3 میآید. خانوادههای دیگر نامهای متفاوتی به کار میبرند؛ پس حتماً الگوی چت مدل خود را بررسی کنید.
تغییرات خروجی JSON و ابزارها
وقتی پارسر استدلال روشن باشد، خروجی ساختاریافته (Structured Output) فقط روی پاسخ نهایی اعمال میشود، یعنی بعد از پایان تفکر؛ خود تفکر متنی آزاد باقی میماند. پارسر Qwen3 با فراخوانی ابزار (Tool call) هم کار میکند؛ در نتیجه یک درخواست میتواند فیلدهای reasoning و tool_calls را کنار هم برگرداند. برای فراخوانی ابزار، سرور را با --enable-auto-tool-choice و یک پارسر فراخوانی ابزار راه بیندازید؛ مثل --tool-call-parser hermes برای Qwen3. در صفحهی JSON روش درخواست اسکیما نشان داده شده است.
برای درخواستهایی که تفکر دارند، مقدار max_tokens را بالا در نظر بگیرید. اگر سقف توکنها وسط روند تفکر به پایان برسد، فیلد content خالی مانده و finish_reason برابر با length میشود. پاسخی که با محدودیت توکن قطع شود، JSON معتبری نخواهد بود.
بررسی صحت تنظیمات
یک درخواست با تفکر روشن و یک درخواست با تفکر خاموش بفرستید:
curl -s http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" \
-d '{"model": "Qwen/Qwen3-8B", "messages": [{"role": "user", "content": "Is 91 a prime number?"}], "max_tokens": 2048}'
پاسخ اول هم در reasoning و هم در content متن دارد. حالا مقدار "chat_template_kwargs": {"enable_thinking": false} را به بدنه اضافه کرده و دوباره بفرستید. پاسخ دوم فیلد reasoning خالی یا ناموجود دارد و یک content کوتاه تحویل میدهد.
منابع: مستندات vLLM در نسخهی v0.31.0 (بخشهای docs/features/reasoning_outputs.md و docs/features/structured_outputs.md)، سورسکد vLLM در نسخهی v0.31.0 (مسیرهای vllm/reasoning/، vllm/config/structured_outputs.py، vllm/config/reasoning.py، vllm/entrypoints/launchers/cli_args.py، vllm/entrypoints/openai/chat_completion/protocol.py و vllm/sampling_params.py)، فایل لاگ capture/gpu/out-l4/livecheck-2026-10-22.txt.