یک مدل 14B باید روی یک کارت 24 گیگابایتی اجرا شود، اما در قالب FP8 همراه با یک استخر حافظهی (pool) کاربردی جا نمیشود. گزینههای پیش روی شما شامل AWQ، GPTQ، یک چکپوینت با فرمت compressed-tensors، اعمال bitsandbytes هنگام بارگذاری، یا یک فایل GGUF است. چطور باید انتخاب کنید و در مستندات راهنما برای هر کدام چه مواردی اندازهگیری شده است؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
یک چکپوینت 4 بیتیِ از پیش منتشرشده را به کوانتیزهسازی (quantization) هنگام بارگذاری ترجیح دهید و فرمت را بر اساس موتور اجرا و نوع بار کاری انتخاب کنید. برای سرور مجهز به GPU، فرمت AWQ با کرنلهای (kernels) Marlin گزینهی پیشفرض است؛ اگر قرار است تطبیقدهندههای (adapters) لورا (LoRA) را هم روی مدل پایه سرو کنید به سراغ GPTQ بروید؛ و GGUF را فقط برای سرو روی CPU یا دستگاههای لبه (edge) نگه دارید، چون کرنلهای آن برای GPU ساخته نشدهاند. در مستندات، اجرای مدل Qwen3-14B با AWQ روی یک پردازندهی گرافیکی L4 با 9.44 گیبیبایت وزن و استخری با ظرفیت 36272 توکن آغاز شد؛ مدل Qwen3-1.7B با bitsandbytes در 1.33 گیبیبایت بارگذاری شد (در مقایسه با 3.22 گیبیبایت در قالب BF16 که معادل 41 درصد است)؛ و یک فایل GGUF با حجم 0.55 گیبیبایت نیز از طریق افزونهای بارگذاری شد که خود مستندات آن را آزمایشی مینامد.
پاسخ کامل
فرمتهایی که vLLM میخواند
| فرمت | چه چیزی را ذخیره میکند | نکات مربوط به نگارش 0.31.0 |
|---|---|---|
| AWQ و GPTQ | وزنهای 4 بیتی، محاسبات 16 بیتی | از پردازندههای گرافیکی سری Turing به بعد اجرا میشود، همراه با کرنلهای سریع Marlin روی Ampere، Ada و Hopper |
| compressed-tensors بهصورت W4A16 یا W8A8 | وزنهای 4 بیتی یا 8 بیتی، ساختهشده با کتابخانهی LLM Compressor | خود پروژهی vLLM استفاده از این کتابخانه را برای ساخت چکپوینت اختصاصی پیشنهاد میکند |
| bitsandbytes | وزنهای 4 بیتی، ساختهشده در زمان بارگذاری مدل توسط سرور | نیازمند بستهی مجزای vllm-bnb-plugin و سپس پرچم --quantization bitsandbytes برای مدلی است که کوانتیزه نشده باشد |
| GGUF | فرمت فایل llama.cpp | به بستهی مجزای vllm-gguf-plugin نیاز دارد و مستندات آن را قابلیتی آزمایشی میداند |
برای یک چکپوینتِ از پیش منتشرشده نیازی به تنظیم هیچ پرچمی ندارید؛ vLLM روش مورد استفاده را مستقیماً از فایل پیکربندی چکپوینت میخواند.
آنچه در عمل اجرا و ثبت شد
- AWQ. اجرای دستور
vllm serve Qwen/Qwen3-14B-AWQ --max-model-len 8192روی یک کارت L4 بدون هیچ پرچم کوانتیزهسازی. لاگ سرور عبارتquantization=auto_awqو استفاده از کرنل Marlin را نشان داد. وزنها 9.44 گیبیبایت فضا گرفتند و استخر حافظه گنجایش 36272 توکن را داشت. سرعت و دقت در این حالت اندازهگیری نشد. - bitsandbytes. بدون نصب افزونه، سرور با خطای
Unknown quantization method: bitsandbytesمتوقف شد. با نصب افزونه، مدل Qwen3-1.7B با 1.33 گیبیبایت بارگذاری شد (در مقایسه با 3.22 گیبیبایت در قالب BF16 که کاهش حجم به 41 درصد را نشان میدهد) و ظرفیت استخر حافظه از 92960 به 108512 توکن افزایش یافت. این 41 درصد شامل لایههای امبدینگ (embeddings) و لایهی خروجی نیز میشود که با دقت 16 بیتی باقی میمانند؛ بنابراین این سهم در مدلهای بزرگتر متفاوت خواهد بود. - GGUF. با نصب افزونه، یک فایل 4 بیتی از مدل Qwen3-0.6B با 0.55 گیبیبایت وزن بارگذاری شد و یک درخواست گفتوگو، کد وضعیت HTTP 200 را برگرداند.
پردازندهی گرافیکی دوم این سرور در حین این تستها دچار افت کارایی (throttled) شده بود؛ به همین دلیل در مستندات راهنما عددی برای سرعت گزارش نشده و میزان دقت نیز برای هیچیک از این دو فرمت کوچکتر اندازهگیری نشده است.
راهنمای انتخاب فرمت در این درس
- سرو روی CPU یا لبه: فرمت GGUF، همراه با نسخهی 4 بیتی متوسط (medium) بهعنوان پیشفرضِ محیط عملیاتی (production). فرمت GGUF فایل جامعی است که چندین نوع کوانتیزهسازی را در خود جای میدهد، لایههای اول و آخر را در دقت بالاتر نگه میدارد، و بهترین عملکرد را در llama.cpp (سریعترین موتور برای CPU) دارد. این فرمت در vLLM کند کار میکند (طبق اعداد ارائهشده در درس، حدود 93 توکن بر ثانیه برای یک مدل 7B)، زیرا اساساً برای کرنلهای GPU طراحی نشده است.
- سرو روی GPU برای گفتوگوهای روتین و بدون تطبیقدهنده: فرمت AWQ. این روش در زمان کوانتیزهسازی از برجستهترین وزنها محافظت میکند؛ با بهکارگیری کرنلهای Marlin، سرعت به حدود 741 توکن بر ثانیه برای یک مدل 7B، بالاترین دقت کدنویسی در میان فرمتهای 4 بیتی، و بهبودی 10.9 برابری در سرعت نسبت به کرنل پایه میرسد.
- سرو روی GPU با چندین تطبیقدهندهی LoRA روی یک مدل پایه: فرمت GPTQ همراه با Marlin؛ با سرعتی در حدود 712 توکن بر ثانیه روی یک مدل 7B که 2.6 برابر سریعتر از حالت بدون Marlin است. این انتخاب به این دلیل است که GPTQ در vLLM از LoRA پشتیبانی میکند، درحالیکه فرمتهای 4 بیتیِ مبتنی بر میکرومقیاسبندی (microscaling) در ابتدای سال 2026 از آن پشتیبانی نمیکردند.
- کارهای نیازمند استدلال سنگین: قالب FP8 را انتخاب کنید و هزینهی حافظهی آن را بپذیرید؛ درس افت دقت AWQ را در مسائل ریاضی چندین امتیاز ارزیابی کرده است.
دو تلهی مهم
مجموعهی کالیبراسیون (calibration) باید دقیقاً با حوزهی کاری شما همخوانی داشته باشد: روشهای AWQ و GPTQ وزنهایی را که باید محافظت شوند بر اساس یک مرحله کالیبراسیون انتخاب میکنند؛ اگر از متنهای عمومی وب استفاده کنید، مدل روی ترافیک کدنویسی، پزشکی یا حقوقی از وزنهای اشتباه محافظت خواهد کرد. بنابراین کالیبراسیون را با چند صد نمونه از همان حوزه انجام دهید و روی مجموعهی ارزیابی تست بگیرید. نکتهی دوم اینکه کش کلید-مقدار (KV cache) مجزا از وزنهاست: یک مدل 70B در حالت 4 بیتی حدود 35 گیگابایت وزن دارد، و با 128 درخواست همزمان و زمینهی 2k توکن، حافظهی کش آن نزدیک به 20 گیگابایت دیگر به مصرف اضافه میکند.
نکتهای در مورد دقت
افت دقت در یک مدل 4 بیتی میتواند بیشتر از یک مدل FP8 باشد و این افت به مدل و روش کوانتیزهسازی بستگی دارد. مستندات راهنما ارزیابی GSM8K را فقط روی فرمت FP8 انجام داد و نه فرمتهای 4 بیتی. فرمتهای مدنظر خود را روی پرامپتهای (prompt) واقعی خودتان محک بزنید، و اگر نتیجه مبهم بود، یک ارزیابی 1000 نمونهای روی هر کدام اجرا کنید.
سؤالهای تکمیلی مصاحبهگر
- سطح 2: چرا استفاده از یک چکپوینتِ از پیش منتشرشده به کوانتیزهسازی با bitsandbytes در زمان بارگذاری ارجحیت دارد؟ انتظار میرود: کوانتیزهسازی هنگام بالا آمدن سرور زمان بارگذاری را افزایش میدهد و خروجی آن چکپوینتی است که هیچکس دقتش را ارزیابی نکرده است؛ در مقابل، یک چکپوینت منتشرشده متد مشخص و اغلب دقت ارزیابیشدهای دارد، و vLLM روش آن را بدون نیاز به هیچ پرچمی مستقیماً از فایل پیکربندی میخواند.
- سطح 3: بارگذاری با bitsandbytes مصرف حافظه را در یک مدل 1.7B به 41 درصد رساند. آیا این صرفهجویی در یک مدل 14B هم به همین نسبت خواهد بود؟ انتظار میرود: خیر، برابر نخواهد بود؛ آن 41 درصد شامل لایههای امبدینگ و لایهی خروجی است که 16 بیتی باقی میمانند. از آنجا که این لایهها در مدلهای بزرگتر سهم کمتری از کل پارامترها را دارند، درصد صرفهجویی تغییر میکند.
- سطح 3: برای استفاده از تطبیقدهندههای LoRA روی مدل پایهی 4 بیتی، کدام فرمت را انتخاب میکنید؟ انتظار میرود: GPTQ همراه با کرنلهای Marlin؛ زیرا در vLLM از تطبیقدهندههای LoRA پشتیبانی میکند، درحالیکه فرمتهای 4 بیتی با میکرومقیاسبندی در آغاز سال 2026 از LoRA پشتیبانی نمیکردند.
- سطح 4: مدلی تخصصی که با روش AWQ و بر پایهی متنهای عمومی وب کوانتیزه شده است، در ارزیابیِ حوزهی خودش چندین امتیاز افت میکند. علت چیست و راهکار شما چیست؟ انتظار میرود: AWQ وزنهای نیازمند محافظت را از روی دادههای کالیبراسیون تشخیص میدهد، و متن عمومی باعث میشود از وزنهای نامربوط به آن حوزهی تخصصی محافظت کند؛ برای حل آن، باید کالیبراسیون را با چند صد نمونه از دادههای همان حوزه انجام دهید و پیش از استقرار در محیط عملیاتی، روی مجموعهی ارزیابی صحتسنجی کنید.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «GGUF محبوبترین فرمت است، پس باید در سرور مجهز به GPU از آن استفاده کرد.» این فرمت گزینهی پیشفرض برای CPU و سیستمهای لبه است؛ در vLLM به افزونهای آزمایشی نیاز دارد و کرنلهایش برای GPU ساخته نشدهاند؛ سرعتی در حدود 93 توکن بر ثانیه روی مدل 7B بر اساس آمار این درس دارد.
- «کافی است با یک پرچم و با bitsandbytes در زمان بارگذاری، مدل را کوانتیزه کنیم.» بدون افزونه، سرور با خطای ناشناخته بودن روش متوقف میشود و نتیجه هم چکپوینتی است که هیچکس دقت آن را نسنجیده است؛ در عوض از یک چکپوینت منتشرشدهی AWQ یا GPTQ استفاده کرده و آن را اعتبارسنجی کنید.
- «افت دقت مدل 4 بیتی به همان اندازهی ناچیز FP8 است.» مدل 4 بیتی میتواند افت بسیار بیشتری داشته باشد و این موضوع کاملاً به مدل و شیوهی کار بستگی دارد؛ در گزارش این درس، AWQ در مسائل ریاضی چند نمره افت داشته است، پس حتماً بررسیهای خودتان را انجام دهید.
- «میزان صرفهجویی در مصرف حافظه برای هر مدلی 41 درصد خواهد بود.» عدد 41 درصد ثبتشده مربوط به یک مدل کوچک است که لایههای امبدینگ و خروجی آن 16 بیتی ماندهاند؛ این سهم در مدلهای بزرگتر فرق میکند، ضمن اینکه کش کلید-مقدار حافظهای کاملاً مجزا از وزنها میطلبد.
کجای دوره آموزش داده میشود
در درس جا دادن مدلی بزرگتر با وزنهای FP8 فهرست فرمتها و سه سناریوی آغازین آورده شده است، و در درس کوانتیزهسازی در محیط عملیاتی و درس کوانتیزهسازی راهنمای انتخاب فرمت توضیح داده شده است.