کامپایل استنتاج برای سخت‌افزار اختصاصی: FP8 و NVFP4 در معماری Blackwell

در مقیاس سرویس‌دهی بزرگ مدل‌های زبانی، معماری سخت‌افزار و کامپایل بهینه‌سازی‌شده برای آن تعیین‌کننده‌ی اصلی هزینه‌ی سرورها هستند. با ورود نسل Blackwell و قالب‌های عددی جدید مانند NVFP4 در کنار موتورهایی چون TensorRT-LLM، فاصله‌ی هزینه و کارایی پردازش استنتاج نسبت به نسل‌های پیشین مثل Hopper بسیار بیشتر شده است. مهندسان زیرساخت هوش مصنوعی نیازمند درک دقیق این نکته هستند که هر بخش از پشته نرم‌افزاری و سخت‌افزاری چه میزان بر نرخ پردازش (Throughput) و پایداری خروجی مدل اثر می‌گذارد.

این درس به بررسی چرایی انتخاب فرمت‌های ممیز شناور گوناگون در اجزای مختلف مدل می‌پردازد؛ از جمله اینکه چرا برای کش کلید-مقدار (KV Cache) به دامنه‌ی دینامیکی FP8 احتیاج داریم در حالی که برای وزن‌ها و اکتیویشن‌ها می‌توان از NVFP4 با میکرومقیاس‌بندی بهره برد. درک این معماری برای تیم‌هایی که هزینه‌های کلان استنتاج را مدیریت می‌کنند، امکان تصمیم‌گیری آگاهانه میان قابلیت حمل کد و بهره‌وری اقتصادی بالا را فراهم می‌سازد.

همچنین برای تیم‌های ایرانی، تهیه‌ی GPU قدرتمند یا اجاره‌ی آن از ارائه‌دهندگان ابری خارجی با موانع پرداخت ارزی و هزینه‌های بسیار سنگین روبه‌رو است. بنابراین، آگاهی دقیق از محاسبات مصرف حافظه HBM و شیوه‌های فشرده‌سازی و بهینه‌سازی بار کاری برای استفاده‌ی حداکثری از هر پردازنده ضروری است.

کامپایل استنتاجِ ویژه‌ی سخت‌افزار، قابلیت حمل (portability) را فدای نرخ پردازش می‌کند؛ و TensorRT-LLM — که انحصاریِ NVIDIA بوده و برای معماری Blackwell بهینه‌سازی شده — بارزترین نمونه از سودبخش بودن این دادوستد است. در سه‌ماهه‌ی اول و دوم 2026، بنچمارک SemiAnalysis InferenceX روی سرور GB200 NVL72 با ارکستراسیون Dynamo، هزینه‌ی 0.012 دلار به‌ازای هر میلیون توکن را برای مدلی 120B ثبت کرد؛ درحالی‌که این رقم روی H100 + vLLM برابر 0.09 دلار به‌ازای هر میلیون توکن بود — یعنی شکاف اقتصادیِ 7 برابری. این پشته دو قالب ممیز شناور را با دو تکنیک سرو ترکیب می‌کند: FP8 همچنان برای کش کلید-مقدار (KV cache) و کرنل‌های اتنشن حیاتی است، چون دامنه‌ی دینامیکی موردنیاز آن‌ها را پوشش می‌دهد؛ NVFP4 (میکرومقیاس‌بندی 4 بیتی یا 4-bit microscaling) وزن‌ها و اکتیویشن‌ها را مدیریت می‌کند؛ پیش‌بینی چندتوکنی (Multi-Token Prediction یا MTP) و تفکیک پیش‌پرکنی/رمزگشایی (disaggregated prefill/decode) نیز کارایی را 2 تا 3 برابر دیگر افزایش می‌دهند. پشتیبانی روز-صفر از مدل‌ها باعث می‌شود وزن‌های FP4 مستقیماً و بدون نیاز به تبدیل پس از آموزش بارگذاری شوند. اما نکته‌ی اصلی برای تیم‌های مهندسی در سال 2026: TRT-LLM اگرچه متن‌باز است، ولی منحصراً برای اکوسیستم NVIDIA (مبتنی بر CUDA و تخصص‌یافته برای Blackwell) طراحی شده؛ بنابراین به‌کارگیری آن مستلزم فدا کردن قابلیت حمل در ازای دستیابی به نرخ پردازش است. پیش از نهایی کردن تصمیم خود (commit)، هزینه‌ها را متناسب با ترکیب مدل‌ها و سخت‌افزارهای سازمانتان بسنجید.

اهداف یادگیری

• توضیح دهید چرا حتی با استفاده از NVFP4 برای وزن‌ها، FP8 همچنان برای کش کلید-مقدار و اتنشن پایه‌ای حیاتی به‌شمار می‌رود.
• ردپای حافظه‌ی HBM یک مدل پیشرو را در دقت‌های BF16 ،FP8 و NVFP4 محاسبه کنید و منشأ این صرفه‌جویی را تحلیل نمایید.
• قابلیت‌های اختصاصی Blackwell را که TRT-LLM به کار می‌گیرد نام ببرید (پشتیبانی روز-صفر FP4، پیش‌بینی چندتوکنی، سرو تفکیک‌شده، اجزای سازنده‌ی همه‌به‌همه).
• ارزیابی کنید چه زمانی انحصار NVIDIA در TRT-LLM ارزش دستیابی به صرفه‌جویی هزینه‌ای 7 برابری در مقایسه با vLLM روی Hopper را دارد.

صورت مسئله

مرز اقتصادیِ استنتاج در سال 2026 در یک پرسش خلاصه می‌شود: «چند توکن به‌ازای هر دلار؟». پاسخ به چهار تصمیم هم‌افزا بستگی دارد: نسل سخت‌افزار (Hopper H100/H200 در برابر Blackwell B200/GB200)، دقت (BF16 ← FP8 ← NVFP4)، موتور سرو (vLLM در برابر SGLang در برابر TRT-LLM) و ارکستراسیون (ساده در برابر تفکیک‌شده در برابر Dynamo).

روی پردازنده‌ی Hopper با موتور vLLM، اجرای یک مدل MoE با اندازه‌ی 120B حدود 0.09 دلار به‌ازای هر میلیون توکن هزینه برمی‌دارد. روی Blackwell با ترکیب TRT-LLM و Dynamo، همان مدل با حدود 0.012 دلار — یعنی 7 برابر ارزان‌تر — اجرا می‌شود. بخشی از این شکاف ناشی از تفاوت سخت‌افزار است (Blackwell نرخ پردازش مدل‌های زبانی به‌ازای هر GPU را 11 تا 15 برابر نسبت به Hopper افزایش می‌دهد). بخش دیگر حاصل معماری پشته است: وزن‌های FP4، پیش‌نویس MTP، تفکیک پیش‌پرکنی/رمزگشایی، و ارتباطات همه‌به‌همه (all-to-all) روی بستر NVLink 5 برای تبادل داده میان اکسپرت‌های MoE.

پیاده‌سازی این عملکرد بیرون از اکوسیستم NVIDIA ممکن نیست. این دقیقاً همان معامله است — چشم‌پوشی از قابلیت حمل برای دستیابی به صرفه‌ی اقتصادی. هدف این درس، شناخت سهم هر یک از لایه‌های پشته در ایجاد این شکاف عملکردی است.

مفاهیم پایه

چرا FP8 همچنان کفِ دقت برای کش کلید-مقدار است

اشتباهی رایج در سال 2026: تصور اینکه NVFP4 همه‌جا کاربرد دارد. ابداً این‌طور نیست. کش کلید-مقدار به FP8 (ممیز شناور 8 بیتی) نیاز دارد، چون کلیدها و مقدارهای اتنشن را نگه می‌دارد که دامنه‌ی دینامیکی گسترده‌ای دارند. کوانتایز کردن کش به FP4 به افت فاجعه‌بار دقت می‌انجامد — دنباله‌ی توزیع حذف شده و امتیازهای اتنشن فرومی‌پاشند. بیت‌های توان (exponent bits) در قالب FP8 همان دامنه‌ی موردنیاز کش کلید-مقدار را فراهم می‌کنند.

قالب NVFP4 (2025-2026) مختص وزن‌ها و اکتیویشن‌هاست. در روش میکرومقیاس‌بندی: هر بلوک از وزن‌ها ضریب مقیاس (scale factor) اختصاصی خود را دارد؛ در نتیجه بلوک‌های کوچک می‌توانند بدون افت دقت ناشی از اِعمال یک ضریب مقیاس به کل تنسور، دامنه‌های دینامیکی گوناگونی را پوشش دهند. برای اکتیویشن‌ها نیز FP4 بازدهی مطلوبی دارد، زیرا دامنه‌ی تغییرات اکتیویشن‌ها در محدوده‌ی یک لایه کوچک است.

پیکربندی استاندارد در Blackwell:

• وزن‌ها: NVFP4 (میکرومقیاس‌بندی 4 بیتی).
• اکتیویشن‌ها: NVFP4.
• کش کلید-مقدار: FP8.
• انباشت‌گر اتنشن: FP32 (برای حفظ پایداری سافت‌مکس).

اجزای سازنده‌ی اختصاصی Blackwell در TRT-LLM

• وزن‌های FP4 روز-صفر (Day-0 FP4): ارائه‌دهندگان مدل، وزن‌ها را مستقیماً در قالب FP4 منتشر می‌کنند؛ TRT-LLM آن‌ها را بدون تبدیل پس از آموزش بارگذاری می‌کند. دیگر نیازی به مرحله‌ی AWQ یا GPTQ برای FP4 نیست.
• پیش‌بینی چندتوکنی (MTP): همان ایده‌ی EAGLE (فصل 17 · 05) که مستقیماً در فرایند ساخت TRT-LLM گنجانده شده است.
• سرو تفکیک‌شده (Disaggregated serving): اجرای پیش‌پرکنی و رمزگشایی روی استخرهای GPU جداگانه و انتقال کش کلید-مقدار از طریق بستر NVLink یا InfiniBand. همان رویکرد Dynamo (فصل 17 · 20).
• اجزای سازنده‌ی ارتباطی همه‌به‌همه: NVLink 5 تاخیر ارتباط میان اکسپرت‌های MoE را در مقایسه با Hopper تا 3 برابر کاهش داده است. کرنل‌های MoE در TRT-LLM برای این ویژگی کوک شده‌اند.
• میکرومقیاس‌بندی NVFP4 + MXFP8: پردازش سخت‌افزاری شتاب‌یافته‌ی ضریب مقیاس روی هسته‌های تنسور (Tensor Cores) بلک‌ول.

اعدادی که باید به خاطر بسپارید

• سرور HGX B200 با هزینه‌ی 0.02 دلار به‌ازای هر میلیون توکن روی GPT-OSS-120B با استفاده از TRT-LLM.
• سرور GB200 NVL72 با هزینه‌ی 0.012 دلار به‌ازای هر میلیون توکن با ارکستراسیون Dynamo (برای مدیریت TRT-LLM).
• سرور H100 + vLLM با هزینه‌ی حدود 0.09 دلار به‌ازای هر میلیون توکن در حجم کاری مشابه.
• افزایش 2.8 برابری نرخ پردازش تنها طی سه ماه با به‌روزرسانی‌های TRT-LLM (سال 2026).
• 11 تا 15 برابر نرخ پردازش مدل زبانی بیشتر به‌ازای هر GPU در مقایسه‌ی Blackwell با Hopper.
• بنچمارک MLPerf Inference v6.0 (آوریل 2026): پیشتازی قاطع Blackwell در تمام وظایف ارائه‌شده.

هزینه‌ی واقعی استفاده از FP4 بر کیفیت مدل

قالب NVFP4 بسیار تهاجمی است. در وظایفی با استدلال سنگین (زنجیره‌ی افکار، ریاضیات، تولید کد با کانتکست طولانی)، افت کیفیت وزن‌های FP4 کاملاً به چشم می‌آید. کالیبراسیون بلوکی این افت را تخفیف می‌دهد اما کاملاً حذف نمی‌کند. تیم‌هایی که مدل‌های استدلالی را به محیط عملیاتی (پروداکشن) می‌برند، معمولاً از راهکار میانه‌ی «وزن‌های FP8 + اکتیویشن‌های FP4» استفاده می‌کنند یا ترجیح می‌دهند روی H200 بمانند و سراسر خط لوله را با FP8 اجرا کنند.

یک اصل همیشگی: پیش از پیاده‌سازی نهایی وزن‌های NVFP4، حتماً کیفیت خروجی وظیفه را روی مجموعه‌ی ارزیابی خود بسنجید.

چرا این تصمیم وابستگی به انحصار NVIDIA ایجاد می‌کند

موتور TRT-LLM بر پایه‌ی ++C، زبان CUDA و کرنل‌های اختصاصی و غیرمتن‌باز شکل گرفته است. مدل‌ها باید دقیقاً برای یک شناسه قطعه‌ی سخت‌افزاری (SKU) خاص از GPU کامپایل شوند؛ هیچ پشتیبانی‌ای از تراشه‌های AMD ،Intel یا ARM در کار نیست. اگر استراتژی زیرساختی شما چندتامین‌کننده‌ای است، به‌کارگیری TRT-LLM در لایه‌ی اصلی سرو گزینه‌ای نشدنی خواهد بود — هرچند می‌توانید برای سایر لایه‌ها روی سخت‌افزارهای گوناگون از vLLM استفاده کنید. اما اگر زیرساخت سازمانی شما صرفاً مبتنی بر NVIDIA است، شکاف عملکردی 7 برابری هزینه‌ی این قفل‌شدگی را کاملاً جبران می‌کند.

راهکار عملیاتی در سال 2026

اگر هزینه‌ی سالانه‌ی استنتاج شما از 100 میلیون دلار فراتر می‌رود، ماندن روی Hopper + vLLM به معنای نادیده گرفتن یک فرصت صرفه‌جویی 7 تا 10 برابری است. بارهای کاری اصلی را به Blackwell + TRT-LLM + Dynamo منتقل کنید. لایه‌ی تحقیق و آزمون را روی H100 + vLLM نگه دارید تا سرعت توسعه و چرخش مدل‌ها حفظ شود. پیش از ورود به محیط عملیاتی، کیفیت هر مدلی را که به NVFP4 تبدیل شده بادقت ارزیابی کنید.

مزیت تفکیک بارهای کاری

سرو تفکیک‌شده در TRT-LLM (جداسازی استخرهای پیش‌پرکنی و رمزگشایی) به‌طور مفصل در فصل 17 · 20 بررسی شده است. در معماری Blackwell، این ضرایب در یکدیگر ضرب می‌شوند: وزن‌های FP4 × شتاب حاصل از MTP × چینش تفکیک‌شده × مسیریابی آگاه از کش. صرفه‌جویی 7 برابری، برآیند استقرار کامل این پشته است.

استفاده در عمل

اسکریپت code/main.py ردپای حافظه‌ی HBM، نرخ پردازش رمزگشایی (در رژیم محدود به پهنای باند حافظه) و هزینه‌ی دلاری به‌ازای هر میلیون توکن را برای یک مدل در سه پشته‌ی مختلف محاسبه می‌کند: H100 + BF16 + vLLM، سپس H100 + FP8 + vLLM، و در نهایت B200 + NVFP4/FP8 + TRT-LLM. این اسکریپت را اجرا کنید تا اثر هم‌افزایی عوامل و سهم هر تغییر در این شکاف عملکردی را مشاهده نمایید.

تحویل پروژه

خروجی این درس، ساخت فایل outputs/skill-trtllm-blackwell-advisor.md است. این راهنما با دریافت نوع بار کاری، اندازه‌ی مدل و حجم سالانه‌ی توکن‌ها، ارزیابی می‌کند که آیا مهاجرت به پشته‌ی Blackwell + TRT-LLM ارزش پذیرش قفل‌شدگی در اکوسیستم NVIDIA را دارد یا خیر.

تمرین‌ها

1. اسکریپت code/main.py را اجرا کنید. برای یک مدل MoE با اندازه‌ی 120B و 30% پارامترهای فعال، نرخ پردازش رمزگشایی محدود به پهنای باند حافظه را روی H100 BF16 ،H100 FP8 و B200 NVFP4/FP8 محاسبه کنید. بیشترین جهش عملکرد ناشی از کدام تغییر است؟
2. مشتری‌ای سالانه 2 میلیون دلار برای H100 + vLLM هزینه می‌کند. با فرض شکاف اقتصادی 7 برابری، چه تعداد GPU از نوع Blackwell باید خریداری کند تا هزینه‌ی مهاجرت به TRT-LLM ظرف 12 ماه مستهلک شده و به نقطه‌ی سربه‌سر برسد؟
3. فرض کنید پس از تبدیل وزن‌ها به NVFP4، دقت مدل در بنچمارک MATH حدود 3 نمره افت می‌کند. دو مسیر بازیابی نام ببرید: یکی با اولویت کیفیت (حفظ وزن‌های FP8) و دیگری با اولویت هزینه (کالیبراسیون با داده‌های تخصصی همان دامنه).
4. نتایج بنچمارک استنتاج MLPerf v6.0 را بررسی کنید. کدام وظیفه کمترین اختلاف عملکرد را میان Blackwell و Hopper نشان می‌دهد و دلیل آن چیست؟
5. حافظه‌ی HBM موردنیاز برای اجرای یک مدل 405B با وزن‌های NVFP4 و کش کلید-مقدار FP8 در طول کانتکست 128k را محاسبه کنید. آیا این مدل روی یک گره GB200 NVL72 جا می‌شود؟

اصطلاحات کلیدی

برای مطالعه‌ی بیشتر

• NVIDIA — Blackwell Ultra MLPerf Inference v6.0 — نتایج بنچمارک استنتاج MLPerf در آوریل 2026.
• NVIDIA — MoE Inference on Blackwell — ارتباطات همه‌به‌همه در NVLink 5 و کرنل‌های MoE.
• TensorRT-LLM Overview — مستندات رسمی موتور TRT-LLM.
• NVIDIA — Introducing Dynamo — ارکستراسیون تفکیک‌شده بر فراز موتور TRT-LLM.
• MLPerf Inference — مجموعه‌بنچمارک ارائه‌دهنده‌ی آمارهای عملکردی Blackwell.