سؤال مصاحبه

مقیاس‌های FP8 KV که هرگز لود نشدند

The FP8 KV scales that never loaded

  • سطح ۳: ارشد
  • اشکال‌یابی
  • ۸ دقیقه

کش کلید-مقدار (KV cache) از نوع FP8 را روی چک‌پوینتی (checkpoint) فعال کرده‌اید که مقیاس‌های کالیبره‌شده (calibrated scales) همراه خود دارد، اما دقت در ارزیابی شما افت کرده است. لاگ راه‌اندازی شامل خطی درباره‌ی ضریب مقیاس‌گذاری است. چه اتفاقی افتاده، چطور آن را تأیید کنید و چه گزینه‌هایی پیش رو دارید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

سرور کش را با ضریب مقیاس 1.0 اجرا می‌کند؛ زیرا لودر از مقیاس‌های موجود در چک‌پوینت استفاده نکرده است. در چنین حالتی، vLLM پیام Using KV cache scaling factor 1.0 را چاپ می‌کند. SGLang نیز هر زمان که آرگومان --quantization-param-path به آن داده نشود، پیام Using FP8 KV cache but no scaling factors provided را چاپ می‌کند؛ بنابراین هشدار آن به‌تنهایی نشان نمی‌دهد که سرور عملاً از چه مقیاس‌هایی استفاده می‌کند. برای تأیید وضعیت در vLLM، ایندکس وزن‌های چک‌پوینت را برای تنسورهایی (tensor) که نامشان به k_scale یا v_scale ختم می‌شود جست‌وجو کنید؛ اگر این تنسورها وجود داشته باشند و vLLM همچنان آن هشدار را چاپ کند، یعنی لودر آن‌ها را کنار گذاشته است. این مشکل در نسخه‌ی 0.31.0 و بر اساس ایشوهای باز، برای یک خانواده‌ی کامل از مدل‌ها و یک لودر پیش‌نویس (draft loader) رخ می‌دهد. راه‌حل‌ها عبارت‌اند از: استفاده از چک‌پوینت یا نسخه‌ی دیگری که مقیاس‌هایش لود شوند، ارسال فایل مقیاس‌ها از طریق پارامتر مسیر کوانتیزه‌سازی در SGLang، یا استفاده از کش BF16 تا زمان برطرف شدن مشکل؛ البته پس از هر تغییر باید اجرای سنجش دقت (accuracy run) را روی وظیفه‌ی (task) مدنظرتان تکرار کنید.

پاسخ کامل

کارکرد ضریب مقیاس

فرمت FP8 برای نگاشت دامنه‌ی مقادیر کلیدها و مقدارها به این قالب، برای هر تنسور به یک ضریب مقیاس نیاز دارد. بدون این ضریب، مقدار همه‌ی مقیاس‌ها 1.0 لحاظ می‌شود. تیم vLLM این حالت را بدترین وضعیت برای دقت می‌داند. در آزمایش‌های آن‌ها روی کش‌های کالیبره‌نشده، بیشتر مدل‌ها کیفیتی نزدیک به BF16 داشتند، اما یک خانواده از مدل‌ها روی بک‌اند اتنشن پنهان (latent-attention backend) بدون مقیاس‌های کالیبره‌شده خوب کار نکرد. اصلاحیه‌ای در SGLang برای مقیاس‌های نادیده‌گرفته‌شده در چک‌پوینت‌های compressed-tensors، معیار GSM8K را بررسی کرد: روی چک‌پوینتی که مقیاس‌هایش نزدیک به 1.0 بود، با مقیاس‌های نادیده‌گرفته‌شده امتیاز 0.960 و با لود شدن مقیاس‌ها امتیاز 0.965 ثبت شد؛ چک‌پوینتی با مقیاس‌های دورتر از 1.0 افت دقت بیشتری را تجربه می‌کند.

تأیید وضعیت در سه مرحله

  1. مقیاس‌ها را در چک‌پوینت جست‌وجو کنید. ایندکس وزن‌ها را برای نام تنسورهایی که به k_scale یا v_scale ختم می‌شوند بگردید:
grep -oE '"[^"]*(k|v)_scale"' model.safetensors.index.json | sort -u

خروجی خالی یعنی چک‌پوینت هیچ مقیاسی ندارد. چک‌پوینتی که فقط یک فایل وزن دارد فاقد ایندکس است؛ در این حالت نام تنسورهای آن را مستقیماً با پکیج safetensors فهرست کنید.

  1. لاگ راه‌اندازی را بخوانید. در vLLM، نمایش هشدار ضریب مقیاس‌گذاری با وجود مقیاس‌ها در چک‌پوینت، به این معنی است که لودر آن‌ها را کنار گذاشته است. در SGLang، هشدار مربوط به مقیاس‌های ارائه‌نشده هر زمان که فایل مقیاسی داده نشود چاپ می‌شود؛ بنابراین به‌تنهایی مشخص نمی‌کند سرور از چه مقیاس‌هایی استفاده می‌کند؛ اما هشدارِ پیدا نشدن پارامتر k_scale یا v_scale نشان می‌دهد که لودر از آن‌ها صرف‌نظر کرده است.

  2. قبل از رفتن به محیط عملیاتی (production)، پرامپت‌های (prompt) اختصاصی خود را با و بدون کش FP8 اجرا کرده و پاسخ‌ها را مقایسه کنید.

وضعیت لودرها در نسخه‌های مشخص‌شده

در vLLM 0.31.0 یک خانواده از مدل‌ها هرگز مقیاس‌های KV خود را لود نمی‌کند و یکی از لودرهای پیش‌نویس حدسی (speculative draft loader) نیز آن‌ها را نادیده می‌گیرد؛ هر دو ایشو هنوز باز هستند. SGLang نیز پیش از اصلاحیه‌ای که در تاریخ 2026-08-20 مرج (merge) شد، مقیاس‌های KV را در چک‌پوینت‌های compressed-tensors کنار می‌گذاشت و در لاگ، پیدا نشدن هر پارامتر k_scale را گزارش می‌کرد؛ این اصلاحیه در نسخه‌ی v0.5.22 اعمال شده است. در نسخه‌های بعدی vLLM نیز مشکلی برطرف شد که در آن، خواب سطح 2 (level 2 sleep) مقیاس‌های کالیبره‌شده را پاک می‌کرد و اولین درخواست پس از بارگذاری مجدد، مقادیر اشتباهی برمی‌گرداند.

مقیاس‌های وزن با مقیاس‌های KV تفاوت دارند

چک‌پوینت FP8 مربوط به Qwen3-30B-A3B در ایندکس خود مقیاس‌های وزن را فهرست کرده و خبری از مقیاس‌های KV در آن نیست؛ بنابراین کش آن روی GB10 مستندات، با ضریب مقیاس 1.0 اجرا شد. نام و نشان یک چک‌پوینت FP8، تا زمانی که داخل آن را بررسی نکنید، هیچ چیزی درباره‌ی وضعیت کش آن به شما نمی‌گوید.

آنچه در راهنما بدون مقیاس‌ها اندازه‌گیری شد

مدل Qwen3-8B هیچ مقیاس KV ندارد؛ بنابراین اجراهای FP8 KV در راهنما با مقیاس 1.0 انجام شدند. در 500 سؤال GSM8K به‌صورت 8-shot و حریصانه (greedy)، vLLM با کش FP8 به امتیاز 90.8 درصد در برابر 91.8 با BF16 رسید، و SGLang امتیاز 91.6 را در برابر 91.6 ثبت کرد. بازه‌ها همگی همپوشانی (overlap) داشتند. بااین‌حال، این نتیجه مجوزی برای خیال‌راحتی نیست: 500 سؤال نمی‌تواند احتمال افت چند امتیازی را کاملاً رد کند؛ ضمن اینکه این فقط یک مدل و یک بنچمارک است و مدلی با ساختار اتنشن (attention) دیگر ممکن است افت بیشتری داشته باشد.

گزینه‌های پیش رو

  • چک‌پوینت دیگر یا نسخه‌ی دیگری از موتور که مقیاس‌هایش لود شوند؛ پس از اعمال تغییر، لاگ را بخوانید.
  • در SGLang، معرفی فایل مقیاس از طریق --quantization-param-path.
  • استفاده از کش BF16 تا زمان برطرف شدن مشکل لود مقیاس‌ها، و تأمین ظرفیت موردنیاز از طریق وزن‌های FP8.
  • در هر حالت، اجرای سنجش دقت روی وظیفه‌ی اختصاصی خودتان، و در نظر گرفتن هشدار کش در لاگ به‌عنوان یک نقص فنی برای پیگیری.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چک‌پوینت فقط یک فایل وزن دارد و فاقد فایل ایندکس است. چطور وجود مقیاس‌ها را بررسی می‌کنید؟ انتظار می‌رود: به‌جای جست‌وجوی ایندکس، نام تنسورها را با پکیج safetensors استخراج کنید و به دنبال نام‌هایی بگردید که به k_scale یا v_scale ختم می‌شوند.
  • سطح 3: هشدار چاپ می‌شود، اما ارزیابی شما روی GSM8K هیچ افتی نشان نمی‌دهد. آیا کار تمام است؟ انتظار می‌رود: خیر؛ 500 سؤال نمی‌تواند احتمال افت چند امتیازی را رد کند، میزان افت به مدل و ساختار اتنشن آن بستگی دارد، و یک خانواده حتماً به مقیاس‌های کالیبره‌شده نیاز داشت، درحالی‌که اغلب مدل‌ها به آن وابسته نبودند؛ تست‌ها را روی وظیفه‌ی اختصاصی خودتان اجرا کنید و هشدار لاگ را به‌عنوان یک باگ پیگیری کنید.
  • سطح 4: چرا مقیاس‌های کالیبره‌شده برای برخی ساختارهای اتنشن اهمیت بیشتری نسبت به سایرین دارند؟ انتظار می‌رود: ضریب مقیاس، دامنه‌ی مقادیر کلیدها و مقدارها را به بازه‌ی فرمت FP8 می‌نگارد؛ ساختاری که گستره‌ی مقادیرش وسیع‌تر از گنجایش این فرمت باشد، در صورت استفاده از مقیاس 1.0 دچار برش داده‌ها (clipping) یا افت دقت می‌شود؛ تیم vLLM به یک خانواده با اتنشن پنهان اشاره کرده که بدون کالیبراسیون خوب کار نمی‌کرد، درحالی‌که بیشتر مدل‌ها نزدیک به BF16 ماندند؛ بنابراین ساختار اتنشن و کالیبراسیون توأمان تعیین‌کننده‌اند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «چون چک‌پوینت FP8 است، مقیاس‌های KV لود شده‌اند.» مقیاس‌های وزن و مقیاس‌های KV تنسورهای متفاوتی هستند، و حتی اگر چک‌پوینت حاوی مقیاس‌های KV باشد، ممکن است لودر آن‌ها را کنار بگذارد؛ متن هشدار مشخص می‌کند که سرور عملاً چه مقیاسی را به کار گرفته است.
  • «این هشدار صرفاً جنبه‌ی اطلاع‌رسانی دارد.» در vLLM این هشدار به این معنی است که مقیاس تمام بخش‌های کش KV برابر با 1.0 است، که تیم توسعه‌ی vLLM آن را بدترین حالت برای دقت ارزیابی می‌کند؛ اگر مقیاس‌ها در چک‌پوینت موجود باشند، این هشدار یعنی لودر آن‌ها را نادیده گرفته است.
  • «ضریب مقیاس 1.0 برای Qwen3-8B جواب داد، پس همه‌جا کار می‌کند.» این نتیجه فقط برای یک مدل روی 500 سؤال GSM8K بازه‌های همپوشان داد، که افت چند امتیازی را رد نمی‌کند؛ علاوه بر این، خانواده‌ی دیگری از مدل‌ها با مقیاس 1.0 دچار افت دقت شدند.
  • «برای لود شدن مقیاس‌ها، آرگومان fp8 quantization-- را اضافه کنید.» متد کوانتیزه‌سازی (quantization) وزن‌ها از مقیاس‌های کش کاملاً جدا است؛ در SGLang این مقیاس‌ها یا از چک‌پوینت خوانده می‌شوند یا از فایل مسیر پارامترهای کوانتیزه‌سازی، و تعیین فلگ وزنی که با چک‌پوینت همخوانی نداشته باشد، هنگام راه‌اندازی خطا می‌دهد.

کجای دوره آموزش داده می‌شود

بخش‌های جا دادن کاربران بیشتر با کش FP8 KV و کوانتیزه‌سازی در SGLang هشدارهای مقیاس و نحوه‌ی بررسی لود شدن صحیح آن‌ها را نشان می‌دهند.