سؤال مصاحبه

چرا یک مدل 8B روی کارت 24 گیگابایتی بالا نمی‌آید؟

Why an 8B model fails to start on a 24 GB card

  • سطح ۲: میانی
  • تخمین
  • ۸ دقیقه

هم‌تیمی شما مدل Qwen/Qwen3-8B را با دقت BF16 روی یک کارت L4 بدون هیچ فلگی اجرا می‌کند، اما فرایند راه‌اندازی با خطایی درباره‌ی کش کلید-مقدار (KV cache) و --max-model-len متوقف می‌شود. همین دستور روی کارت گرافیک بزرگ‌تر بدون مشکل کار می‌کند. دلیل این خطا را با اعداد و ارقام توضیح دهید و بگویید چه مقداری را باید تنظیم کنید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

پیکربندی مدل، طول زمینه‌ای (context length) معادل 40,960 توکن تعیین کرده است و وقتی مقداری مشخص نکنید، vLLM همین عدد را حداکثر طول در نظر می‌گیرد. با مصرف 144 KiB به ازای هر توکن، یک درخواست در این طول به 5.6 GiB کش کلید-مقدار نیاز دارد. روی یک کارت 24 گیگابایتی، وزنه‌های 16.4 گیگابایتی ممکن است فضایی کمتر از این مقدار باقی بگذارند؛ بنابراین بررسی اولیه در زمان راه‌اندازی، پیش از چاپ خط مربوط به استخر حافظه، شکست می‌خورد. مقدار --max-model-len را برابر با مجموع طولانی‌ترین پرامپت و پاسخی بگذارید که کاربران ارسال می‌کنند؛ با این کار اندازه‌ی استخر تغییری نمی‌کند، بلکه این محدودیت فقط جلوی تصاحب کل استخر توسط یک درخواست را می‌گیرد.

پاسخ کامل

محاسبات ریاضی

وزنه‌های Qwen3-8B در فرمت BF16 معادل 16.4 GB فضا می‌گیرند. فریم‌ورک SGLang میزان حافظه‌ی اشغال‌شده روی همین کارت را 15.28 GB اندازه‌گیری کرد و 6.59 GB حافظه آزاد داشت که با نسبت حافظه‌ی (memory fraction) معادل 0.85، استخری به اندازه‌ی 24,094 توکن ایجاد کرد؛ 1.65 GB برای کلیدها و 1.65 GB برای مقدارها. استخری با این اندازه حدود 3.31 GiB حافظه نگه می‌دارد. یک درخواست با طول پیش‌فرض 40,960 توکن به 40,960 ضربدر 144 KiB، یعنی 5.6 GiB کش نیاز دارد که از کل استخر بیشتر است. vLLM بررسی می‌کند که حداقل یک درخواست با حداکثر طول جا شود؛ به همین دلیل جلوی راه‌اندازی را می‌گیرد.

تنظیم آگاهانه‌ی طول مدل

فلگ --max-model-len را روی مجموع طولانی‌ترین پرامپت و پاسخی که کاربرانتان ارسال می‌کنند تنظیم کنید. اندازه‌ی استخر یکسان می‌ماند. سقفِ کوتاه‌تر فقط مانع از آن می‌شود که یک درخواست کل استخر را تسخیر کند و اجازه‌ی عبور از بررسی اولیه را می‌دهد. پس از آن، خط استخر در لاگ، حداکثر همروندی را در این طول چاپ می‌کند: در کارت L4 این مقدار چاپ شد: GPU KV cache size: 24,096 tokens, Maximum concurrency for 8,192 tokens per request: 2.94x. از آنجا که درخواست‌های واقعی کمتر از این سقف فضا می‌گیرند، تعداد بیشتری از آن‌ها جا می‌شوند: حدود 37 کاربر با 512 توکن پرامپت و 128 توکن خروجی برای هر نفر.

بررسی طول مدل پس از ارتقا

برخی مدل‌ها طول زمینه‌ی خود را با روش مقیاس‌بندی (scaling method) گسترش می‌دهند. در نسخه‌ی 0.30.0، فریم‌ورک vLLM شیوه‌ی خواندن این روش را تغییر داد و برای بعضی مدل‌ها، طولی که vLLM از فایل کانفیگ استخراج می‌کرد کوتاه‌تر شد؛ در یادداشت‌های انتشار به مدلی اشاره شده که طول آن از 131,072 به 32,768 توکن کاهش یافت. پس از ارتقا، مقدار طول استخراج‌شده را در لاگ راه‌اندازی بخوانید و اگر تغییر کرده بود، خودتان آن را دستی تنظیم کنید.

راه‌های دیگر برای باز کردن فضا

چک‌پوینت FP8 از همین مدل، 8.81 GB از وزنه‌ها را روی L4 بارگذاری کرد و 13.06 GB فضا باقی گذاشت. با FP8 شدن کش هم، اندازه‌ی استخر در مقایسه با 24,094 به 142,369 توکن رسید. تنظیم نسبت حافظه روی مقادیر خیلی کم نتیجه‌ی عکس دارد: در نسبت 0.74، استخر BF16 فقط 6,559 توکن ظرفیت داشت و چهار پرامپت مشترک 2,048 توکنی دیگر هم‌زمان جا نمی‌شدند.

بررسی درستی راه‌اندازی

خط استخر در لاگ فقط در صورتی چاپ می‌شود که راه‌اندازی با موفقیت انجام شود. اگر فرایند با خطای کش و حداکثر طول متوقف شد، --max-model-len را آن‌قدر پایین بیاورید تا خط استخر چاپ شود؛ سپس همروندیِ آن را بخوانید و با تعداد کاربرانی که قصد دارید در تمام طول مدل به آن‌ها سرویس بدهید، مقایسه کنید.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: آیا کاهش حداکثر طول مدل ظرفیت سرویس‌دهی به کاربران بیشتری را به شما می‌دهد؟ پاسخ مورد انتظار: خیر؛ اندازه‌ی استخر ثابت می‌ماند و این محدودیت فقط جلوی تسخیر کل فضا توسط یک درخواست را می‌گیرد و می‌گذارد بررسی راه‌اندازی رد شود؛ کاربران بیشتر به استخر بزرگ‌تری نیاز دارند؛ از طریق کش FP8، وزنه‌های FP8 یا کارت گرافیک بزرگ‌تر.
  • سطح 3: همین مدل ماه گذشته بدون مشکل اجرا می‌شد، اما بعد از ارتقا با همان فلگ‌ها به خطا می‌خورد. چه چیزی را بررسی می‌کنید؟ پاسخ مورد انتظار: طول زمینه‌ی استخراج‌شده در لاگ راه‌اندازی؛ در یکی از نسخه‌ها نحوه‌ی خواندن روش مقیاس‌بندی عوض شد و طول یک مدل را از 131,072 به 32,768 کاهش داد؛ تغییری در جهت عکس می‌تواند باعث رد شدن تست شود، پس باید طول را خودتان تنظیم کنید.
  • سطح 4: ظرفیت استخر را تخمین بزنید وقتی روی همین کارت، چک‌پوینت FP8 جایگزین BF16 شود و کش نیز FP8 باشد. پاسخ مورد انتظار: وزنه‌ها به 8.81 GB کاهش یافته و 13.06 GB فضا باقی می‌گذارند؛ همچنین هر توکن نیمی از بایت‌ها را مصرف می‌کند، بنابراین در اجرای کتابچه‌ی راهنما، استخر از 24,094 به 142,369 توکن افزایش یافت.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «این کارت برای یک مدل 8B خیلی کوچک است.» وزنه‌ها با حدود 6.59 GB فضای خالی جا می‌شوند؛ بررسی راه‌اندازی به این دلیل رد می‌شود که یک درخواست با طول پیش‌فرض 40,960 توکن به 5.6 GiB کش نیاز دارد؛ پس طول را مطابق آنچه کاربرانتان می‌فرستند تنظیم کنید.
  • «نسبت حافظه را بالا ببرید تا مدل اجرا شود.» فاصله‌ی بین 5.6 GiB و فضای باقی‌مانده بیشتر از آن است که با یک گام تغییر نسبت حافظه روی این کارت جبران شود؛ اهرم اصلی طول مدل است، ضمن اینکه نسبتِ خیلی بالا جایی برای اکتیویشن‌ها (activations) باقی نمی‌گذارد.
  • «حداکثر طول را کم کنید تا کاربران بیشتری جا شوند.» این کار جا را برای راه‌اندازی باز می‌کند، نه برای کاربران بیشتر؛ اندازه‌ی استخر با این محدودیت تغییر نمی‌کند.
  • «اندازه‌ی استخر کش کلید-مقدار از روی وزنه‌ها تعیین می‌شود.» این اندازه از روی حافظه‌ی باقی‌مانده پس از بارگذاری وزنه‌ها و پروفایل راه‌اندازی مشخص می‌شود؛ بنابراین باید خط حافظه‌ی آزاد برای KV را بخوانید، نه تعداد پارامترها را.

کجای دوره آموزش داده می‌شود

بخش سرویس‌دهی به زمینه‌های طولانی و مدل‌های هیبریدی بررسی طول را شرح می‌دهد، بخش محاسبه‌ی حافظه قبل از انتخاب GPU ابعاد استخر را تعیین می‌کند و بخش کوانتیزه‌سازی در SGLang خطوط راه‌اندازی را روی همین کارت نشان می‌دهد.