سؤال مصاحبه

مدل الان 35 گیگابایت است، پس جا می‌شود

The model is 35 GB now, so it fits

  • سطح ۱: غربالگری
  • مفهومی
  • ۵ دقیقه

هم‌تیمی‌تان می‌گوید: ما مدل 70B را به 4 بیتی کوانتیزه کردیم؛ بنابراین الان 35 گیگابایت است و روی یک کارت 80 گیگابایتی با کلی فضای اضافه جا می‌شود. کجای این جمله نقص دارد؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

کش کلید-مقدار (KV cache). کوانتیزه‌سازیِ وزن‌ها حجم وزن‌ها را کم می‌کند، اما کشِ درخواست‌های در حال اجرا بودجه‌ی جداگانه‌ای است که در فرمت BF16 یا FP8 باقی می‌ماند و با هر توکنِ در گردش رشد می‌کند. در این درس، برای 128 درخواست هم‌زمان با طول کانتکست 2k، این مقدار برای یک مدل 70B حدود 20 گیگابایت تخمین زده شده است؛ علاوه‌بر آن حدود 5 گیگابایت هم اکتیویشن (activation) دارید که مجموع آن‌ها روی کارت 80 گیگابایتی به حدود 60 گیگابایت می‌رسد. البته این 20 گیگابایت برآورد سرانگشتیِ درس است و باید آن را با کانفیگ بسنجید: مدل Llama-3.1-70B در فرمت BF16 به ازای هر توکن 320 کیلوبایت فضا نگه می‌دارد؛ با این حساب، 128 درخواست با کانتکست کامل 2k حدود چهار برابر عدد تخمینیِ درس حافظه می‌خواهند که دیگر در کنار وزن‌ها روی یک کارت 80 گیگابایتی جا نمی‌شود. پس وزن‌ها، کش را در اوج هم‌زمانی و طول کانتکست، و اکتیویشن‌ها را با هم حساب کنید و اندازه‌ی استخر حافظه (pool size) را بعد از راه‌اندازی، داخل لاگ استارتاپ بخوانید.

پاسخ کامل

بودجه‌ی حافظه سه بخش دارد

محاسبات خودِ درس برای یک مدل 70B با وزن‌های 4 بیتی:

بخش اندازه
وزن‌ها، 4 بیتی (کاهش‌یافته از 140 گیگابایت در FP16) حدود 35 گیگابایت
کش KV در 128 درخواست هم‌زمان با کانتکست 2k حدود 20 گیگابایت
اکتیویشن‌ها حدود 5 گیگابایت
مجموع حدود 60 گیگابایت

جمله‌ی «مدل الان 35 گیگابایت است»، کش و اکتیویشن‌ها را از قلم می‌اندازد. باید کل کارت را با هم بودجه‌بندی کنید و حجم کش را بر اساس کانفیگ مدل‌تان حساب کنید: Llama-3.1-70B در فرمت BF16 به ازای هر توکن 320 کیلوبایت مصرف می‌کند؛ بنابراین با کانتکست‌های پرِ 2k، فقط کشِ آن به‌تنهایی حدود چهار برابر 20 گیگابایتِ داخل جدول فضا می‌خواهد.

کش کجا مصرف می‌شود

هر توکن در یک درخواستِ در حال پردازش، کلیدها و مقدارهای خود را تا پایان درخواست در حافظه‌ی GPU نگه می‌دارد. تعداد بایت به ازای هر توکن از چهار عدد در کانفیگ مدل به دست می‌آید: تعداد لایه‌ها ضربدر تعداد هدهای KV ضربدر اندازه‌ی هد، ضربدر 2 (برای کلید و مقدار)، ضربدر تعداد بایتِ هر مقدار. مدل Qwen3-8B به ازای هر توکن 144 کیلوبایت در BF16 مصرف می‌کند و مدل Qwen3-30B-A3B حدود 96 کیلوبایت؛ چون تعداد هدهای KV این عدد را تعیین می‌کنند، نه تعداد پارامترها. موتور اجرا (engine) هر چقدر حافظه پس از بارگذاری وزن‌ها و پروفایل استارتاپ باقی بماند را به کش اختصاص می‌دهد. تعداد کاربرانی که جا می‌شوند، برابر است با حجم استخر تقسیم بر کانتکستی که یک کاربر اشغال می‌کند (پرامپت به‌علاوه‌ی خروجی). روی GB10، وزن‌های مدل 30B حدود 56.93 گیبی‌بایت گرفتند، 31.32 گیبی‌بایت برای کش باقی ماند که با نرخ 96 کیلوبایت برای هر توکن، معادل حدود 342,000 توکن است.

کوانتیزه‌سازی KV تصمیمی مستقل است

کشِ FP8 بایتِ مصرفی به ازای هر توکن را نصف می‌کند که ظرفیت کاربران را در همان طول متن دو برابر می‌رساند. این انتخاب مستقل از فرمت وزن‌هاست؛ مقیاس‌های (scales) خاص خود را دارد، مستقیماً مقدارهای اتنشن (attention) را تغییر می‌دهد و به بررسی جداگانه‌ی دقت نیاز دارد. کوانتیزه کردن وزن‌ها کش را کوچک نمی‌کند.

راهکارهای افزایش ظرفیت، به ترتیب هزینه

  1. سقف طول مدل (maximum model length) را تا بیشترین طول درخواست‌های واقعیِ خود پایین بیاورید. این کار استخر را بزرگ‌تر نمی‌کند، اما جلوی این را می‌گیرد که یک درخواست تمام آن را پر کند.
  2. از کش KV با فرمت FP8 استفاده کنید.
  3. از وزن‌های FP8 یا 4 بیتی استفاده کنید تا حافظه‌ی بیشتری برای کش آزاد شود.
  4. از GPU با حافظه‌ی بیشتر استفاده کنید یا مدل را بشکنید.

لاگ را بخوانید

پس از هر بار راه‌اندازی، دو خط لاگ را بخوانید: خط بارگذاری وزن‌ها و خط حافظه‌ی در دسترس کش KV. سپس خط استخر حافظه، تعداد توکن‌ها و حداکثر هم‌زمانی را در سقف طول مجاز نشان می‌دهد؛ این مقدار فرض را بر این می‌گذارد که همه‌ی کاربران سقف ظرفیت را پر می‌کنند. کاربران واقعی کانتکست کمتری اشغال می‌کنند، بنابراین تعداد بیشتری جا می‌شوند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: چه سه بخشی روی یک GPU در حال سرویس‌دهی حافظه می‌گیرند؟ پاسخ مورد انتظار: وزن‌ها، کش KV برای توکن‌های در گردش، و اکتیویشن‌ها به‌همراه حافظه‌ی کاریِ استارتاپ؛ موتور پردازش، هر چه بعد از آن دو مورد باقی بماند را به کش اختصاص می‌دهد.
  • سطح 2: کش KV متناسب با چه عواملی رشد می‌کند؟ پاسخ مورد انتظار: تعداد درخواست‌های در حال اجرا و کانتکستی که هر کدام نگه می‌دارند (پرامپت به‌علاوه‌ی خروجی)؛ یعنی با میزان هم‌زمانی و طول کانتکست رشد می‌کند، نه با وزن‌ها.
  • سطح 3: کوانتیزه‌سازی وزن‌ها به 4 بیتی و کوانتیزه‌سازی کش به FP8 تصمیم‌های متفاوتی هستند. چرا؟ پاسخ مورد انتظار: وزن‌ها هزینه‌ای ثابت‌اند و کوانتیزه‌سازی آن‌ها محاسبات ماتریسی را تغییر می‌دهد؛ اما کش به ازای هر توکن مصرف می‌شود و کوانتیزه‌سازی‌اش مستقیماً روی مقادیر اتنشن اثر می‌گذارد، بنابراین نیاز به بررسی دقت و مقیاس‌های جداگانه دارد.
  • سطح 4: در کجای لاگ استارتاپ مطمئن می‌شوید بودجه‌بندی درست جواب داده است؟ پاسخ مورد انتظار: در خط بارگذاری وزن‌ها، خط حافظه‌ی در دسترس کش KV و خط اندازه‌ی استخر به‌همراه حداکثر هم‌زمانی‌اش؛ استخر را باید به‌جای حداکثر طول مجاز، بر مجموع پرامپت و خروجیِ هر کاربر تقسیم کنید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «مدل 35 گیگابایت است، پس بقیه‌ی حافظه برای کاربران آزاد است.» کش KV و اکتیویشن‌ها اول سهم خود را برمی‌دارند؛ در 128 درخواست هم‌زمان با کانتکست 2k، درس کش را نزدیک 20 گیگابایت و مجموع مصرف را نزدیک 60 گیگابایت تخمین می‌زند.
  • «کوانتیزه کردن وزن‌ها کش را هم کوچک می‌کند.» کش در دیتاتایپ خودش می‌ماند؛ حجم آن فقط در صورتی نصف می‌شود که خودِ کش را کوانتیزه کنید، که تصمیمی جداگانه با اثرات خاص خود بر دقت مدل است.
  • «کش کوچک است چون مدل کوچک است.» بایت مصرفی به ازای هر توکن به لایه‌ها و هدهای KV بستگی دارد؛ یک مدل متخصصی (expert) با اندازه‌ی 30B حدود 96 کیلوبایت برای هر توکن مصرف می‌کند و یک مدل متراکم (dense) با اندازه‌ی 8B حدود 144 کیلوبایت.

کجای دوره آموزش داده می‌شود

درس کوانتیزه‌سازی در محیط عملیاتی این تله را نام می‌برد، و پیش از انتخاب GPU، حافظه را حساب کنید نحوه‌ی محاسبه‌ی کش را نشان می‌دهد.