سؤال مصاحبه

طراحی پشته‌ی اتنشن برای بافت 128K روی یک کارت

Design the attention stack for 128K context on one card

  • سطح ۴: استف
  • طراحی
  • ۱۵ دقیقه

پشته‌ی اتنشن (attention stack) یک مدل رمزگشای جدید در کلاس 70B را طراحی کنید که باید بتواند زمینه‌های 128K توکنی را روی یک شتاب‌دهنده‌ی 80 GB با اندازه‌ی دسته‌ی 1 پردازش کند. چینش هدها، طرح‌واره‌ی مکانی، کرنل و محاسبات حافظه را که این بخش‌ها را به هم پیوند می‌دهد بررسی کنید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

محاسبات را از حافظه شروع کنید، چون حافظه است که تکلیف بقیه‌ی بخش‌ها را مشخص می‌کند. با 8 هد کلید-مقدار، 80 لایه و اندازه‌ی هد 128 با نوع داده‌ی 16 بیتی، کلیدها و مقدارهای ذخیره‌شده به ازای هر توکن در هر لایه 4096 بایت فضا می‌گیرند؛ یعنی حدود 10 GiB در 32K و 40 GiB در 128K، آن هم پیش از بارگذاری حتی یک وزن از مدل. بنابراین، چینش هدها باید اتنشن پرس‌وجوی گروه‌بندی‌شده (grouped-query attention) یا اتنشن نهفته (latent attention) باشد؛ نوع داده‌ی ذخیره‌شده برای نصف کردن این بایت‌ها به FP8 کاهش یابد؛ طرح‌واره‌ی مکانی از نوع چرخش (RoPE) با مقیاس‌بندی پایه باشد تا مدل بدون جدول مکانی به 128K برسد؛ و کرنل از نوع کاشی‌بندی‌شده (tiled) انتخاب شود تا امتیازهای N در N هرگز وارد حافظه‌ی اصلی نشوند. حالا دوباره حساب کنید: در حالت 16 بیتی، وزن‌های یک مدل در کلاس 70B به‌تنهایی از ظرفیت کارت 80 GB بیشتر است؛ پس وزن‌ها هم پیش از قرار گرفتن کش و اکتیویشن‌ها در کنارشان، به یک نوع داده‌ی 4 بیتی نیاز دارند.

پاسخ کامل

چینش هدها

اتنشن چندسر ساده با 64 هد کلید-مقدار در این مقیاس، حدود 8 برابر حافظه‌ی بیشتری مصرف می‌کند؛ یعنی در 32K حدود 80 GiB فضا می‌گیرد که کل ظرفیت کارت است. اتنشن پرس‌وجوی گروه‌بندی‌شده با 8 هد کلید-مقدار، گزینه‌ی پیش‌فرض در محیط عملیاتی است و کیفیت مدل را تقریباً کامل حفظ می‌کند. اگر محدودیت حافظه باز هم برطرف نشد، اتنشن نهفته کلیدها و مقدارها را در یک بردار با رتبه‌ی پایین فشرده می‌کند و در هر گام، هزینه‌ی پردازشی (FLOPs) باز کردن فشردگی را می‌پردازد. در هر دو حالت، هدهای پرس‌وجو روی عدد 64 با اندازه‌ی هد 128 باقی می‌مانند.

جدول حافظه

per token per layer = 2 * n_kv_heads * d_head * bytes
                    = 2 * 8 * 128 * 2 = 4096 bytes (4 KiB)
32K context         = about 10 GiB
128K context        = about 40 GiB

با استفاده از کش FP8، بایت‌های مصرفی به ازای هر مقدار نصف می‌شود و رقم مربوط به 128K به نصف می‌رسد. حالا وزن‌ها را اضافه کنید. در حالت 16 بیتی، مدلی در کلاس 70B به ازای هر پارامتر به دو بایت نیاز دارد؛ یعنی حتی پیش از ذخیره‌ی هرگونه کش، به فضایی بیشتر از کل کارت 80 GB احتیاج است. در حالت 8 بیتی نیز وزن‌ها همچنان بخش عمده‌ی کارت را پر می‌کنند. فقط یک نوع داده‌ی 4 بیتی برای وزن‌ها فضا را برای کش FP8 در 128K و اکتیویشن‌ها باز می‌گذارد. اندازه‌ی دسته‌ی 1 الزامِ صورت‌مسئله است؛ هر درخواست هم‌زمان اضافی، یک کش دیگر به سیستم اضافه می‌کند.

طرح‌واره‌ی مکانی

چرخش پرس‌وجوها و کلیدها، با پایه‌ای که از طریق مقیاس‌بندی مبتنی بر NTK (یا NTK-aware) یا YaRN برای طول هدف تنظیم شده است. این روش هیچ پارامتری اضافه نمی‌کند، فاصله‌ی نسبی را کدگذاری می‌کند، و خانواده‌ی مرجع در درس هم دقیقاً با همین شیوه توانست از 8K به 128K برسد. یک جدول یادگیری‌پذیر به 128K سطر نیاز خواهد داشت و همان‌جا هم متوقف می‌شود. اتنشن با بایاس خطی (linear-bias attention) یک جایگزین معتبر در زمان آموزش با برون‌یابی قوی است، اما چرخش اهرم تنظیم تمیزتری فراهم می‌کند و با اکوسیستم ابزارها نیز هماهنگ‌تر است.

کرنل

اتنشن از طول حدود 2K توکن به بعد متکی به پهنای باند حافظه (memory-bound) می‌شود؛ بنابراین استفاده از کرنل کاشی‌بندی‌شده در 128K انتخابی اختیاری نیست. از پیاده‌سازی کاشی‌بندی‌شده‌ی متناسب با سخت‌افزار استفاده کنید؛ در صورت پشتیبانی نسل پردازنده با فرمت FP8، و برای کرنل آموزش هم نسخه‌ای را به کار ببرید که گام رو به عقب (backward pass) دارد.

مواردی که باید قبل از commit بسنجید

  1. پرپلکسیتی در طول هدف و در طول کوتاهِ اولیه، پس از فاین‌تیون برای بافت طولانی.
  2. اوج مصرف حافظه در 128K با قرارگیری وزن‌های کوانتیزه‌شده، کش و اکتیویشن‌ها روی کارت، و افت کیفیت ناشی از وزن‌های 4 بیتی.
  3. زمان پردازش به ازای هر توکن در 128K در مقایسه با 8K، برای اطمینان از اینکه رفتار کرنل و کش خطی باقی می‌ماند.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا به‌خاطر قابلیت برون‌یابی، سراغ اتنشن با بایاس خطی نرویم؟ پاسخ مورد انتظار: برای یک مدل جدید انتخاب مناسبی است، اما چرخش ابزارهای بهتری برای بافت طولانی و پایه‌ای قابل مقیاس‌بندی دارد؛ ضمناً پس از آموزش، هیچ‌کدام از این دو روش را نمی‌توان تغییر داد.
  • سطح 4: اگر محصول در ادامه دسته‌ای با اندازه‌ی 8 در 128K بخواهد، چه چیزی تغییر می‌کند؟ پاسخ مورد انتظار: کش 8 برابر می‌شود؛ بنابراین باید سراغ اتنشن نهفته، نوع داده‌ی ذخیره‌سازی کوچک‌تر، کاهش حداکثر طول یا کارت‌های بیشتر رفت؛ وزن‌ها تغییری نمی‌کنند.
  • سطح 4: اتنشن پرس‌وجوی گروه‌بندی‌شده از صفر آموزش داده شود یا از تبدیل یک چک‌پوینت اتنشن چندسر به دست آید؟ پاسخ مورد انتظار: برای مدل جدید، آموزش از صفر؛ تبدیل به همراه فاین‌تیون مخصوص چک‌پوینت‌های موجود است و به ارزیابی کیفیت نیاز دارد.
  • سطح 4: فلش اتنشن از کجا به بعد دیگر کارساز نیست؟ پاسخ مورد انتظار: فلش اتنشن ترافیک N در N را حذف می‌کند، اما کش را کوچک‌تر نمی‌کند؛ کش همچنان به‌صورت خطی با بافت رشد می‌کند، بنابراین در 128K محاسبات مربوط به کش دست بالا را می‌گیرد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «برای کیفیت از اتنشن چندسر کامل استفاده کنید؛ حافظه ارزان است.» در 128K، کش کامل به‌تنهایی از ظرفیت کارت بیشتر می‌شود.
  • «فرمول سینوسی هر طولی را پوشش می‌دهد، پس مسئله‌ی طرح‌واره‌ی مکانی حل شده است.» فرمول ریاضی امتداد می‌یابد اما مدل هرگز آن فازها را ندیده است؛ آنچه در عمل دستیابی به 128K را ممکن کرد، چرخش به همراه مقیاس‌بندی پایه بود.
  • «در یک مدل باکیفیت از کرنل کاشی‌بندی‌شده صرف‌نظر کنید چون خروجی را تغییر می‌دهد.» این روش تا حد بازآرایی محاسبات 16 بیتی کاملاً دقیق است و در اصل همین تکنیک است که اجرای بافت طولانی را ممکن می‌کند.

کجای دوره آموزش داده می‌شود

درس اتنشن چندسر گونه‌های مختلف هد را توضیح می‌دهد، درس کدگذاری مکانی ترفندهای مقیاس‌بندی را پوشش می‌دهد، و درس کش کلید-مقدار و فلش اتنشن محاسبات حافظه را بررسی می‌کند.