سؤال مصاحبه

آیا کرنل اتنشن کاشی‌کاری‌شده یک تقریب است؟

Is a tiled attention kernel an approximation

  • سطح ۳: ارشد
  • مفهومی
  • ۱۰ دقیقه

یکی از همکارانتان فعال‌سازی فلش اتنشن (Flash Attention) را روی مدلی حساس به کیفیت نمی‌پذیرد؛ با این استدلال که «اتنشن تقریبی خروجی‌ها را تغییر می‌دهد». آیا واقعاً با روشی تقریبی طرف هستیم؟ توضیح دهید که این کرنل (Kernel) چه چیزهایی را تغییر می‌دهد، چه چیزهایی را دست‌نخورده نگه می‌دارد، و استدلال مربوط به حافظه را که انگیزه‌ی ساخت آن بود شرح دهید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

این روش دقیق است. کرنل، محاسبات را کاشی‌کاری (Tiling) می‌کند تا ماتریس امتیاز کامل N در N هرگز وارد حافظه‌ی اصلی GPU نشود؛ هر کاشی درون حافظه‌ی روی تراشه امتیازدهی می‌شود، به توان می‌رسد و با یک بیشینه‌ی جاری و یک مجموع جاری انباشته می‌شود، و نرمال‌سازی نهایی هم—صرف‌نظر از بازآرایی محاسبات ممیز شناور—کاملاً با سافت‌مکس (Softmax) تک‌گذره مطابقت دارد. آنچه تغییر می‌کند ترافیک حافظه است: سه رفت‌وبرگشت به حافظه‌ی اصلی به یک‌بار نوشتن به‌ازای هر کاشی خروجی تبدیل می‌شود، و ردپای حافظه از N به توان 2 به N کاهش پیدا می‌کند. اعدادی که از کرنل خارج می‌شوند با اتنشن استاندارد یکسان هستند.

پاسخ کامل

چرا اتنشن استاندارد کُند است؟

S = Q @ K^T       read Q and K, write an N x N matrix
P = softmax(S)    read N x N, write N x N
O = P @ V         read N x N and V, write N x d

سه رفت‌وبرگشت در حافظه‌ی با پهنای باند بالا (HBM). روی شتاب‌دهنده‌ی مرجع، این حافظه داده‌ها را با سرعت حدود 3 TB/s جابه‌جا می‌کند، در حالی که حافظه‌ی روی تراشه با سرعت حدود 30 TB/s کار می‌کند؛ بنابراین هر رفت‌وبرگشت در مقایسه با نگه داشتن داده‌ها روی تراشه، کارایی را 10 برابر کُندتر می‌کند. از حدود 2K توکن (Token) به بعد، اتنشن پیش از آنکه متکی به توان پردازشی (Compute-bound) شود، متکی به پهنای باند حافظه (Memory-bound) می‌شود، و کرنل‌های سنتی 4 تا 10 برابر کمتر از توان واقعی سخت‌افزار از آن استفاده می‌کنند.

کاشی‌کاری

for each block of Q (about 128 x 128):
    load the Q tile on chip
    for each block of K, V:
        load the K and V tiles on chip
        scores for the tile
        running softmax aggregation
        accumulate into the output tile
    write the output tile once

ماتریس امتیازها در هر لحظه فقط به‌اندازه‌ی یک کاشی وجود دارد. گام رو به عقب (Backward Pass) به‌جای ذخیره‌سازی برخی مقادیر، آن‌ها را دوباره محاسبه می‌کند که خود دستاورد دومی در صرفه‌جویی حافظه است.

چرا نتیجه دقیق است؟

سافت‌مکس به بیشینه‌ی سراسری و مجموع کل اعضای یک سطر نیاز دارد، در حالی که کرنل در هر لحظه فقط یک کاشی را می‌بیند. کرنل یک جفت مقدار جاری، یعنی بیشینه و مجموع، را نگه می‌دارد؛ هر بار که کاشی جدیدی بیشینه را افزایش دهد، مجموع قبلی و خروجی جزئی پیشین را در تابع نماییِ «بیشینه‌ی قبلی منهای بیشینه‌ی جدید» ضرب و مقیاس آن‌ها را تنظیم می‌کند. در پایان، تک‌تک عبارت‌ها نسبت به همان بیشینه‌ی سراسری سنجیده و بر همان مجموع کل تقسیم می‌شوند. تعبیر درس این است: «خروجی بیتی-یکسان با اتنشن استاندارد»، البته با این قید که محاسبات 16 بیتی خاصیت شرکت‌پذیری ندارند، بنابراین تغییر ترتیب محاسبات می‌تواند بیت‌های آخر را جابه‌جا کند.

نسخه‌ها

نسخه سال تغییرات میزان افزایش سرعت روی سخت‌افزار مرجع
Flash 1 2022 کرنل کاشی‌کاری‌شده‌ی روی تراشه 2 برابر روی شتاب‌دهنده‌ی قدیمی‌تر
Flash 2 2023 موازی‌سازی بهتر، اولویت ترتیب علی (causal-first) 3 برابر روی همان سخت‌افزار
Flash 3 2024 ناهمزمانی و FP8 روی شتاب‌دهنده‌ی جدیدتر 1.5 تا 2 برابر
Flash 4 2026 پایپ‌لاین (Pipeline) پنج‌مرحله‌ای برای جدیدترین نسل اولویت با استنتاج، فقط گذر رو به جلو (forward pass) در زمان عرضه

به همکارتان چه بگویید؟

هر دو کرنل را روی ورودی‌های یکسان اجرا کنید و خروجی‌ها را با هم بسنجید. تفاوت آن‌ها در حد گرد کردن محاسبات 16 بیتی است؛ یعنی دقیقاً همان نویزی که از تغییر اندازه‌ی دسته (batch) می‌گیرید، نه تغییری در خود مدل.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا کرنل علاوه بر مجموع جاری، بیشینه‌ی جاری را هم نگه می‌دارد؟ انتظار می‌رود: برای پایداری عددی (Numerical stability)؛ توان‌رسانی امتیازهای خام سرریز می‌کند، بنابراین هر نمایی نسبت به بیشینه‌ی دیده‌شده تا آن لحظه محاسبه می‌شود و در صورت تغییر آن، مقیاسش دوباره تنظیم می‌شود.
  • سطح 3: چرا در طول آموزش، مقادیر دوباره محاسبه می‌شوند و خروجی سافت‌مکس ذخیره نمی‌شود؟ انتظار می‌رود: ذخیره‌ی آن به‌معنای مادی‌سازی و ساخت کامل ماتریس N در N است؛ یعنی دقیقاً همان چیزی که کرنل از آن پرهیز می‌کند.
  • سطح 4: جدیدترین نسخه در زمان عرضه فقط شامل گذر رو به جلو است. این موضوع برای پشته‌ی نرم‌افزاری شما چه معنایی دارد؟ انتظار می‌رود: بخش سرویس‌دهی (serving) می‌تواند از آن استفاده کند، اما بخش آموزش تا زمان عرضه‌ی کرنل گام رو به عقب، از نسخه‌ی قبلی استفاده خواهد کرد.
  • سطح 4: آیا خروجی در اندازه‌های مختلف دسته یکسان است؟ انتظار می‌رود: بیت‌به‌بیت یکسان نیست، چرا که در محاسبات 16 بیتی ترتیب تقلیل (reduction) تغییر می‌کند؛ این مسئله به معین بودن محاسبات (determinism) مربوط است، نه تقریبی بودن روش.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «برای سبک‌تر شدن کار، وزن‌های اتنشن کوچک را حذف می‌کند.» چیزی حذف نمی‌شود؛ تک‌تک کلیدها از طریق مجموع جاری اثر خود را می‌گذارند.
  • «فقط برای طول زمینه‌ی بسیار طولانی مفید است.» این روش هر زمان که اتنشن متکی به پهنای باند حافظه باشد کمک می‌کند، و بر اساس گزارش درس، سرعت اجرا را برای طول‌های معمولی روی شتاب‌دهنده‌ی قدیمی‌تر 2 تا 4 برابر می‌کند.
  • «تعداد فلاپس‌های (FLOPs) اتنشن را کاهش می‌دهد.» محاسبات ریاضی دقیقاً همان است؛ صرفه‌جویی فقط در ترافیک حافظه اتفاق می‌افتد.

کجای دوره آموزش داده می‌شود

درس کش کلید-مقدار و فلش اتنشن کاشی‌کاری، سافت‌مکس جاری و جدول نسخه‌ها را توضیح می‌دهد.