سؤال مصاحبه

تحلیل سافت‌مکس آنلاین و پیدا کردن خط آسیب‌پذیر کد

Read the running softmax and find the fragile line

  • سطح ۳: ارشد
  • کدخوانی
  • ۱۲ دقیقه

این تابع از متن درس را بررسی کنید. این تابع خروجی اتنشن (Attention) را برای یک کوئری (Query) در برابر کلیدها و مقادیر در بلوک‌های 4تایی محاسبه می‌کند.

def tiled_softmax_dot(q, K, V, tile=4):
    m = float("-inf")
    s = 0.0
    out = [0.0] * len(V[0])
    for start in range(0, len(K), tile):
        k_block = K[start:start + tile]
        v_block = V[start:start + tile]
        scores = [sum(qi * ki for qi, ki in zip(q, k)) for k in k_block]
        new_m = max(m, *scores)
        exp_old = math.exp(m - new_m) if m != float("-inf") else 0.0
        exp_new = [math.exp(sc - new_m) for sc in scores]
        s = s * exp_old + sum(exp_new)
        for j in range(len(out)):
            out[j] = out[j] * exp_old + sum(e * v[j] for e, v in zip(exp_new, v_block))
        m = new_m
    return [o / s for o in out]

نقش exp_old را توضیح دهید، استدلال کنید که چرا نتیجه با محاسبه‌ی یک‌باره‌ی softmax(qK^T) V برابر است، و ورودی خاصی را مشخص کنید که باعث تولید مقدار NaN در این کد می‌شود.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

این حلقه، یک بیشینه‌ی پویا m و یک مجموع پویا s را روی تمام بلوک‌هایی که تا اینجا دیده شده‌اند نگه می‌دارد. وقتی یک بلوک مقدار بیشینه را افزایش می‌دهد، exp_old برابر است با تابع نماییِ تفاضل بیشینه‌ی قبلی از بیشینه‌ی جدید؛ این متغیر مجموع و خروجیِ جزئی را به‌گونه‌ای بازتنظیم می‌کند (Rescale) که تمام جملات قبلی بر حسب بیشینه‌ی جدید بیان شوند. بلوکی که بیشینه را افزایش ندهد، مقدار exp_old را برابر با 1 قرار می‌دهد. در پایان، وزن هر درایه برابر است با نماییِ امتیاز آن منهای بیشینه‌ی سراسری، تقسیم بر مجموع سراسری؛ که این دقیقاً همان سافت‌مکس پایدار از نظر عددی است. ورودی آسیب‌پذیر، بلوک اولی است که همه‌ی امتیازهای آن منفی بی‌نهایت باشند (مثل یک بلوک کاملاً ماسک‌شده): در این حالت new_m همان منفی بی‌نهایت باقی می‌ماند و عبارت exp_new تفاضل منفی بی‌نهایت از منفی بی‌نهایت را ارزیابی می‌کند که حاصل آن NaN است.

پاسخ کامل

پایا (Invariant)

پس از پردازش هر بلوک، متغیر out شامل مجموع exp(score - m) * v روی همه‌ی کلیدهایی است که تا این لحظه دیده شده‌اند، و s نیز مجموع exp(score - m) را نگه می‌دارد؛ هر دو بر مبنای m فعلی هستند. اتحاد جبری‌ای که درستی این بازتنظیم را تضمین می‌کند این است:

exp(score - m_new) = exp(score - m_old) * exp(m_old - m_new)

بنابراین، ضرب انباشت‌گرهای (Accumulator) قبلی در exp(m_old - m_new)، نقطه‌ی مرجع آن‌ها را به مقدار جدید تغییر می‌دهد؛ بدون آنکه نیاز باشد دوباره به تک‌تک امتیازها دسترسی پیدا کنیم. بلوک اول هیچ مرجع قبلی ندارد، به همین دلیل وقتی m هنوز منفی بی‌نهایت است، exp_old صفر می‌شود: انباشت‌گرهای خالی هیچ سهمی در نتیجه ندارند.

چرا تقسیم نهایی دقیق است؟

تقسیم بر s فقط یک بار، در انتها و با حضور بیشینه‌ی سراسری در توانِ تمام جملات نمایی انجام می‌شود. این دقیقاً همان تعریف سافت‌مکسِ پایدار از نظر عددی روی کل سطر است؛ بدون آنکه نیاز باشد کل سطر را به‌طور هم‌زمان در حافظه نگه داریم. مجموعه‌ی کاری (Working set) در اینجا صرفاً یک بلوک از کلیدها و مقادیر و یک بردار خروجی است. کرنل (Kernel) واقعی این کار را به‌ازای هر بلوک از کوئری‌ها انجام می‌دهد، بلوک‌های کلید و مقدار را به‌صورت جریانی از حافظه‌ی روی تراشه (On-chip memory) عبور می‌دهد و هر تایل خروجی را فقط یک بار می‌نویسد.

خطای NaN

یک کرنل علّی (Causal) بلوک‌هایی را که کاملاً بالای قطر اصلی قرار می‌گیرند نادیده می‌گیرد؛ اما کرنلی که ماسک را با قرار دادن امتیازها روی منفی بی‌نهایت اعمال می‌کند، حتماً باید حالتی را که تمام امتیازهای درون یک بلوک منفی بی‌نهایت هستند مدیریت کند. در اینجا حاصل max(-inf, -inf, ...) منفی بی‌نهایت است، و عبارت exp(-inf - (-inf)) مقدار NaN تولید می‌کند که در ادامه مقادیر s و out را مسموم می‌سازد. راهکار محافظتی: اگر بیشینه‌ی یک بلوک منفی بی‌نهایت بود آن را نادیده بگیرید، یا پیش از محاسبه‌ی exp_new مقدار new_m را بررسی کنید.

مواردی که یک ارزیاب بررسی می‌کند

  1. برابری با سافت‌مکس یک‌باره روی ورودی‌های تصادفی، با در نظر گرفتن خطای مجاز ممیز شناور.
  2. بلوک دومی که امتیازهای آن همگی کمتر از بیشینه‌ی بلوک اول باشند؛ تا مسیری که در آن exp_old برابر 1 است آزموده شود.
  3. بلوکی که امتیازهای آن همگی بزرگ‌تر باشند؛ تا exp_old کمتر از 1 شود و جملات قبلی کوچک‌تر شوند.
  4. یک بلوک اولِ کاملاً ماسک‌شده، که نباید خروجی NaN تولید کند.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: انتخاب تایلِ کوچک‌تر چه هزینه و مزیتی دارد؟ پاسخ مورد انتظار: مراحل بازتنظیم بیشتر و بار محاسباتی بیشتر برای حلقه، در ازای مجموعه‌ی کاری کوچک‌تر روی تراشه؛ کرنل واقعی اندازه‌ی تایل را متناسب با حافظه‌ی روی تراشه تعیین می‌کند.
  • سطح 3: چرا در بلوک اول exp_old به‌جای 1 روی 0 تنظیم می‌شود؟ پاسخ مورد انتظار: جمله‌ی قبلی‌ای برای انتقال وجود ندارد؛ انباشت‌گرها خالی هستند و عبارت exp(-inf - new_m) نیز برای هر new_m متناهی در هر صورت برابر با صفر خواهد بود.
  • سطح 4: ماسک علّی (Causal mask) چگونه حلقه را در یک کرنل محیط عملیاتی (Production) تغییر می‌دهد؟ پاسخ مورد انتظار: بلوک‌هایی که کاملاً بالای قطر قرار دارند کلاً رد می‌شوند نه اینکه ماسک شوند؛ و در بلوک‌های نیمه‌ماسک‌شده، منفی بی‌نهایت پیش از محاسبه‌ی بیشینه روی تک‌تک درایه‌ها اعمال می‌شود.
  • سطح 4: گام رو به عقب (Backward pass) مقادیر سافت‌مکس مورد نیاز خود را از کجا می‌آورد؟ پاسخ مورد انتظار: به‌جای ذخیره‌ی ماتریس N در N، این مقادیر را با استفاده از بیشینه و مجموع سطریِ ذخیره‌شده دوباره محاسبه می‌کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «exp_old یک ضریب کاهشی مثل نرخ یادگیری (Learning rate) است.» خیر؛ این متغیر صرفاً تغییر دقیقِ نقطه‌ی مرجع است و خروجی آن کاملاً با فرمول یک‌باره یکسان است.
  • «می‌توانید امتیازها را ذخیره کنید و در انتها نرمال‌سازی را انجام دهید.» این کار مستلزم ذخیره‌ی کل سطر است؛ یعنی دقیقاً همان هزینه‌ی حافظه‌ای که کرنل برای جلوگیری از آن طراحی شده است.
  • «هر بلوک باید با مجموع خودش نرمال شود.» نرمال‌سازی به‌ازای هر بلوک، سافت‌مکس سراسری را برهم می‌زند؛ فقط تقسیم نهایی درست است.

کجای دوره آموزش داده می‌شود

درس کش کلید-مقدار و فلش اتنشن این تابع را به‌عنوان مرحله‌ی ساخت سافت‌مکس تایل‌بندی‌شده ارائه می‌دهد.