سؤال مصاحبه

انتخاب فرمت 16 بیتی مناسب برای آموزش و استنتاج

Pick a 16-bit format for training and one for inference

  • سطح ۳: ارشد
  • بده‌بستان
  • ۱۲ دقیقه

استک آموزشی شما می‌تواند با float16 یا bfloat16 اجرا شود. هم‌تیمی‌تان float16 را انتخاب می‌کند چون ارقام بیشتری را نگه می‌دارد. شما برای آموزش کدام فرمت را انتخاب می‌کنید، برای استنتاج کدام را، و یکی از این دو به چه سازوکار اضافه‌ای نیاز دارد؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

برای آموزش bfloat16 را انتخاب کنید. این فرمت مثل float32 توان 8 بیتی دارد؛ بنابراین همان دامنه‌ی عددی را تا حدود 3.4e38 پوشش می‌دهد و با جهش ناگهانی اکتیویشن‌ها، لاجیت‌ها و گرادیان‌ها به فراتر از 65,504 دچار سرریز نمی‌شود. فرمت float16 با 10 بیت مانتیس دقت بیشتری دارد، اما توان 5 بیتی آن روی 65,504 محدود می‌شود و گرادیان‌های زیرِ حدود 6e-8 را دچار زیرریز می‌کند؛ به همین دلیل برای آموزش به مقیاس‌بندی تابع زیان نیاز دارد. در استنتاج، از آنجا که مقادیر کران‌دار هستند و دقت اهمیت بیشتری دارد، float16 انتخاب معمول به‌شمار می‌رود.

پاسخ کامل

ساختار دو فرمت

float16:   [1 sign] [5 exponent]  [10 mantissa]   max about 65,504
bfloat16:  [1 sign] [8 exponent]  [7 mantissa]    max about 3.4e38

مانتیس تعیین‌کننده‌ی دقت است و توان تعیین‌کننده‌ی دامنه. فرایند آموزش به دامنه‌ی عددی نیاز دارد: پرش ناگهانی تابع زیان، لاجیت بزرگ یا گرادیان ناچیز همگی فاصله‌ی زیادی با عدد 1 دارند. مقادیر استنتاج با وزن‌های آموزش‌دیده مهار می‌شوند؛ بنابراین سه بیت مانتیسِ اضافه‌ی float16 در آنجا ارزش بسیار بیشتری دارد.

چه مشکلاتی در float16 پیش می‌آید؟

  • سرریز: اگر یک اکتیویشن از 65,504 فراتر برود به inf تبدیل می‌شود و inf تمام مقادیر پایین‌دست را آلوده می‌کند.
  • زیرریز: گرادیان‌ها اغلب حول‌وحوش 1e-8 یا کوچک‌تر هستند و float16 هر مقداری زیرِ حدود 6e-8 را به صفر گرد می‌کند. وزن‌ها بدون هیچ خطایی از حرکت می‌ایستند.

مقیاس‌بندی تابع زیان

روش دقت ترکیبی (mixed precision) یک نسخه اصلی (master copy) از وزن‌ها را با فرمت float32 نگه می‌دارد، گام‌های رو به جلو و گام‌های رو به عقب را در فرمت 16 بیتی اجرا می‌کند و محاسبه‌ی تابع زیان (loss) را در float32 انجام می‌دهد. برای اینکه گرادیان‌های float16 بالای مرز زیرریز بمانند، پیش از گام رو به عقب، تابع زیان در یک ثابت بزرگ مثل 1024 ضرب می‌شود تا همه‌ی گرادیان‌ها 1024 برابر شوند؛ سپس قبل از به‌روزرسانی، گرادیان‌ها بر همان ثابت تقسیم می‌شوند. مقدار به‌روزرسانی دست‌نخورده باقی می‌ماند. مقیاس‌بندی پویای تابع زیان با مقداری بالا آغاز می‌شود (در این درس، 65536)؛ با مشاهده‌ی اولین گرادیانِ inf مقیاس را نصف می‌کند، و پس از یک رشته گام بدون خطا دوباره آن را دو برابر می‌سازد.

چرا bfloat16 به بیشتر این کارها نیاز ندارد؟

فرمت bfloat16 در واقع همان 16 بیت بالاییِ float32 است: بیت‌های پایینیِ مانتیس دور ریخته می‌شوند و توان دست‌نخورده می‌ماند. دامنه‌ی این فرمت کل طیف گرادیان را پوشش می‌دهد؛ به همین دلیل معمولاً نیازی به مقیاس‌بندی تابع زیان ندارد و تبدیل آن صرفاً یک کوتاه‌سازی است. بهای این مزیت کاهش دقت است: حدود 2 تا 3 رقم اعشار، در مقایسه با 3 تا 4 رقم در float16.

نشانه‌هایی که به این مشکل اشاره دارند

در فهرست باگ‌های این درس، سه مورد ناشی از همین مسئله است: افت 1 تا 3 درصدیِ دقت اعتبارسنجی نسبت به مقاله پس از رفتن روی float16، رسیدن نُرم گرادیان برخی لایه‌ها به 0.0، و واگرایی کامل فرایند پس از مهاجرت از float32 به float16. راه‌حل این مشکلات، مقیاس‌بندی تابع زیان یا مهاجرت به bfloat16 است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا گرادیان‌های کوچک در float16 ناپدید می‌شوند ولی در bfloat16 این اتفاق نمی‌افتد؟ پاسخ مورد انتظار: کوچک‌ترین مقادیر نرمال در float16 نزدیک به 6e-8 هستند و گرادیان‌های کوچک‌تر به 0 گرد می‌شوند؛ اما توان bfloat16 به دامنه‌ی float32 می‌رسد.
  • سطح 3: وقتی گرادیان به inf تبدیل می‌شود، مقیاس‌بندی پویای تابع زیان چه کار می‌کند؟ پاسخ مورد انتظار: گام فعلی را رد می‌کند، مقیاس را نصف می‌کند، و پس از یک رشته گام بدون خطا دوباره آن را دو برابر می‌سازد.
  • سطح 4: مدل را از float32 به float16 بردید و بدون هیچ خطایی، دقت اعتبارسنجی چند درصد افت کرد. چه اتفاقی افتاده است؟ پاسخ مورد انتظار: زیرریز گرادیان به‌روزرسانی‌های کوچک را صفر کرده است؛ باید مقیاس‌بندی تابع زیان را فعال کنید یا سراغ bfloat16 بروید.
  • سطح 4: چرا تبدیل float32 به bfloat16 کم‌هزینه است؟ پاسخ مورد انتظار: چون bfloat16 در واقع همان 16 بیت بالایی float32 است؛ بنابراین تبدیلْ فقط بیت‌های پایینی مانتیس را حذف می‌کند و توان دست‌نخورده می‌ماند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «بیت‌های مانتیس بیشتر یعنی آموزش بهتر، پس float16 برنده است.» فرایند آموزش با دامنه‌ی عددی محدود می‌شود؛ جهش لاجیت به بالای 65,504 در float16 تبدیل به inf می‌شود، اما در bfloat16 مشکلی ندارد.
  • «مقیاس‌بندی تابع زیان نتیجه‌ی آموزش را تغییر می‌دهد.» تقسیم گرادیان‌ها بر همان ضریب پیش از به‌روزرسانی، همان به‌روزرسانی را به دست می‌دهد؛ مقیاس‌بندی فقط مقادیر کوچک را از کفِ زیرریز بالاتر می‌آورد.
  • «در همه‌جا، از جمله استنتاج، از bfloat16 استفاده کنید.» مقادیر در استنتاج کران‌دار هستند و دقت اضافه‌ی float16 در آنجا به کار می‌آید؛ این درس float16 را پیش‌فرض استنتاج قرار داده است.

کجای دوره آموزش داده می‌شود

درس پایداری عددی این فرمت‌ها را مقایسه می‌کند، مقیاس‌بندی تابع زیان را توضیح می‌دهد و باگ‌های دقت ترکیبی را برمی‌شمارد.