یک مدل زبانی، امتیاز جمله را از حاصلضرب احتمال تکتک کلمات آن حساب میکند. برای جملات طولانی، این امتیاز دقیقاً صفر میشود و دیگر نمیتوان دو جملهی طولانی را با هم مقایسه کرد. کجای کار ایراد دارد و به جای آن چه چیزی را باید محاسبه کنید؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
حاصلضرب تعداد زیادی احتمال کوچک، در محاسبات ممیز شناور (floating point) دچار زیرریز (underflow) شده و به صفر میل میکند. به جای ضرب، لگاریتم احتمالها را با هم جمع کنید؛ با این کار حاصلجمع همیشه یک عدد منفیِ متناهی باقی میماند. هرچه این مجموع منفیتر باشد، احتمال رخ دادن جمله کمتر است و ترتیب رتبهبندی جملات نیز تغییری نمیکند.
پاسخ کامل
چرا حاصلضرب به بنبست میخورد
احتمال هر کلمه کمتر از 1 است، و معمولاً فاصلهی بسیار زیادی هم با 1 دارد. در این درس میبینیم که این حاصلضرب پس از حدود 30 عبارت (کلمه) به 0.0 میرسد. به محض اینکه حاصلضرب صفر شود، تمام جملات طولانیتر امتیازی یکسان میگیرند و مقایسهی آنها با یکدیگر کاملاً بیمعنی میشود.
لگاریتم چه کار میکند
لگاریتم حاصلضرب را به حاصلجمع تبدیل میکند: log(a × b) برابر است با log(a) + log(b). از آنجا که هر احتمال حداکثر 1 است، هر جمله (term) در جمع حداکثر برابر با 0 خواهد بود؛ بنابراین حاصلجمع همیشه عددی منفی است که با افزایش طول جمله اندازهی آن بزرگتر میشود، اما هرگز دچار زیرریز نخواهد شد. در این درس به یک نمونهی افراطی اشاره شده است: 50 کلمه با احتمال 0.01، احتمال خامِ 10 به توان منهای 100 تولید میکنند، در حالی که لگاریتم احتمال آنها حدوداً منهای 230.26 میشود.
در حال حاضر کجا از آن استفاده میکنید
تابع زیان آنتروپی متقاطع (cross-entropy loss)، همان منفیِ لگاریتم احتمالِ کلاسِ درست است. فرایند آموزش یک دستهبند یا یک مدل زبانی از قبل در فضای لگاریتمی پیش میرود. تابع log-softmax لگاریتم احتمالها را مستقیماً از روی لاجیتها (logits) بهدست میآورد؛ در نتیجه اصلاً کار به تشکیل آن احتمالهای بسیار ریز نمیکشد.
مقایسهی جملات با یکدیگر
حتی اگر تکتک کلمات یک جملهی طولانی بسیار محتمل باشند، باز هم مجموع لگاریتم احتمالهای آن منفیتر خواهد بود. برای مقایسهی یک جملهی کوتاه با یک جملهی بلند، این مقدار را بر تعداد توکنها تقسیم کنید یا پرپلکسیتی (perplexity) را گزارش دهید؛ پرپلکسیتی همان تابع نماییِ میانگینِ منفیِ لگاریتم احتمال است.
سؤالهای تکمیلی مصاحبهگر
- سطح 1: چرا لگاریتم احتمال همیشه صفر یا منفی است؟ پاسخ مورد انتظار: احتمال همیشه بین 0 و 1 است و لگاریتم چنین عددی حداکثر 0 میشود.
- سطح 2: چگونه دو جمله با طولهای متفاوت را مقایسه میکنید؟ پاسخ مورد انتظار: به جای مجموع خام، میانگین لگاریتم احتمال به ازای هر توکن یا پرپلکسیتی آنها را مقایسه میکنیم.
- سطح 2: این مفهوم در کجای تابع زیان دیده میشود؟ پاسخ مورد انتظار: آنتروپی متقاطع همان منفیِ لگاریتم احتمال کلاس درست است؛ بنابراین فرایند آموزش در حال حاضر در فضای لگاریتمی اجرا میشود.
- سطح 3: چگونه میتوان بدون تشکیل اولیهی احتمالها، مستقیماً از لاجیتها به لگاریتم احتمالها رسید؟ پاسخ مورد انتظار: با تابع log-softmax، که مقدار log-sum-exp لاجیتها را از هر لاجیت کم میکند.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «از نوع دادهی اعشاری با بازهی بزرگتر (float wider) استفاده کنید تا مشکل حاصلضرب حل شود.» قالب عریضتر فقط نقطهی وقوع زیرریز را جابهجا میکند. پنجاه کلمه با احتمال 0.01 مقدار 10 به توان منهای 100 را میدهند و جملات طولانیتر باز هم مقدار را پایینتر میبرند.
- «احتمالها را در هم ضرب کنید و در انتها لگاریتم بگیرید.» حاصلضرب قبل از رسیدن به مرحلهی لگاریتم صفر شده است و لگاریتم صفر هم برابر با منهای بینهایت است.
- «کف حداقلی برای هر احتمال بگذارید (clip کنید).» این کار امتیاز تمام کلمات نادر را تغییر میدهد و همچنان برای جملاتی که به اندازهی کافی طولانی باشند، دچار زیرریز میشود.
کجای دوره آموزش داده میشود
درس احتمال مباحث مربوط به زیرریز، قوانین لگاریتم و تابع log-softmax را توضیح میدهد.