فیلتر هستهای (nucleus filter) زیر را برای بازبینی فرستادهاند، چون تیم محصول گزارش داده مقادیر کوچک p در برخی پرامپتها توزیعی خالی برمیگردانند:
def top_p_filter(logits, p):
probs = softmax(logits)
c = np.cumsum(probs)
out = np.where(c <= p, logits, -np.inf)
return out
دو باگ موجود را پیدا کنید و توضیح دهید که این فیلتر در یک نمونهگیر (sampler) کامل، چطور باید با دما (temperature) تعامل داشته باشد.
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
مجموع تجمعی (cumulative sum) بهجای ترتیب نزولی احتمال، به ترتیب واژگان محاسبه میشود؛ در نتیجه مجموعهی نگهداشتهشده اصلاً پیشوندِ محتملترین توکنها نیست. علاوهبر این، مقایسه بهگونهای است که توکنِ رسانندهی مجموع به p را هم حذف میکند؛ اتفاقی که با pهای کوچک هیچ توکنی باقی نمیگذارد و توزیع خالی تحویل میدهد. ابتدا بر اساس احتمال مرتب کنید، کوتاهترین پیشوندی را که مجموع احتمالاتش به p میرسد همراه با همان توکنِ عبورکننده نگه دارید، و فیلتر را روی لاجیتهای مقیاسشده با دما اجرا کنید.
پاسخ کامل
باگ اول: ترتیب توکنها
نمونهبرداری هستهای (nucleus sampling) کوچکترین مجموعهای از محتملترین توکنها را نگه میدارد که جرم احتمال آنها به p برسد. این کار مستلزم آن است که قبل از محاسبهی مجموع تجمعی، توکنها را بر اساس احتمال و از بیشترین به کمترین مرتب کنید. در ترتیب واژگان، مجموع تجمعی در نقطهای تصادفی به p میرسد؛ در نتیجه مجموعهی نگهداشتهشده فقط پیشوندی از واژگان است، نه پیشوندی از رتبهبندی احتمالات.
باگ دوم: توکنِ عبورکننده
توکنی که اضافه شدنش مجموع تجمعی را به p میرساند، جزئی از هسته است. اما مقایسهی اکید این توکن را حذف میکند. وقتی محتملترین توکن بهتنهایی جرمی بیشتر از p داشته باشد، هیچ توکنی از فیلتر رد نمیشود و سافتمکسِ (softmax) مقادیر منفی بینهایت برابر با NaN خواهد شد. پیشوند توکنها را تا اولین نمایهای (index) که مجموع در آن حداقل به p میرسد — و با احتساب خود همان نمایه — نگه دارید؛ اگر خطای گرد کردن مانع از رسیدن مجموع به p شد، همهی توکنها را حفظ کنید.
اصلاح کد
def top_p_filter(logits, p):
probs = softmax(logits)
order = np.argsort(-probs, kind="stable")
c = np.cumsum(probs[order])
cut = np.searchsorted(c, p, side="left")
keep = order[: min(cut + 1, logits.shape[0])]
out = np.full_like(logits, -np.inf)
out[keep] = logits[keep]
return out
مرتبسازی پایدار (stable sort) روی منفی احتمالات باعث میشود هنگام برابری مقدارها، نمایهی کوچکتر جلوتر بماند.
دما باید اول اعمال شود
یک نمونهگیر کامل ابتدا لاجیتها را بر دما تقسیم میکند، top-k را اعمال میکند، روی خروجیِ آن فیلتر top-p میگذارد و در پایان سافتمکس میگیرد. اگر دما را بعد از فیلترها اعمال کنید، هسته در دمای یک انتخاب میشود و عملاً گرم یا سرد کردن مدل، تأثیری کمتر از خواستهی کاربر خواهد داشت. در درس سرهمبندی مدل، نمونهبرداری هستهای بهعنوان مکمل حلقهی تولید متن با top-k آمده که بررسی میکند مجموع احتمالات نگهداشتهشده حداقل به p برسد.
سؤالهای تکمیلی مصاحبهگر
- سطح 3: چرا فیلتر بهجای احتمالات، لاجیتها را با منفی بینهایت برمیگرداند؟ پاسخ مورد انتظار: تا سافتمکسِ نهایی، توکنهای نگهداشتهشده را بازنرمالسازی کند و به توکنهای حذفشده دقیقاً احتمال صفر بدهد؛ همچنین امکان ترکیب top-k و top-p فراهم شود.
- سطح 3: اگر مقدار p برابر با یک باشد چه چیزهایی نگه داشته میشوند؟ پاسخ مورد انتظار: همهی توکنها؛ مگر اینکه خطای گرد کردن مانع رسیدن مجموع شود که در آن حالت هم قاعدهی نگهداشتن همهی توکنها اعمال میشود.
- سطح 4: وقتی هم top-k و هم top-p تنظیم شدهاند، کدامیک اول اعمال میشود و چرا ترتیب مهم است؟ پاسخ مورد انتظار: ابتدا top-k و سپس top-p روی بازماندهها؛ برعکس کردن این ترتیب میتواند مجموعهی متفاوتی را نگه دارد، چون جرم هسته روی کاندیداهای متفاوتی محاسبه خواهد شد.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «از مقایسهی اکید استفاده کنید تا هرگز از p فراتر نروید.» تعریف دقیق، کوچکترین پیشوندی است که به p میرسد؛ حذف توکنِ عبورکننده این تعریف را نقض میکند و میتواند به یک مجموعهی خالی ختم شود.
- «مجموع تجمعی را به ترتیب نمایه بگیرید؛ واژگان از قبل بر اساس بسامد مرتب شده است.» شناسههای توکنها برای یک بافت مشخص، بر اساس احتمال مرتب نیستند.
- «دما را بعد از فیلتر اعمال کنید تا هسته پایدار بماند.» در این صورت هسته در دمای اشتباه انتخاب میشود و پیچ تنظیم دما بخش عمدهی اثرش را از دست میدهد.
کجای دوره آموزش داده میشود
در درس سرهمبندی مدل GPT نمونهبرداری هستهای در کنار top-k در تمرینها گنجانده شده، و در تمرین نمونهبرداری تکلیف توکنِ عبورکننده و ترتیب عملیات مشخص شده است.