این پیادهسازی ساده از یک گام دیکودینگ حدسی (Speculative Decoding) را از متن درس بررسی کنید. در اینجا q_model مدل اعتبارسنج (Verifier) و p_model مدل پیشنویس (draft) است؛ هر کدام با گرفتن یک پیشوند، بردار احتمال توکن بعدی را برمیگردانند.
def spec_step(prefix, q_model, p_model, N, rng):
drafts, p_probs = [], []
ctx = list(prefix)
for _ in range(N):
p_dist = p_model(ctx)
d = sample(p_dist, rng)
drafts.append(d)
p_probs.append(p_dist[d])
ctx.append(d)
q_dists = [q_model(prefix + drafts[:i]) for i in range(N + 1)]
for i, d in enumerate(drafts):
u = rng.random()
if u < min(1.0, q_dists[i][d] / p_probs[i]):
prefix = prefix + [d]
else:
res = residual_dist(q_dists[i], p_model(prefix))
prefix = prefix + [sample(res, rng)]
return prefix
return prefix + [sample(q_dists[N], rng)]
چرا q_dists شامل 1 + N عضو است؟ اگر اولین توکن پیشنویس در آزمون رد شود چه اتفاقی میافتد؟ و چرا توزیع مانده (residual) بهجای p_probs[i] از p_model(prefix) استفاده میکند؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
مدل اعتبارسنج برای تکتک موقعیتهای پیشنویسشده بهعلاوهی یک موقعیت اضافه توزیع احتمال تولید میکند؛ یعنی در مجموع 1 + N توزیع. دلیلش این است که اگر تمام توکنهای پیشنویس پذیرفته شوند، آن توزیع اضافی بدون هیچ هزینهی محاسباتی اضافهای برای اعتبارسنج، یک توکن پاداش (Bonus Token) به ما میدهد. با رخ دادن اولین رد در موقعیت i، کد از توزیع مانده (بخش مثبت تفاضل توزیع اعتبارسنج از مدل پیشنویس، پس از نرمالسازی مجدد) نمونهگیری میکند، آن توکن را به انتهای خروجی میافزاید و خارج میشود؛ در نتیجه همهی پیشنویسهای بعدی دور ریخته میشوند. محاسبهی مانده به کل توزیع احتمال مدل پیشنویس در آن موقعیت (یک بردار) نیاز دارد، در حالی که p_probs[i] فقط احتمال اسکالر همان توکنی را نگه داشته بود که پیشنویس شده است.
پاسخ کامل
چرا این قاعده دقیق و بینقص است؟
پذیرش یک توکن پیشنویس با احتمال min(1, q(d) / p(d)) و در غیر این صورت، نمونهگیری از (q - p) که مقادیر منفی آن روی صفر محدود و دوباره نرمال شده است، خروجیهایی تولید میکند که توزیع آنها دقیقاً منطبق بر q است. این قضیه صرفنظر از اینکه کیفیت p چقدر پایین باشد صادق است: یک پیشنویس ضعیفتر فقط دفعات بیشتری رد میشود، اما توزیع خروجی نهایی ذرهای تغییر نمیکند. تنها دلیلی که استفاده از این روش را در محیط عملیاتی (Production) مجاز میکند همین ویژگی است. این روش یک بهینهسازی (Optimization) تاخیر (Latency) بدون هیچگونه افت کیفیت است.
چرا 1 + N توزیع از مدل اعتبارسنج؟
از مدل اعتبارسنج دربارهی پیشوند بههمراه i توکن پیشنویس اول، به ازای i از صفر تا N، پرسوجو میشود. N توزیع اول برای قضاوت دربارهی پیشنویسها هستند. آخرین توزیع، توزیع خودِ مدل اعتبارسنج برای توکن بعدی، پس از هر N توکن پیشنویس است. اگر همهی پیشنویسها پذیرفته شوند، این توزیع بدون هیچ هزینهای در دسترس است و این گام با یک بار اجرای اعتبارسنج، 1 + N توکن تولید میکند. در این کد آموزشی، این 1 + N فراخوانی در واقع نشاندهندهی یک گذر رو به جلو (forward pass) در قالب یک دسته (batch) روی ترکیب پیشوند و پیشنویسها هستند.
شاخهی رد توکن (Rejection branch)
پس از اولین رد، بلافاصله خروجی را برگردانید. موقعیتهای بعد از آن بر اساس متنی پیشنویس شدهاند که حالا میدانیم نادرست بوده است؛ بنابراین توزیعهای اعتبارسنج برای آن موقعیتها مربوط به دنبالهای که در حال تولید آن هستیم نخواهند بود. هر گام همیشه حداقل یک توکن (نمونهی بهدستآمده از توزیع مانده) و حداکثر 1 + N توکن تولید میکند.
بخش مانده به بردار نیاز دارد
تابع residual_dist(q, p) دو توزیع را درایهبهدرایه از هم کم میکند، مقادیر منفی را روی صفر میبندد و مجدداً مجموع را نرمال میکند. مقدار p_probs[i] تنها یک عدد است: احتمال مدل پیشنویس برای همان توکنی که پیشنویس شده بود؛ این مقدار برای آزمون پذیرش کافی است، اما برای محاسبهی مانده نه. فراخوانی p_model(prefix) توزیع کامل مدل پیشنویس را در موقعیتی که در حال اصلاح است دوباره محاسبه میکند. در یک پیادهسازی واقعی، توزیعهای کامل مدل پیشنویس از همان حلقهی پیشنویس نگه داشته میشوند تا نیازی به محاسبهی مجدد نباشد.
حالت حریصانه (Greedy)
در دمای صفر، این قاعده تبدیل به یک مقایسهی ساده میشود: اگر توکن پیشنویس برابر با argmax مدل اعتبارسنج بود آن را بپذیر؛ در غیر این صورت همان argmax را تولید کن و متوقف شو.
روش آزمایش آن
این گام را 10,000 بار اجرا کنید و هیستوگرام توکنهای تولیدشده را با نمونهگیری مستقیم از q مقایسه کنید؛ یک آزمون کایاسکوئر (chi-square) در محدودهی خطای نمونهگیری قبول میشود. سپس توزیع p را از q دور کنید و ببینید که چطور نرخ پذیرش (Acceptance rate) افت میکند، در حالی که هیستوگرام خروجی کاملاً دستنخورده باقی میماند.
سؤالهای تکمیلی مصاحبهگر
- سطح 3: اگر
p_probs[i]صفر باشد و کد بر آن تقسیم کند، آیا چنین اتفاقی ممکن است رخ دهد؟ پاسخ مورد انتظار: خیر، توکن از خود p نمونهگیری شده بنابراین احتمالش مثبت است؛ با این حال نسخهی محیط عملیاتی باز هم از تقسیم محافظت میکند و در صورت صفر بودن p، توکن را میپذیرد. - سطح 3: تابع
residual_distچه زمانی بر صفر تقسیم میکند و در آن حالت باید چه خروجیای بدهد؟ پاسخ مورد انتظار: زمانی که q در هیچ نقطهای بزرگتر از p نباشد؛ یعنی دو توزیع کاملاً برابر باشند؛ در این حالت باید خود q را برگرداند. - سطح 4: یک گذر دستهای واحد در مدل اعتبارسنج، چه تاثیری روی کلیدها و مقادیر ذخیرهشدهی آن میگذارد؟ پاسخ مورد انتظار: طول آنها را به اندازهی N درایه افزایش میدهد؛ بنابراین رد شدن پیشنویس در موقعیت j باید طول منطقی را به پیشوند پذیرفتهشده بهعلاوهی توکن اصلاحی به عقب برگرداند (roll back کند).
- سطح 4: یک گام در کمترین و بیشترین حالت چند توکن تولید میکند؟ پاسخ مورد انتظار: حداقل یک توکن که همان نمونهی مانده در صورت رد بلافاصله است؛ حداکثر 1 + N توکن وقتی که همهی پیشنویسها تایید شوند و توکن پاداش نیز نمونهگیری شود.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «هر زمان که مدل اعتبارسنج احتمالی بالاتر از یک آستانه (Threshold) به پیشنویس داد، آن را بپذیرید.» تعیین آستانه توزیع خروجی را تغییر میدهد؛ آزمون نسبت بههمراه بخش مانده همان چیزی است که توزیع را دقیق نگه میدارد.
- «در صورت رد شدن، دوباره از توزیع اعتبارسنج در همان موقعیت نمونهگیری کنید.» این کار وزن توکنهایی را که مدل پیشنویس از قبل ترجیح داده بود بیش از حد بالا میبرد؛ توزیع مانده دقیقاً همان وزن اضافه را حذف میکند.
- «برای احتیاط، توکن پاداش را کنار بگذارید.» این توکن نمونهای از توزیع خودِ مدل اعتبارسنج است و هیچ هزینهی اضافهای ندارد؛ حذف کردن آن بهمعنای هدر دادن یک توکن در هر گام است.
کجای دوره آموزش داده میشود
در درس دیکودینگ حدسی این گام و بررسی توزیع آن آموزش داده شده است، و در درس دیکودینگ حدسی از فاز 10 حالت حریصانه و قاعدهی رد توکن بیان شده است.