سؤال مصاحبه

پیاده‌سازی مرحله‌ی نمونه‌برداری در حلقه‌ی تولید متن

Write the sampling step of a generation loop

  • سطح ۲: میانی
  • پروژه‌ی خانگی
  • ۲۰ دقیقه

با داشتن لاجیت‌های آخرین جایگاه، دما (temperature)، مقدار k و یک مولد تصادفی دانه‌دار (seeded)، تابعی بنویسید که توکن بعدی را انتخاب کند. ترتیب عملیات، نحوه‌ی شکستن تساوی‌ها (tie-breaking) و چگونگی استفاده از دقیقاً یک عدد تصادفی در فرایند نمونه‌برداری را مشخص کنید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

لاجیت‌ها را بر دما تقسیم کنید، k مقدار بزرگ‌تر را نگه دارید و بقیه را منفی بی‌نهایت بگذارید، تابع سافت‌مکس (softmax) را اعمال کنید و یک اندیس از توزیع حاصل بیرون بکشید. در شرایط تساوی، اندیس کوچک‌تر اولویت دارد. در فرایند انتخاب، مولد تصادفی تنها یک بار فراخوانی می‌شود، مجموع تجمعی احتمالات به ترتیب واژگان محاسبه می‌گردد و اولین اندیسی که مقدار تجمعی آن از عدد تصادفی بیشتر شود برگردانده خواهد شد.

پاسخ کامل

کد پیاده‌سازی

def top_k_filter(logits, k):
    if k >= logits.shape[0]:
        return logits.copy()
    order = np.argsort(-logits, kind="stable")
    keep = order[:k]
    out = np.full_like(logits, -np.inf)
    out[keep] = logits[keep]
    return out


def sample(logits, rng, temperature=1, top_k=None):
    z = logits / temperature
    if top_k is not None:
        z = top_k_filter(z, top_k)
    probs = softmax(z)
    u = rng.random()
    c = np.cumsum(probs)
    hits = np.nonzero(u < c)[0]
    if hits.size:
        return int(hits[0])
    return int(np.nonzero(probs > 0)[0][-1])

ترتیب عملیات

ابتدا دما، سپس فیلتر و در نهایت سافت‌مکس. فیلتر حتماً باید لاجیت‌های مقیاس‌شده را ببیند؛ چون تغییر مقیاس مشخص می‌کند که در صورت افزودن حد آستانه‌ی top-p در مراحل بعد، کدام توکن‌ها بخش عمده‌ی جرم احتمالاتی را به خود اختصاص می‌دهند. سافت‌مکس در آخرین مرحله اجرا می‌شود تا احتمال توکن‌های حذف‌شده دقیقاً صفر شود و مجموع احتمالات توکن‌های باقی‌مانده دوباره به یک برسد (بازبه‌هنجارسازی یا renormalize شود).

تساوی‌ها

مرتب‌سازی منفیِ لاجیت‌ها با استفاده از یک مرتب‌سازی پایدار (stable sort)، باعث می‌شود در مقادیر برابر، اندیس کوچک‌تر جلوتر قرار بگیرد. اگر ابتدا صعودی مرتب کنید و بعد نتیجه را برعکس کنید، این ترتیب معکوس می‌شود؛ یعنی اندیس بزرگ‌تر برنده خواهد شد و خروجی در هر تساوی با پیاده‌سازی مرجع تفاوت پیدا می‌کند.

استفاده از تنها یک عدد تصادفی

یک مولد دانه‌دار فقط در صورتی نمونه‌های بازتولیدپذیر تولید می‌کند که در هر بار فراخوانی، دقیقاً به یک اندازه عدد تصادفی مصرف کند. این تابع یک عدد یکنواخت (uniform) می‌خواند، آن را با مجموع تجمعی مقایسه می‌کند و اولین نقطه‌ی عبور را برمی‌گرداند. خطاهای گرد کردن ممکن است مقدار تجمعی آخر را ذره‌ای کمتر از 1 باقی بگذارد؛ بنابراین طرح پشتیبان (fallback) به‌جای خطا دادن، آخرین توکن با احتمال مثبت را برمی‌گرداند.

دستکاری نکردن ورودی

فیلتر مقادیر را درون یک آرایه‌ی جدید می‌نویسد. نوشتنِ منفی بی‌نهایت روی لاجیت‌های ورودی فراخواننده، مقادیری را که مرحله‌ی بعد یا لاگ‌ها به آن نیاز دارند از بین می‌برد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: مقدار top-k برابر با 1 چه نتیجه‌ای می‌دهد؟ پاسخ مورد انتظار: رمزگشایی حریصانه (greedy decoding)، یعنی در هر گام همان argmax انتخاب می‌شود.
  • سطح 2: چرا فیلتر باید قبل از سافت‌مکس اجرا شود نه بعد از آن؟ پاسخ مورد انتظار: صفر کردن احتمالات بعد از سافت‌مکس توزیعی باقی می‌گذارد که مجموع آن 1 نمی‌شود، مگر اینکه دوباره بازبه‌هنجار شود؛ در حالی که ماسک کردن لاجیت‌ها این کار را خودبه‌خود انجام می‌دهد.
  • سطح 3: درس سرهم‌بندی مدل چگونه طول زمینه (context length) را در طول تولید متن ثابت نگه می‌دارد؟ پاسخ مورد انتظار: وقتی مجموع پرامپت و توکن‌های تولیدشده از طول زمینه فراتر برود، قدیمی‌ترین توکن‌ها حذف می‌شوند تا پنجره‌ی فعال در محدوده‌ی مجاز جا بگیرد.
  • سطح 3: چطور کاری می‌کنید که دو بار اجرای مدل با یک دانه (seed) متن کاملاً یکسانی تولید کند؟ پاسخ مورد انتظار: مولد تصادفی یکسان، یک بار نمونه‌برداری در هر گام، قانون تساوی یکسان و دمای یکسان؛ هر عدد تصادفیِ اضافه، تمام توکن‌های بعدی را جابه‌جا می‌کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «صدا زدن متد choice از مولد تصادفی با توزیع احتمالات.» این کار جواب می‌دهد، اما در نسخه‌های مختلف تعداد متفاوتی عدد تصادفی مصرف می‌کند و توافقِ «یک بار نمونه‌برداری» را که تست‌ها روی آن حساس هستند می‌شکند.
  • «اعمال دما بعد از فیلتر.» در این حالت فیلتر توکن‌ها را در دمای 1 انتخاب می‌کند و تغییر این تنظیم کمتر از حد انتظار اثر می‌گذارد.
  • «مرتب‌سازی نزولی از طریق معکوس کردن مرتب‌سازی صعودی.» در این روش لاجیت‌های برابر، اندیس بزرگ‌تر را نگه می‌دارند که با قاعده‌ی شکستن تساوی در تناقض است.

کجای دوره آموزش داده می‌شود

در درس سرهم‌بندی GPT مرحله‌ی تولید به شکل اعمال دما، ماسک top-k، سافت‌مکس و انتخاب چندجمله‌ای توضیح داده شده است، و تمرین نمونه‌برداری ترتیب عملیات، قانون تساوی و تک‌نمونه‌برداری را تثبیت می‌کند.