سؤال مصاحبه

بررسی حلقه‌ی تولید مقید

Read the constrained generation loop

  • سطح ۲: میانی
  • کدخوانی
  • ۸ دقیقه

این حلقه‌ی تولید مقید (constrained generation loop) را از درس بخوانید. توضیح دهید که ماسک چه تاثیری روی احتمالات می‌گذارد، وضعیت ماشین چه چیزی را ثبت می‌کند، و چرا این حلقه در نهایت می‌تواند سریع‌تر از تولید بدون قید باشد.

def mask_logits(logits, valid_token_ids):
    mask = [float("-inf")] * len(logits)
    for tid in valid_token_ids:
        mask[tid] = logits[tid]
    return mask


def generate_constrained(model, tokenizer, prompt, fsm):
    ids = tokenizer.encode(prompt)
    state = fsm.initial_state
    while not fsm.is_accept(state):
        logits = model.next_token_logits(ids)
        valid = fsm.valid_tokens(state, tokenizer)
        logits = mask_logits(logits, valid)
        tok = sample(logits)
        ids.append(tok)
        state = fsm.transition(state, tok)
    return tokenizer.decode(ids)

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

ماسک لاجیتِ تمام توکن‌های نامعتبر را روی منفی بی‌نهایت تنظیم می‌کند؛ بنابراین بعد از سافت‌مکس (softmax)، احتمال این توکن‌ها صفر می‌شود و نمونه‌گیر (sampler) فقط می‌تواند توکنی را انتخاب کند که خروجی را درون چارچوب گرامر نگه می‌دارد. ماشین، موقعیت طی‌شده در گرامر تا این لحظه را ثبت می‌کند، و valid_tokens توکن‌هایی را برمی‌گرداند که وضعیت را بدون خروج از مسیر پذیرش جلو می‌برند. این فرایند می‌تواند سریع‌تر باشد، چون فضای جست‌وجو کوچک‌تر می‌شود و برای موقعیتی که تنها یک توکن در آن معتبر است، اصلاً نیازی به فراخوانی مدل نیست.

پاسخ کامل

گام‌های درون حلقه

  1. پرامپت را انکود کنید و ماشین را در وضعیت اولیه‌اش قرار دهید.
  2. تا زمانی که ماشین خروجی را بپذیرد: از مدل لاجیت‌های توکن بعدی را روی کل واژگان (vocabulary) بخواهید.
  3. از ماشین بپرسید در وضعیت فعلی کدام شناسه‌های توکن (token ids) معتبر هستند.
  4. لاجیت تمام توکن‌های دیگر را با منفی بی‌نهایت جایگزین کنید؛ توکن‌های معتبر مقدار خود را حفظ می‌کنند.
  5. از لاجیت‌های ماسک‌شده نمونه‌گیری کنید، توکن را به متن اضافه کنید و ماشین را به وضعیت بعدی ببرید.
  6. شناسه‌ها را رمزگشایی کنید.

بخشی که بین مدل و نمونه‌گیر قرار می‌گیرد همان پردازنده‌ی لاجیت (logit processor) است. هیچ چیز در مدل تغییر نمی‌کند؛ این ویرایش فقط روی لاجیت‌های یک گام اعمال می‌شود.

مجموعه‌ی توکن‌های معتبر از کجا می‌آید

از یک گرامر کامپایل‌شده. یک ماشین وضعیت متناهی (finite state machine) که از یک regex یا اسکیمای JSON (JSON Schema) ساخته شده، امکان جست‌وجوی توکن‌های معتبر هر وضعیت را در زمان ثابت (constant-time lookup) فراهم می‌کند. موتور گرامر مستقل از متن (context-free grammar engine) ساختارهای بازگشتی‌ای را مدیریت می‌کند که ماشین متناهی توان بیانشان را ندارد. سرورهای استنتاج (inference servers) همین ایده را تحت عنوان رمزگشایی هدایت‌شده (guided decoding)، در حالت‌های JSON، regex، انتخابی (choice) و گرامر ارائه می‌دهند.

چرا می‌تواند سریع‌تر اجرا شود

به دو دلیلی که در درس مطرح شد: فضای جست‌وجوی توکن بعدی کوچک‌تر می‌شود. علاوه بر این، یک پیاده‌سازی هوشمند فراخوانی مدل را برای توکن‌های اجباری حذف می‌کند: وقتی گرامر دقیقاً یک توکن معتبر باقی می‌گذارد (مثل داربستِ نام یک کلید)، توکن بدون نیاز به فرایند تولید اضافه می‌شود. این کد هنوز چنین کاری انجام نمی‌دهد.

مواردی که این کد حل نمی‌کند

گرامری که بیش از حد سخت‌گیرانه باشد، مدل را وادار به ساختن مقادیر من‌درآوردی می‌کند؛ چون هیچ توکن معتبری وجود ندارد که مدل با آن بگوید «نامشخص». یک enum بسیار بزرگ، کند کامپایل می‌شود. یک اسکیمای بازگشتی در یک ماشین متناهی جا نمی‌گیرد. و کتابخانه‌ی تکرار مجدد (retry library) که اعتبارسنجی را بعد از تولید انجام می‌دهد هیچ‌کدام از این کارها را پیاده نمی‌کند؛ چون اصلاً دست به لاجیت‌ها نمی‌زند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: تابع valid_tokens پاسخ خود را از کجا می‌آورد؟ انتظار می‌رود: از گرامر کامپایل‌شده؛ یک ماشین وضعیت متناهی امکان جست‌وجو در زمان ثابت را به ازای هر وضعیت فراهم می‌کند.
  • سطح 2: یک پیاده‌سازی در محیط عملیاتی (production) چه کاری انجام می‌دهد که این حلقه انجام نمی‌دهد؟ انتظار می‌رود: رد کردن توکن‌های اجباری؛ وقتی دقیقاً یک توکن معتبر است، بدون فراخوانی مدل اضافه می‌شود.
  • سطح 3: کدام اسکیماها ماشین وضعیت متناهی را از کار می‌اندازند؟ انتظار می‌رود: اسکیماهای بازگشتی، مثل کامنت‌های تودرتو یا درخت نحو، که به یک موتور گرامر مستقل از متن نیاز دارند.
  • سطح 3: گرامر یک الگوی تاریخ سخت‌گیرانه را اجباری می‌کند و متن ورودی هیچ تاریخی ندارد. خروجی حلقه چه خواهد بود؟ انتظار می‌رود: یک تاریخ ساختگی با ساختار درست؛ چون هیچ توکن معتبری وجود ندارد که مدل با آن بگوید «نامشخص». باید مقدار null یا یک مقدار نشانگر (sentinel) را در گرامر مجاز کنید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «ماسک وزن‌های مدل را تغییر می‌دهد.» هیچ چیز در مدل تغییر نمی‌کند؛ ماسک فقط لاجیت‌های یک گام را پیش از نمونه‌گیری ویرایش می‌کند.
  • «رمزگشایی مقید همیشه سرعت تولید را کم می‌کند.» در درس گفته شد که این روش اغلب سریع‌تر است: فضای جست‌وجوی کوچک‌تر، و توکن‌های اجباری که فراخوانی مدل را حذف می‌کنند.
  • «یک کتابخانه‌ی retry همین کار را انجام می‌دهد.» آن کتابخانه‌ها اسکیما را درون پرامپت می‌گنجانند و اعتبارسنجی را پس از اتمام کار انجام می‌دهند؛ آن‌ها اصلاً کاری با لاجیت‌ها ندارند.

کجای دوره آموزش داده می‌شود

درس رمزگشایی مقید این حلقه، پردازنده‌ی لاجیت، دلایل برتری در سرعت و چالش‌های کار با گرامر را آموزش می‌دهد.