سؤال مصاحبه

گرامر چطور لاجیت‌ها را دستکاری می‌کند و چرا این کار می‌تواند سرعت را بیشتر کند؟

How a grammar edits the logits and why it can be faster

  • سطح ۲: میانی
  • مفهومی
  • ۸ دقیقه

پرامپتی برای دسته‌بندی می‌نویسید و از مدل یکی از سه برچسب مشخص را می‌خواهید، اما مدل در پاسخ یک پاراگراف تحویلتان می‌دهد و در نتیجه پارسر کرش می‌کند. برای رفع این مشکل سه لایه راه‌حل وجود دارد. در ادامه توضیح می‌دهیم که قوی‌ترین روش در سطح لاجیت‌ها (Logits) چطور کار می‌کند و چرا معمولاً از تولید متن آزاد سریع‌تر است، نه کندتر.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

پرامپت‌نویسی یعنی خواهش محترمانه از مدل؛ APIهای خروجی ساختاریافته‌ی (Structured Output) سرویس‌دهندگان این کار را روی سرور انجام می‌دهند؛ و رمزگشایی مقید (Constrained Decoding) این محدودیت را به‌شکل محلی و با تغییر لاجیت‌ها اعمال می‌کند. در هر گام، یک پردازنده‌ی لاجیت (Logit processor) محاسبه می‌کند که کدام توکن‌های واژگان می‌توانند گرامر هدف (یک اسکیمای JSON، یک regex یا یک گرامر مستقل از متن کامپایل‌شده به ماشین وضعیت) را پیش ببرند و لاجیت سایر توکن‌ها را روی منفی بی‌نهایت می‌گذارد. با این کار، سافت‌مکس (Softmax) فقط به ادامه‌های مجاز احتمال اختصاص می‌دهد و دسترسی به خروجی نامعتبر عملاً ناممکن می‌شود. این فرایند می‌تواند سریع‌تر باشد، چون هم فضای جست‌وجو کوچک‌تر می‌شود و هم توکن‌هایی که گرامر اجبار می‌کند (مثل نام ثابت یک کلید)، بدون اجرای یک گامِ مدل تولید می‌شوند.

پاسخ کامل

سه لایه

  1. پرامپت‌نویسی: «فقط یک شیء JSON برگردان.» طبق ارزیابی این درس، این روش روی مدل‌های قوی حدود 80 درصد انطباق به همراه دارد و روی مدل‌های کوچک حتی کمتر است؛ یعنی خبری از یک قرارداد تضمین‌شده نیست.
  2. خروجی ساختاریافته‌ی بومی سرویس‌دهنده: خودِ ارائه‌دهنده محدودیت را در سمت سرور اجرا می‌کند. این روش برای اسکیماهای پشتیبانی‌شده قابل‌اعتماد است، اما شما را به همان ارائه‌دهنده وابسته می‌کند.
  3. رمزگشایی مقید: محدودیت مستقیماً در حلقه‌ی رمزگشایی خودتان اجرا می‌شود و با هر مدل محلی کار می‌کند.

حلقه

def generate_constrained(model, tokenizer, prompt, fsm):
    ids = tokenizer.encode(prompt)
    state = fsm.initial_state
    while not fsm.is_accept(state):
        logits = model.next_token_logits(ids)
        valid = fsm.valid_tokens(state, tokenizer)
        logits = mask_logits(logits, valid)
        tok = sample(logits)
        ids.append(tok)
        state = fsm.transition(state, tok)
    return tokenizer.decode(ids)

ماشین وضعیت (State Machine) بررسی می‌کند که تا این لحظه چه مقدار از گرامر برآورده شده است. تابع valid_tokens توکن‌هایی از واژگان را برمی‌گرداند که ماشین را در مسیر پذیرش نگه می‌دارند؛ سپس ماسک اعمال‌شده بقیه‌ی توکن‌ها را روی منفی بی‌نهایت می‌گذارد. از آنجا که واژگان حدود 100k توکن دارد، این ماسک برای هر وضعیت از قبل محاسبه می‌شود.

ماشین وضعیت یا موتور گرامر

یک regex یا یک اسکیمای JSON ساده به یک ماشین وضعیت متناهی کامپایل می‌شود که در آن، پیدا کردن توکن‌های مجاز در هر وضعیت با زمان ثابت ($O(1)$) انجام می‌گیرد. اسکیماهای بازگشتی (مثل کامنت‌های تودرتو یا یک درخت نحو) به یک موتور گرامر مستقل از متن نیاز دارند؛ این موتورها در پیاده‌سازی‌های امروزی، بازگشت را با سربار رمزگشاییِ نزدیک به صفر مدیریت می‌کنند. سرورهای استنتاج (Inference servers) هر دوی این روش‌ها را تحت عنوان رمزگشایی هدایت‌شده (Guided decoding) ارائه می‌دهند.

چرا این روش می‌تواند سریع‌تر باشد؟

کاندیداهای کمتر در بین توکن‌ها یعنی جست‌وجوی موثر کوچک‌تر در هر گام. از آن مهم‌تر، بخش‌های طولانی از خروجی کاملاً توسط گرامر تعیین می‌شوند: آکولاد باز، نام کلید درون کوتیشن و دونقطه. یک پیاده‌سازی خوب برای این توکن‌ها اصلاً مدل را فراخوانی نمی‌کند و اجرای مدل را فقط به جاهایی محدود می‌سازد که گرامر حق انتخاب باقی گذاشته است.

کتابخانه‌ای که به لاجیت‌ها دست نمی‌زند

کلاینت‌های مبتنی بر تلاش مجدد، اسکیما را داخل پرامپت قالب‌بندی می‌کنند، خروجی را پارس می‌نمایند و در صورت ناموفق بودن اعتبارسنجی، درخواست را دوباره می‌فرستند (به‌طور پیش‌فرض 3 بار). این روش با تمام سرویس‌دهندگان کار می‌کند، اما هر تلاش مجدد باعث افزایش تاخیر و هزینه می‌شود. این سازوکار کاملاً متفاوت است، نه اینکه صرفاً نسخه‌ی ضعیف‌تری از همان روش باشد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چه زمانی یک ماشین وضعیت متناهی کافی نیست؟ پاسخ مورد انتظار: برای اسکیماهای بازگشتی؛ ماشین وضعیت، بازگشت را به یک عمق ثابت تبدیل می‌کند و به یک موتور گرامر مستقل از متن نیاز است.
  • سطح 3: حالت JSON معمولی در سرویس‌دهنده‌ها چه چیزی را تضمین می‌کند و چه چیزی را نه؟ پاسخ مورد انتظار: صرفاً معتبر بودن نحو JSON را تضمین می‌کند، نه انطباق با اسکیمای شما را؛ بنابراین همیشه باید اسکیمای کامل را ارسال کنید.
  • سطح 3: کتابخانه‌ی مبتنی بر تلاش مجدد چه تفاوتی با پردازنده‌ی لاجیت دارد؟ پاسخ مورد انتظار: این کتابخانه هیچ‌وقت توزیع مدل را تغییر نمی‌دهد؛ بلکه بعد از تولید خروجی، آن را اعتبارسنجی می‌کند و در صورت شکست دوباره درخواست می‌زند که این فرایند در هر شکست باعث افزایش تاخیر و هزینه می‌شود.
  • سطح 4: اسکیما شامل یک enum با 10,000 گزینه است و کامپایل تایم‌اوت می‌دهد؛ چه کار می‌کنید؟ پاسخ مورد انتظار: ابتدا با یک بازیاب فهرستی کوتاه از کاندیداها را پیش‌بینی کنید و سپس رمزگشایی را به همان گزینه‌ها محدود سازید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «رمزگشایی مقید باعث می‌شود پاسخ مدل از نظر معنایی درست باشد.» این روش فقط پاسخ را از نظر گرامر معتبر می‌کند؛ یک پاسخ کاملاً غلط با ساختار درست همچنان ساخته می‌شود.
  • «بررسی گرامر در هر توکن، سرعت تولید متن را پایین می‌آورد.» مجموعه‌ی توکن‌های مجاز برای هر وضعیت از قبل محاسبه می‌شود و توکن‌های اجباری بدون درگیر کردن مدل تولید می‌شوند، بنابراین معمولاً سرعت بیشتر است.
  • «با آوردن مثال‌های کافی در پرامپت می‌توان به انطباق کامل رسید.» داده‌های این درس نشان می‌دهد تکیه بر پرامپت به‌تنهایی حدود 80 درصد انطباق می‌دهد؛ برای تضمین قطعی، باید لاجیت‌ها یا محدودیت سرور در میان باشد.

کجای دوره آموزش داده می‌شود

در درس خروجی‌های ساختاریافته، پردازنده‌ی لاجیت را می‌سازیم و این سه لایه را با یکدیگر مقایسه می‌کنیم.