سؤال مصاحبه

انتخاب عمق پیش‌نویس EAGLE3 بر اساس میزان همروندی

Pick the EAGLE3 draft depth for your concurrency

  • سطح ۳: ارشد
  • بده‌بستان
  • ۱۰ دقیقه

پیش‌نویس (draft) مدل EAGLE3 را برای Qwen/Qwen3-8B روی یک پردازنده‌ی گرافیکی L4 فعال کرده‌اید و باید پارامتر num_speculative_tokens را تنظیم کنید. پیکربندی پیش‌نویس مقداری را پیشنهاد می‌دهد، اما می‌خواهید خودتان آن را تعیین کنید. چگونه مقدار مناسب را انتخاب می‌کنید و این مقدار بهینه‌ با تغییر تعداد کاربران چه تغییری می‌کند؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

عمق را خودتان تعیین کنید و آن را روی سطح همروندی (concurrency) واقعی‌تان بسنجید (sweep کنید)؛ زیرا هرچه کاربران بیشتری در هر گام سهیم شوند، عمقی که توجیه اقتصادی و عملکردی دارد کمتر می‌شود. روی کارت L4 ما با کلاک قفل‌شده و با 32 کاربر، عمق 3 به سرعت 333.6 توکن خروجی در ثانیه رسید (در مقایسه با 208.8 بدون حدس‌زدن)، در حالی که عمق 5 به 289.5 افت کرد؛ بنابراین هزینه‌ی پردازشیِ حدس‌های اضافی بیشتر از بازدهی‌شان بود. در حالت یک کاربر، نتیجه‌ی عمق‌های 3 و 5 برابر بود؛ پس کار را با 3 شروع کنید و تغییر آن فقط بر اساس اندازه‌گیری واقعی باشد.

پاسخ کامل

چرا عمق پیش‌نویس مهم است

پیش‌نویس عمیق‌تر می‌تواند در هر گذر مدلِ هدف توکن‌های بیشتری ارائه دهد، اما راستی‌آزمایی هر حدس هم هزینه‌ی پردازشی دارد. با یک کاربر، پردازنده‌ی گرافیکی (GPU) در هر گام توان محاسباتی مازاد دارد؛ بنابراین حدس‌های اضافی تقریباً رایگان تمام می‌شوند. اما با کاربران زیاد، ظرفیت پردازشی هر گام از قبل پر است و حدس‌های اشتباه، توان محاسباتی را از توکن‌های واقعی می‌گیرند.

نتایج ارزیابی

مقایسه‌ی عمق‌های 1، 3 و 5 با حالت بدون حدس‌زدن، با کلاک قفل‌شده روی 900 MHz، با 512 توکن ورودی و 128 توکن خروجی، هر کدام با دو مقدار seed:

کاربران پیکربندی میانه‌ی TPOT توکن خروجی/ثانیه میانه‌ی کلاک SM
32 بدون حدس‌زدن 119.9 ms 208.8 881 MHz
32 عمق 1 100.4 ms 271.1 900 MHz
32 عمق 3 77.8 ms 333.6 900 MHz
32 عمق 5 83.7 ms 289.5 885 MHz
1 عمق 1 39.4 ms 22.4 900 MHz
1 عمق 3 27.8 ms 31.3 900 MHz
1 عمق 5 26.2 ms 31.7 900 MHz

در حالت 32 کاربر، عمق 3 خروجی را به 1.6 برابرِ حالتِ بدون حدس‌زدن رساند و بازه‌ی ناشی از seedهای آن هیچ همپوشانی‌ای با پیکربندی‌های دیگر نداشت. در حالت یک کاربر، عمق 3 زمان به ازای هر توکن را در مقایسه با عمق 1 از 39.4 به 27.8 ms رساند، و عمق 5 هم با در نظر گرفتن seedها تفاوتی با آن نداشت. اجرای بدون حدس‌زدن برای یک کاربر به کلاک 210 MHz افت کرد (پایین‌تر از مقدار قفل‌شده)؛ بنابراین در این راهنما مقایسه نشده است.

جریان خروجی ناپیوسته‌تر می‌شود

میانه‌ی TPOT کاهش یافت، اما فاصله‌ی زمانی بین دسته‌های توکن بیشتر شد. در حالت 32 کاربر، میانه‌ی ITL از 84 ms در حالت بدون حدس‌زدن به 133 ms در عمق 3 رسید. اکنون هر گام چندین توکن را هم‌زمان ارسال می‌کند؛ در نتیجه خروجی جریانی در دسته‌های بزرگ‌تر ولی با فواصل زمانی طولانی‌تر تحویل داده می‌شود.

محدودیت‌های این نتیجه

این بهبود کارایی برای پرامپت‌های تصادفی و خروجی‌های 128 توکنی برقرار است. تیم‌های دیگر متوجه شده‌اند که پرامپت‌های ساختگی بازدهی را نسبت به پرامپت‌های واقعی بیش از حد نشان می‌دهند و عمق بهینه با اندازه‌ی دسته (batch size) تغییر می‌کند. یک پژوهش نشان داد روی پاسخ‌هایی که به سمت 20,000 توکن می‌رفتند، طول پذیرش از حدود 3.7 به حدود 1.5 کاهش یافت. آزمایش خود این راهنما تا 4,096 توکن افت پیوسته‌ای را نشان نداد؛ نرخ پذیرش در نزدیکی 2.1 تا 2.8 توکن در هر گام باقی ماند. بنابراین پیش از آنکه به این میزان بهبود اعتماد کنید، آن را روی پاسخ‌های بلند واقعی خود بسنجید.

پیش از مقایسه، کلاک را قفل کنید

اولین اجراهای EAGLE3 بدون قفل کردن کلاک انجام شدند. در حالت یک کاربر، اجرای بدون حدس‌زدن با کلاک 210 MHz کار کرد و اجرای EAGLE3 با حدود 1,400 MHz. اختلافی به این بزرگی اثر واقعیِ رمزگشایی حدسی را پنهان می‌کند؛ بنابراین آن اجراها کنار گذاشته شدند. پیش از مقایسه، کلاک SM را با ابزار درایور قفل کنید و پس از پایان کار آزاد نمایید؛ دو اجرا را فقط در شرایطی بسنجید که کلاک یکسانی داشته باشند.

انتخاب نهایی

  • برای Qwen3-8B با این مدل پیش‌نویس، کار را با 3 شروع کنید. این مقدار بیشترین خروجی را در 32 کاربر داد و در حالت یک کاربر هم با بقیه برابر بود.
  • برای یک سرور شلوغ، عمق را روی مدل خودتان بسنجید؛ در این تست، عمق 5 در 32 کاربر خروجی کمتری به همراه داشت.
  • اگر بار کاری در طول روز نوسان زیادی دارد، vLLM می‌تواند با گزینه‌ی num_speculative_tokens_per_batch_size عمق را بر اساس اندازه‌ی دسته تنظیم کند. راهنما این ویژگی را بررسی نکرده است.
  • مقدار دو شمارنده‌ی spec_decode_num_draft_tokens و spec_decode_num_accepted_tokens را بخوانید و بر هم تقسیم کنید؛ علاوه بر میانه، حتماً صدک 99 (P99) دو معیار ITL و TTFT را هم بررسی کنید.
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا عمق 5 در 32 کاربر نتیجه‌ی ضعیف‌تری نسبت به عمق 3 داشت اما در یک کاربر برابر بود؟ پاسخ مورد انتظار: در حالت یک کاربر، گام محاسباتی پردازش مازاد دارد، بنابراین دو حدس اضافه تقریباً بدون هزینه تمام می‌شود؛ در 32 کاربر، ظرفیت گام محاسباتی پر است و هر حدس ردشده، توان محاسباتی را از توکن‌های واقعی می‌گیرد.
  • سطح 3: میانه‌ی زمان به ازای هر توکن کاهش یافت ولی کاربران همچنان حس می‌کردند استریم خروجی یکنواخت نیست. چرا؟ پاسخ مورد انتظار: اکنون هر گام چندین توکن را هم‌زمان ارسال می‌کند، بنابراین توکن‌ها در دسته‌های بزرگ‌تر ولی با بسامد کمتر دریافت می‌شوند؛ میانه‌ی ITL با 32 کاربر در عمق 3 از 84 به 133 ms رسید.
  • سطح 4: بار کاری شما از 2 کاربر در شب تا 32 کاربر در روز نوسان دارد. چه تنظیمی اعمال می‌کنید؟ پاسخ مورد انتظار: عمق را در هر دو سطح بار بسنجید، چون عمق به‌صرفه با افزایش اندازه دسته کاهش می‌یابد؛ vLLM می‌تواند عمق را بر اساس اندازه‌ی دسته تنظیم کند که در این راهنما تست نشده است، پس پیش از اعتماد به آن، حتماً اندازه‌گیری میدانی داشته باشید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «هرچه عمق بیشتر باشد بهتر است، چون حدس بیشتر یعنی توکن بیشتر در هر گام.» در 32 کاربر، عمق 5 سرعت 289.5 توکن در ثانیه داد در حالی که عمق 3 به 333.6 رسید؛ هزینه‌ی پردازشیِ حدس‌های اضافی بیشتر از بازدهی‌شان شد.
  • «عمق را مشخص نکنید و بگذارید پیکربندی پیش‌نویس تصمیم بگیرد.» در این حالت نمی‌دانید چه تنظیمی در حال اجراست؛ مقدار را خودتان دستی تعیین کنید تا همان عددی اجرا شود که خودتان اندازه گرفته‌اید.
  • «رمزگشایی حدسی را در حالت یک کاربر با خط مبنا (baseline) بسنجید و همان ضریب بهبود را وارد محیط عملیاتی کنید.» خط مبنای تک‌کاربره با کلاک 210 MHz کار کرد در حالی که اجرای EAGLE3 به حدود 1,400 MHz رسید؛ بنابراین این نسبت فقط تفاوت کلاک را نشان می‌دهد. مقایسه را با کلاک یکسان و در همان میزان همروندی سرویس‌دهی نهایی انجام دهید.
  • «بهبود کارایی در دیتاست تصادفی به سناریوی چت هم منتقل می‌شود.» پرامپت‌های ساختگی بازدهی را بیش از حد نشان می‌دهند و نرخ پذیرش در پاسخ‌های بلند افت می‌کند؛ نرخ پذیرش را روی ترافیک واقعی خودتان با طول خروجی واقعی و بدون فعال بودن ignore-eos اندازه بگیرید.

کجای دوره آموزش داده می‌شود

بخش Speed up decode with EAGLE3 شامل ارزیابی عمق، جدول‌های نرخ پذیرش و قوانین مربوط به قفل کلاک است.