سؤال مصاحبه

آیا باید اندازه‌ی تکه‌های پیش‌پرکنی را کوچک‌تر کرد؟

Should the prefill chunk be smaller

  • سطح ۳: ارشد
  • بده‌بستان
  • ۱۰ دقیقه

پرامپت‌های طولانی باعث توقف جریان خروجی (stream) برای سایر کاربران سرور SGLang شما می‌شوند. یکی از راهنماهای بهینه‌سازی پیشنهاد می‌کند مقدار --chunked-prefill-size را کم کنید تا گام‌های رمزگشایی (decode) با بسامد بیشتری بین تکه‌های پرامپت طولانی اجرا شوند. آیا این توصیه را دنبال می‌کنید؟ مستندات در آزمایش عملی به چه نتیجه‌ای رسیدند و چه گزینه‌ای را باید به‌جای آن امتحان کنید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

نه بدون اندازه‌گیری دقیق؛ چون در آزمون‌های مستندات، کوچک‌کردن تکه روی هیچ‌کدام از کارت‌ها کمکی نکرد. روی GB10 در نرخ ورود پایین، تکه‌ی 1,024 تاخیر صدک 99 بین‌توکنی (P99 ITL) را بدتر کرد: 1,977 میلی‌ثانیه در برابر 929 میلی‌ثانیه با مقدار پیش‌فرض 8,192؛ در نرخ‌های بالاتر هم همه‌ی اندازه‌ها عملکرد برابری داشتند. گزینه‌ی اول من امتحان پرچم --enable-mixed-chunk است که توکن‌های رمزگشایی را داخل دسته‌ی پیش‌پرکنی (prefill) قرار می‌دهد؛ البته باید بده‌بستان آن را اندازه بگیرید: روی GB10 این پرچم P99 ITL را بین 15 تا 19 درصد کاهش داد، اما در نرخ‌های 1 و 2 درخواست بر ثانیه، میانه‌ی زمان تا اولین توکن (TTFT) را بین 49 تا 74 درصد بالا برد.

پاسخ کامل

منطق پشت این توصیه

اسکژولر (scheduler) هر زمان بتواند درخواستی را پذیرش کند، یک دسته‌ی پیش‌پرکنی اجرا می‌کند و در غیر این صورت به سراغ اجرای یک گام رمزگشایی می‌رود. پیش‌پرکنی تکه‌ای (Chunked Prefill) پرامپت طولانی را به بخش‌هایی حداکثر به اندازه‌ی سایز تکه تقسیم می‌کند؛ یعنی یک تکه در هر دسته‌ی پیش‌پرکنی. مقدار پیش‌فرض به حافظه‌ی GPU بستگی دارد: 4,096 روی کارت 22 گیگابایتی L4 و 8,192 روی GB10. فرض پشت این توصیه این است که خرد کردن پرامپت به تکه‌های بیشتر، نوبت‌های بیشتری برای اجرای گام‌های رمزگشایی فراهم می‌کند.

نتایج اندازه‌گیری مستندات

در هر اجرا، 48 پرامپتِ بین 1,024 تا 4,096 توکنی با 256 توکن خروجی ارسال شد. نرخ ورود پواسون 0.5، 1 یا 2 درخواست بر ثانیه بود و آزمایش با سه سید (seed) مختلف تکرار شد:

GPU، مدل اندازه تکه نرخ بر ثانیه توکن خروجی/ثانیه میانه‌ی TTFT صدک 99 ITL
GB10, Qwen3-30B-A3B 8,192 0.5 70.1 892 ms 929 ms
GB10, Qwen3-30B-A3B 1,024 0.5 68.1 1,253 ms 1,977 ms
GB10, Qwen3-30B-A3B 8,192 2 129.3 269 ms 312 ms
GB10, Qwen3-30B-A3B 1,024 2 130.1 256 ms 260 ms
L4, Qwen3-8B 4,096 0.5 44.1 36.0 s 2,579 ms
L4, Qwen3-8B 1,024 0.5 43.3 37.4 s 2,922 ms

روی GB10 در نرخ‌های 1 و 2 درخواست بر ثانیه، تفاوت ابعاد مختلف درون بازه‌ی تغییرات سیدها قرار داشت. در نرخ 0.5 درخواست بر ثانیه، تکه‌ی کوچک‌تر قافیه را باخت و بازه‌ی نتایج سیدها هیچ همپوشانی‌ای (Overlap) با هم نداشتند. روی L4 بار کاری در تمام نرخ‌ها فراتر از توان پاسخ‌گویی کارت بود: نرخ خروجی نزدیک به 44 توکن بر ثانیه ماند، اولین توکن بین 36 تا 62 ثانیه طول کشید، و بدترین وقفه با هر دو اندازه‌ی تکه بین 2.5 تا 2.9 ثانیه باقی ماند.

چرا تکه‌ی کوچک در مدل ترکیبی از متخصصان شکست خورد؟

هر تکه از پرامپت، وزن‌های متخصصانِ (experts) انتخاب‌شده را دوباره بارگذاری می‌کند. در پژوهشی در سال 2025 درباره‌ی پیش‌پرکنی تکه‌ای روی این مدل‌ها، به خاطر این بارگذاری‌های اضافه تا 39 درصد ترافیک حافظه‌ی بیشتر ثبت شد. با تکه‌ی 1,024، یک پرامپت 4,096 توکنی در قالب حداکثر چهار تکه اجرا می‌شود که هر کدام وزن‌های متخصصان را از نو می‌خوانند. البته مستندات میزان ترافیک متخصصان را اندازه نگرفته است؛ بنابراین این موضوع صرفاً یک تحلیل و برداشت است، نه یک نتیجه‌ی آزمایشگاهی.

چرا هیچ‌چیز روی کارت L4 اثر نداشت؟

اسکژولر تا زمانی که ظرفیت پذیرش داشته باشد، اولویت را به پیش‌پرکنی می‌دهد. وقتی صف پر است، کوچک‌تر کردن تکه فقط تعداد نوبت‌های پیش‌پرکنی پیش از گام‌های رمزگشایی را بیشتر می‌کند و در نتیجه جریان خروجی همچنان منتظر می‌ماند. مستندات راهکار حل این مشکل را در افزایش ظرفیت پیش‌پرکنی یا کاهش تعداد پرامپت‌های طولانی در ثانیه می‌داند، اما این سناریو را آزمایش نکرده است.

تکه‌ی ترکیبی (Mixed Chunk)

پرچم --enable-mixed-chunk توکن‌های رمزگشایی را داخل دسته‌ی پیش‌پرکنی می‌گذارد تا گام رمزگشایی معطل نوبت پیش‌پرکنی نماند. نتایج روی GB10 در مقایسه با اجرای پیش‌فرض در همان روز به شرح زیر است:

نرخ بر ثانیه صدک 99 ITL، پیش‌فرض / ترکیبی میانه‌ی TTFT، پیش‌فرض / ترکیبی توکن خروجی/ثانیه، پیش‌فرض / ترکیبی
0.5 922 / 781 ms 841 / 910 ms 70.9 / 72.1
1 219 / 177 ms 244 / 362 ms 108.8 / 112.6
2 261 / 221 ms 238 / 416 ms 133.2 / 138.1

نتیجه: جریانی روان‌تر در ازای تأخیر بیشتر در تولید اولین توکن. تاخیر P99 ITL بین 15 تا 19 درصد کاهش یافت که در نرخ‌های 0.5 و 2 بر ثانیه کاملاً فراتر از بازه‌ی تغییرات سیدها بود. میانه‌ی TTFT در نرخ‌های 1 و 2 بر ثانیه بین 49 تا 74 درصد بالا رفت که باز هم خارج از بازه‌ی تغییرات بود. روی L4 این پرچم P99 ITL را تنها 5 تا 8 درصد جابه‌جا کرد که درون بازه‌ی خطای سیدها قرار داشت؛ چرا که پر بودن صف آهنگ کار را مشخص می‌کرد. در واقع خود کارت تعیین کرد که آیا این بده‌بستان نصیب شما می‌شود یا نه.

حرکت در جهت معکوس در زمان بالا آمدن شکست می‌خورد

با انتخاب تکه‌ی 8,192 روی L4، سرور حین کپچر گراف (graph capture) متوقف شد و کرش کرد. استخر حافظه مثل قبل همان 24,094 توکن را گرفت و گراف پیش‌پرکنی برای 8,192 توکن به حافظه‌ای بیشتر از 2.33 گیگابایتِ باقی‌مانده نیاز داشت. آخرین خط لاگ یک assert داخلی PyTorch است که درخواست ارسال گزارش باگ می‌کند؛ اما خطای واقعی، پیام خطای کمبود حافظه (out-of-memory) است که دو خط بالاتر از آن ثبت شده است.

همین موازنه در vLLM

موتور vLLM اندازه‌ی تکه‌ی مجزایی ندارد. سهمیه‌ی توکن (Token Budget) در آنجا همین نقش را ایفا می‌کند و در بارهای کاری سبک روی GB10، سهمیه‌ی 16,384 در مقایسه با 2,048 مقدار P99 ITL را 39 درصد افزایش داد. هر دو موتور زمان پاسخ اولین توکن پرامپت‌های طولانی را فدای روان‌بودن جریان خروجی و کاهش وقفه‌ها می‌کنند و بهترین مقدار، متناسب با بار کاری تغییر می‌کند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا تکه‌ی کوچک‌تر در مدلی که هر توکن را به چند متخصص هدایت می‌کند، نسبت به یک مدل متراکم (dense) هزینه‌ی بیشتری دارد؟ پاسخ مورد انتظار: هر تکه وزن‌های متخصصان انتخابی را از نو می‌خواند؛ بنابراین چهار تکه می‌توانند متخصصان را چهار بار بخوانند، در حالی که مدل متراکم در هر حالت همان وزن‌ها را یک بار در هر گام می‌خواند.
  • سطح 3: روی L4 هیچ‌کدام از پرچم‌ها وضعیت جریان خروجی را تغییر ندادند؛ چرا؟ پاسخ مورد انتظار: توان کارت به پای پرامپت‌ها نمی‌رسید، بنابراین پیش‌پرکنی هر نوبتی را که می‌توانست می‌گرفت؛ تکه‌ی کوچک‌تر فقط نوبت‌های پیش‌پرکنی بیشتری پیش از گام‌های رمزگشایی ایجاد می‌کرد و راهکار اصلی، افزایش ظرفیت پیش‌پرکنی یا کاهش پرامپت‌های طولانی ورودی در ثانیه است.
  • سطح 4: اندازه‌ی تکه را روی L4 به 8,192 افزایش می‌دهید و سرور موقع راه‌اندازی با یک assert که می‌خواهد باگ را گزارش کنید متوقف می‌شود؛ چه اتفاقی افتاده است؟ پاسخ مورد انتظار: گراف پیش‌پرکنی برای 8,192 توکن به حافظه‌ای بیشتر از 2.33 گیگابایتِ باقی‌مانده از استخر نیاز داشت؛ assert خط آخر است و خط out-of-memory در دو خط بالاتر علت اصلی ماجراست.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «تکه‌های کوچک‌تر همیشه جریان توکن‌ها را روان‌تر می‌کنند.» روی GB10 در نرخ 0.5 درخواست بر ثانیه، تکه‌ی 1,024 تاخیر P99 ITL را از 929 به 1,977 میلی‌ثانیه رساند و در نرخ‌های بالاتر هم اندازه‌ها برابر شدند.
  • «استفاده از تکه‌ی ترکیبی بدون هزینه است.» این گزینه روانی جریان را با کندتر شدن اولین توکن معاوضه کرد: میانه‌ی TTFT در نرخ‌های 1 و 2 درخواست بر ثانیه روی GB10 بین 49 تا 74 درصد بیشتر شد.
  • «خطای assert پای‌تورچ موقع راه‌اندازی، باگ خود PyTorch است.» خطای واقعی پیام out-of-memory در دو خط بالاتر است؛ گراف پیش‌پرکنی برای تکه‌ی بزرگ‌تر در حافظه‌ی باقی‌مانده پس از تخصیص استخر جا نشد.
  • «تکه‌ی بزرگ‌تر حافظه‌ی بیشتری نمی‌خواهد چون استخر تغییر نکرده است.» استخر روی همان 24,094 توکن باقی ماند، اما گراف پیش‌پرکنی ضبط‌شده برای 8,192 توکن به حافظه‌ای بیشتر از 2.33 گیگابایت باقی‌مانده نیاز داشت.

کجای دوره آموزش داده می‌شود

بخش حلقه‌ی اسکژولر و --schedule-policy شامل بررسی جامع اندازه‌های تکه و تکه‌های ترکیبی است و بخش جلوگیری از توقف پرامپت‌های کوتاه توسط پرامپت‌های طولانی همین بده‌بستان را در vLLM اندازه‌گیری می‌کند.