سؤال مصاحبه

استخر حافظه‌ی KV بزرگ‌تری که هیچ فایده‌ای نداشت؛ تا وقتی که بالاخره به کار آمد

A bigger KV pool that bought nothing, until it did

  • سطح ۳: ارشد
  • بده‌بستان
  • ۱۲ دقیقه

یکی از همکارانتان سهم حافظه (memory fraction) را روی یک سرور خودمیزبان بالا برد و استخر KV را 63 درصد بزرگ‌تر کرد؛ اما در بنچمارک حلقه‌بسته (closed-loop) با 64 کاربر هم‌زمان، نتیجه هیچ تغییری نکرد. حالا می‌خواهد تغییر را به حالت قبل برگرداند، چون این حافظه‌ی اضافی هیچ فایده‌ای نداشته است. به او چه می‌گویید و کدام سنجه تکلیف ماجرا را مشخص می‌کند؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

بنچمارک هرگز استخر را پر نکرد؛ در نتیجه حافظه‌ی اضافه اصلاً کاری برای انجام دادن نداشت. در 64 کاربر، درخواست‌های در حال اجرا فقط حدود 11 درصد استخر را پر کردند و نرخ پردازش (throughput) هم در فاصله‌ی 2 درصدی حالت قبل باقی ماند. اما زیر بار ترافیکی بیش از حد در یک تست حلقه‌باز (open-loop)، همین استخر اهمیتش را نشان داد: در نسبت حافظه‌ی کوچک‌تر، استخر 96 درصد پر شد و درخواست‌ها بیرون از آن در صف منتظر ماندند؛ در حالی که استخر بزرگ‌تر حدود یک‌سوم بیشتر درخواست‌ها را در ثانیه به پایان رساند. اندازه‌ی استخر را از روی مصرف توکن (token) در اوج بار، با احتساب جهش‌های ناگهانی ترافیک تعیین کنید و مقدارش را از خطوط رمزگشاییِ (decode) اسکژولر (scheduler) بخوانید، نه از تست‌های سنجش بار حلقه‌بسته.

پاسخ کامل

تست حلقه‌بسته چه چیزی را نشان داد

راهنما همین آزمون سنجش بار را با نسبت‌های 0.7 و 0.82 روی یک ماشین اجرا کرد؛ با سه سید (seed) به ازای هر نقطه. استخر BF16 از 234,600 به 383,065 توکن رسید. در تمام سطوح هم‌زمانی، میانه‌ی دو حالت در فاصله‌ی 2 درصدی از هم باقی ماند. خط لاگ رمزگشایی با بالاترین مصرف توکن در کل تستِ استخر بزرگ‌تر، دلیلش را نشان می‌دهد: 64 درخواست هم‌زمان، 40,751 توکن اشغال کرده بودند که فقط 11 درصد استخر می‌شد. در استخر کوچک‌تر، بیشترین مصرف در طول کل تست 18 درصد بود. استخری که هرگز پر نشود، چیزی هم برای عرضه ندارد.

تست حلقه‌باز چه چیزی را نشان داد

در تست حلقه‌باز، 16 درخواست در ثانیه به سیستم فرستاده شد؛ یعنی بیشتر از مقداری که ماشین بتواند پردازش کند. در نسبت 0.7، خط رمزگشایی عدد 374 درخواست در حال اجرا با مصرف توکن 0.96 را نشان می‌داد، در حالی که 101 درخواست هم در صف منتظر بودند. در نسبت 0.82، تمام 480 درخواستِ آن تست هم‌زمان با مصرف 0.75 جا شدند و هیچ درخواستی در صف نماند. این اجرا 5.19 درخواست در ثانیه را در برابر 3.88 حالت قبل به پایان رساند (34 درصد بیشتر) و 664 توکن خروجی در ثانیه را در برابر 497 ثبت کرد. این دو اجرا با فاصله‌ی یک روز از هم انجام شدند، بنابراین بخشی از اختلاف می‌تواند مربوط به شرایط ماشین باشد. خطوط لاگ سازوکار را اثبات می‌کنند و میزان دقیق این بهبود مربوط به همان اجرا است.

چرا بنچمارک حلقه‌بسته متوجه آن نشد

در یک حلقه‌ی بسته، هر کلاینت قبل از فرستادن درخواست بعدی، منتظر پاسخ قبلی خود می‌ماند. بنابراین سرور هرگز بار کاری بیشتری از آنچه تمام می‌کند در خود نگه نمی‌دارد و استخر هم هیچ‌وقت پر نمی‌شود. کاربران واقعی با ساعت و برنامه‌ی خودشان از راه می‌رسند. فقط در صورتی که نرخ ورود درخواست‌ها از نرخ پردازش بالاتر برود، ارزش واقعی استخر مشخص می‌شود.

هزینه‌ی حافظه‌ای که کسی استفاده نمی‌کند

روی یک ماشین اشتراکی، حافظه‌ای که در استخر بماند، حافظه‌ای است که برنامه‌ی دیگری نمی‌تواند از آن استفاده کند. ماشین راهنما یک محافظ حافظه (memory guard) داشت که با افزایش چند ده گیگابایتی تخصیص استخر در عرض چند ثانیه، اسکژولر را متوقف می‌کرد. روی یک پردازنده‌ی گرافیکی اختصاصی، اول به مقدار خودکار اعتماد کنید و تنها وقتی خطوط لاگ اسکژولر یک استخر پر و بازپس‌گیری‌ها (retractions) را نشان دادند، سهم حافظه را در گام‌های 0.02تایی بالا ببرید.

سنجه‌ای که تکلیف را روشن می‌کند

مصرف توکن در خطوط رمزگشایی در زمان اوج بار، طول صف و تعداد بازپس‌گیری‌ها را بخوانید. مقدار max_total_num_tokens را هم در زمان راه‌اندازی بررسی کنید. اگر مصرف هرگز به یک نزدیک نمی‌شود و چیزی هم منتظر نمی‌ماند، محدودیت از استخر نیست و آن حافظه‌ی اضافی به درد جای دیگری می‌خورد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا بنچمارک حلقه‌بسته هرگز استخر را پر نکرد؟ پاسخ مورد انتظار: هر کلاینت قبل از ارسال درخواست بعدی منتظر دریافت پاسخ قبلی می‌ماند؛ بنابراین سرور هرگز کاری بیشتر از آنچه تمام می‌کند در خود نگه نمی‌دارد.
  • سطح 3: کدام خطوط لاگ نشان می‌دهند محدودیت از استخر است؟ پاسخ مورد انتظار: مصرف توکن نزدیک به یک در خطوط رمزگشایی، صف بالاتر از صفر و موارد بازپس‌گیری.
  • سطح 4: در یک ماشین اشتراکی، هزینه‌ی استخرِ بیش از حد بزرگ چیست؟ پاسخ مورد انتظار: حافظه‌ای که برنامه‌های دیگر امکان استفاده از آن را ندارند. ماشین راهنما محافظی داشت که با افزایش چند ده گیگابایتی تخصیص استخر در چند ثانیه، اسکژولر را متوقف می‌کرد.
  • سطح 4: دو اجرای تست اضافه‌بار با یک روز فاصله انجام شدند. چقدر از این بهبود قابل اتکاست؟ پاسخ مورد انتظار: سازوکار عملکرد، بر اساس خطوطی که نشان می‌دهند یک استخر با درخواست‌های منتظر پر شده و دیگری هنوز جا دارد، کاملاً مطمئن است. اما اندازه‌ی دقیق بهبود نیازمند تکرار تست در همان روز است.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «استخر فایده‌ای نداشت، به حالت قبل برش گردانید.» زیر باری که استخر را پر نمی‌کرد فایده‌ای نداشت؛ اما بار بیش از حد آن را پر کرد و یک‌سوم درخواست‌های بیشتری را در ثانیه به پایان رساند.
  • «تا جای ممکن به استخر حافظه بدهید.» روی ماشین اشتراکی، این حافظه از بقیه‌ی برنامه‌ها گرفته می‌شود و بعد از نقطه‌ای که استخر پر شود، هیچ منفعتی ندارد.
  • «نرخ پردازش در 64 کاربر، همان عدد ظرفیت سیستم است.» ظرفیت واقعی در نرخ ورودی بیشتر از نرخ پردازش خودش را نشان می‌دهد؛ چیزی که یک تست حلقه‌بسته اصلاً نمی‌تواند تولید کند.

کجای دوره آموزش داده می‌شود

بخش نسبت حافظه در SGLang 101 همین استخر را یک بار در بنچمارک حلقه‌بسته و یک بار زیر بار اضافه‌ای که سریع‌تر از توان سرویس‌دهی سرور وارد می‌شود، اندازه می‌گیرد.