سؤال مصاحبه

برآورد هزینه‌ی پایپ‌لاین شبانه با API دسته‌ای و پرامپت کش‌شده

Price a nightly pipeline on batch with a cached prompt

  • سطح ۳: ارشد
  • تخمین
  • ۱۲ دقیقه

یک پایپ‌لاین شبانه 50,000 سند را خلاصه‌سازی می‌کند و تمام فراخوانی‌ها با پرامپت سیستم (system prompt) یکسانی شروع می‌شوند. این پردازش به‌صورت همگام (synchronous) روی یک ارائه‌دهنده اجرا می‌شود، چهار ساعت طول می‌کشد و شبی حدود 2,000 دلار هزینه برمی‌دارد. هزینه‌ی همین تسک را روی API دسته‌ای (Batch API) در حالتی که پرامپت سیستم کش شده باشد تخمین بزنید و مشخص کنید چه زمانی بهتر است اجرای آن را به GPU اختصاصی خودتان منتقل کنید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

API دسته‌ای تخفیف ثابت 50 درصدی روی توکن‌های ورودی و خروجی می‌دهد، و کش کردن پرامپت سیستم هم ورودی تکراری را پس از نخستین نوشتن در کش، حدوداً ده‌برابر ارزان‌تر می‌کند. با اعمال هم‌زمان این دو مورد، در نمونه‌ی محاسبه‌شده در درس، تنها با سه تغییر در تنظیمات، هزینه‌ی شبانه به حدود 180 دلار می‌رسد؛ یعنی نزدیک به 9 درصدِ صورت‌حساب پردازش همگام. زمانی کار را به GPU خودتان منتقل کنید که این پردازش هر شب با بهره‌وری بالا اجرا شود و طول پیشوند مشترک کوتاه باشد؛ طوری که هیچ‌کدام از این دو تخفیف اثر چندانی نگذارند. برای تعیین ابعاد مناسب پردازش روی سرور خودتان نیز هم‌زمانی (concurrency) را تا جایی بالا ببرید که نرخ خروجی دیگر رشد نکند.

پاسخ کامل

سه صورت‌حساب

در این درس، صورت‌حساب پردازش همگامِ بدون کش برابر است با تعداد اسناد ضرب در نرخ کامل توکن‌های ورودی و خروجیِ هر فراخوانی؛ با فرض پرامپت مشترکِ حدوداً 4000 توکنی و خروجیِ تقریباً 200 توکنی برای هر سند.

  1. همگام، بدون کش. تمام فراخوانی‌ها هزینه‌ی کامل پرامپت و خروجی را پرداخت می‌کنند.
  2. همگام، با کش. پرامپت سیستم یک بار نوشته می‌شود و 49999 فراخوانی دیگر، آن را با هزینه‌ای در حدود یک‌دهمِ نرخ ورودی می‌خوانند.
  3. دسته‌ای، با کش. تمام موارد بالا، به‌علاوه‌ی 50 درصد تخفیف روی خواندن‌ها، نوشتن و خروجی.

نتیجه‌گیری درس: ترکیب پردازش دسته‌ای و کش، صورت‌حساب را به حدود 10 درصد حالت همگام بدون کش می‌رساند و هزینه‌ی این پایپ‌لاین نمونه را از شبی 2,000 دلار به حدود 180 دلار کاهش می‌دهد.

نکاتی که در برآورد پنهان می‌ماند

  • توکن‌های خروجی فقط مشمول تخفیف دسته‌ای می‌شوند. کش کردن فقط وضعیت اتنشن (attention state) پرامپت را بازاستفاده می‌کند و هیچ اثری روی توکن‌های تولیدشده ندارد؛ بنابراین در تسکی با خروجی‌های طولانی و پرامپت کوتاه، میزان صرفه‌جویی بسیار کمتر خواهد بود.
  • نخستین فراخوانیِ هر دسته، هزینه‌ی اضافی نوشتن در کش (Cache Write Premium) را می‌پردازد. این هزینه در برابر ده‌ها هزار بار خواندن، عملاً ناچیز و در حد نویز است. اگر اجرای دسته بیشتر از طول عمر کش طول بکشد، استفاده از نوع یک‌ساعته با هزینه‌ی نوشتن 2 برابری، از همان خواندن پنجم به بعد کاملاً می‌ارزد.
  • فیلدهای مصرف (usage) را در نمونه‌ای از نتایج بررسی کنید. اگر تمام درخواست‌های یک دسته کش را از دست بدهند (cache miss)، فقط نوشتن ثبت می‌شود و خبری از خواندن نخواهد بود؛ در این صورت تخفیف دوم عملاً هرگز رخ نداده است.
  • زمان تحویل نتایج حداکثر 24 ساعته تضمین می‌شود، ولی معمولاً ظرف چند ساعت آماده است. از آنجا که طول یک شب کمتر از این زمان تضمین‌شده است، پایبندی به مهلت صبحگاهی فقط با همان زمان تحویل معمول برقرار می‌ماند. دسته را یک روز زودتر ارسال کنید، یا برای دسته‌هایی که دیر آماده می‌شوند، یک طرح پشتیبان (Fallback) همگام نگه دارید.

چه زمانی GPU خودتان برنده است؟

یکی از تمرین‌های درس این است که مشخص کنید طول پیشوند مشترک باید چقدر باشد تا ترکیب دسته‌ای و کش از یک GPU رزروشده که در طول شب کار می‌کند ارزان‌تر تمام شود. GPU خودتان زمانی برنده است که سه شرط برقرار باشد: تسک یک GPU رزروشده را هر شب کاملاً مشغول نگه دارد، طول پیشوند مشترک کوتاه باشد تا عملاً چیزی برای کش کردن نماند، و خروجی‌ها طولانی باشند تا تخفیف دسته‌ای تنها اهرم در سمت ارائه‌دهنده باشد. الزامات اقامت داده (Data Residency) هم به‌تنهایی می‌تواند این تصمیم را یک‌سره کند.

تعیین ابعاد مناسب پردازش خودمیزبان

دستورالعمل مستندات vLLM برای پردازش آفلاین: کل فهرست پرامپت‌ها را در یک فراخوانی به کلاس موتور آفلاین پاس بدهید، یا دستور batch را روی فایلی از درخواست‌ها اجرا کنید، و هم‌زمانی را تا جایی افزایش دهید که نرخ تولید خروجی دیگر رشد نکند. روی کارت تست‌شده در این مستندات، نرخ خروجی در هم‌زمانی 32 به 273.9 توکن بر ثانیه رسید و در هم‌زمانی 64 تا 241.4 افت کرد؛ چون استخر حافظه پر شد و GPU با گلوگاه مواجه شد (throttled). سهمیه‌ی توکن (Token Budget) را برای بالا بردن نرخ پردازش (Throughput) بیشتر از 8,192 ببرید؛ زیرا وقتی کسی منتظر پاسخ لحظه‌ای نیست، کندیِ توکن اول هزینه‌ای ندارد. همچنین تعداد فراخوانی‌های در حال اجرا را در مقایسه با میزان مصرف کش زیر نظر بگیرید تا ببینید کدام محدودیت گلوگاه شده است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: کدام‌یک از دو تخفیف روی توکن‌های خروجی اعمال می‌شود؟ پاسخ مورد انتظار: فقط تخفیف دسته‌ای. کش کردن هزینه‌ی ورودیِ تکراری را پایین می‌آورد و هیچ اثری روی توکن‌های تولیدشده ندارد.
  • سطح 3: اولین فراخوانی در هر دسته، هزینه‌ی اضافی نوشتن در کش دارد. آیا این موضوع برآورد را تغییر می‌دهد؟ پاسخ مورد انتظار: در این حجم کاری، خیر. یک بار نوشتن با یک‌چهارم هزینه‌ی بیشتر، در برابر ده‌ها هزار بار خواندن با یک‌دهم قیمت، عملاً به چشم نمی‌آید.
  • سطح 4: چه زمانی یک GPU رزروشده از ترکیب دسته‌ای و کش بهتر عمل می‌کند؟ پاسخ مورد انتظار: زمانی که حجم کار هر شب GPU را کاملاً درگیر نگه دارد، پیشوند مشترک کوتاه باشد و خروجی‌ها بلند باشند؛ طوری که این دو تخفیف مانور چندانی نداشته باشند. تمرین درس، طول پیشوند سربه‌سر را دقیقاً محاسبه می‌کند.
  • سطح 4: چطور هم‌زمانی مناسب را برای این پردازش روی GPU خودتان پیدا می‌کنید؟ پاسخ مورد انتظار: کل فهرست را به موتور آفلاین یا دستور batch پاس بدهید، هم‌زمانی را تا جایی بالا ببرید که رشد توکن‌های خروجی بر ثانیه متوقف شود، و سهمیه‌ی توکن را افزایش دهید. در کارت آزمایش‌شده در مستندات، اوج کارایی در حدود 32 درخواست هم‌زمان بود.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «استفاده از حالت دسته‌ای به‌تنهایی هزینه را به یک‌دهم می‌رساند.» پردازش دسته‌ای به‌تنهایی صورت‌حساب را نصف می‌کند. عامل دیگر، کش کردن پرامپت مشترک است.
  • «صرفه‌جویی کش روی خروجی درست مانند ورودی است.» کش وضعیت اتنشن پرامپت را بازاستفاده می‌کند. تک‌تک توکن‌های خروجی تولید می‌شوند و با هزینه‌ی کامل، منهای تخفیف دسته‌ای، محاسبه خواهند شد.
  • «پردازش دسته‌ای برای یک کار شبانه بیش از حد کند است.» زمان تضمین‌شده یک روز است و تحویل معمول، ظرف چند ساعت انجام می‌شود. پردازش را یک روز زودتر ارسال کنید، یا برای موارد نادری که دسته با تأخیر روبه‌رو می‌شود، یک طرح پشتیبان همگام داشته باشید.

کجای دوره آموزش داده می‌شود

در درس APIهای دسته‌ای ترکیب این دو تخفیف روی پایپ‌لاین شبانه بررسی شده است، در درس اقتصاد کش قیمت‌های خواندن و نوشتن در کش آمده است، و در بخش پردازش‌های دسته‌ای vLLM 101 سقف نرخ پردازش برای اجرای خودمیزبان محاسبه شده است.