سؤال مصاحبه

دو فاز یک درخواست

The two phases of one request

  • سطح ۱: غربالگری
  • مفهومی
  • ۶ دقیقه

کاربری یک درخواست چت به موتور سرویس‌دهی (serving engine) می‌فرستد و پاسخ استریم می‌شود؛ ابتدا کمی با تاخیر و سپس کلمه‌به‌کلمه. توضیح دهید پردازنده‌ی گرافیکی (GPU) از لحظه‌ی رسیدن درخواست تا آخرین توکن دقیقاً چه کار می‌کند. فازها را نام ببرید و اعدادی را مشخص کنید که برای هر کدام در داشبورد ثبت می‌کنید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

هر درخواست دو فاز دارد. فاز پیش‌پرکنی (prefill) کل پرامپت را در یک مرحله می‌خواند و کلیدها و مقدارهای آن را درون کش کلید-مقدار (KV cache) می‌نویسد؛ بنابراین GPU مشغول محاسبات ریاضی می‌شود. سپس فاز رمزگشایی (decode) در هر گام، یک توکن به ازای هر درخواست می‌نویسد و برای انجام این کار در هر گام تمام وزن‌ها را می‌خواند؛ در نتیجه GPU معطل حافظه می‌ماند. چهار عدد این فرایند را اندازه می‌گیرند: TTFT برای مدت انتظار تا اولین توکن، TPOT و ITL برای استریم، و توکن‌های خروجی در ثانیه برای کل سرور.

پاسخ کامل

پیش‌پرکنی

پیش‌پرکنی تعداد زیادی از توکن‌های پرامپت را در یک گام پردازش می‌کند. کلیدها و مقدارهای تک‌تک توکن‌های پرامپت وارد کش کلید-مقدار می‌شوند. این گام به ازای هر بایتی که می‌خواند محاسبات ریاضی فراوانی انجام می‌دهد؛ بنابراین محدود به توان پردازشی (compute-bound) است. پرامپت طولانی، رسیدن اولین توکن را به تاخیر می‌اندازد.

رمزگشایی

رمزگشایی در هر گام، یک توکن جدید برای هر یک از درخواست‌های در حال اجرا تولید می‌کند. این گام برای انجام کار، فارغ از اندازه‌ی دسته (batch size)، تمام وزن‌های مدل را یک‌بار می‌خواند. در این مرحله به ازای محاسبات اندک، بایت‌های زیادی جابه‌جا می‌شوند؛ بنابراین محدود به حافظه (memory-bound) است. به همین دلیل در یک مدل متراکم (dense)، بزرگ‌تر کردن دسته تقریباً در هر گام هزینه‌ای ندارد: وزن‌ها برای تمام درخواست‌های حاضر در آن گام فقط یک‌بار خوانده می‌شوند.

چهار عدد کلیدی

عدد چه چیزی را اندازه می‌گیرد چه کسی آن را حس می‌کند
TTFT زمان انتظار از درخواست تا اولین توکن؛ عمدتاً زمان صف و پیش‌پرکنی کسی که منتظر شروع پاسخ است
TPOT میانگین زمان بین توکن‌ها پس از توکن اول کسی که یک پاسخ طولانی را می‌خواند
ITL فاصله‌ی زمانی بین هر دو توکن؛ صدک 99 آن بدترین توقف‌ها را نشان می‌دهد کسی که قطع و وصل شدن استریم را می‌بیند
Throughput توکن‌های خروجی در ثانیه برای همه‌ی کاربران با هم کسی که هزینه‌ی GPU را می‌دهد

این چهار عدد را کنار هم گزارش کنید. عدد نرخ پردازش به تنهایی، تاخیری را که کاربران حس می‌کنند پنهان می‌کند.

بار کاری چه بر سر آن‌ها می‌آورد

در راهنما، مدل Qwen/Qwen3-30B-A3B با vLLM 0.31.0 در شرایط 1 کاربر تا 64 کاربر هم‌زمان آزمایش شد:

کاربران هم‌زمان میانه‌ی TTFT میانه‌ی TPOT توکن‌های خروجی در ثانیه
1 257 میلی‌ثانیه 32.3 میلی‌ثانیه 29.5
64 965 میلی‌ثانیه 243.8 میلی‌ثانیه 239.3

با 64 کاربر، سرور حدوداً هشت برابر توکن بیشتری در ثانیه نوشت. در عوض، هر کاربر تقریباً چهار برابر بیشتر منتظر اولین توکن ماند و تولید هر توکن حدود 7.5 برابر بیشتر طول کشید. یک سرور شلوغ به ازای هر توکن ارزان‌تر تمام می‌شود و برای هر کاربر کندتر است. هر تصمیم برای تنظیم و بهینه‌سازی، یکی از این چهار عدد را جابه‌جا می‌کند و به قیمت تغییر عددی دیگر تمام می‌شود.

یک اسکژولر واحد، نه دو مرحله‌ی جدا

موتور سرویس‌دهی این دو فاز را به شکل مراحل مجزا اجرا نمی‌کند. در vLLM، هر گام اسکژولر یک سهمیه‌ی توکن (Token Budget) دارد. ابتدا درخواست‌های در حال اجرا توکن رمزگشایی بعدی خود را می‌گیرند. باقی‌مانده‌ی سهمیه به شکل تکه‌تکه به توکن‌های پرامپت می‌رسد. پیش‌پرکنی صرفاً درخواستی است که هنوز توکن‌های زیادی برای محاسبه دارد.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: کدام‌یک از این چهار عدد برای کسی که پاسخ طولانی را می‌خواند بیشترین اهمیت را دارد؟ پاسخ مورد انتظار: TPOT (میانگین فاصله‌ی بین توکن‌ها)، همراه با P99 ITL برای بدترین توقف‌ها.
  • سطح 2: چرا رمزگشایی محدود به حافظه و پیش‌پرکنی محدود به محاسبات است؟ پاسخ مورد انتظار: یک گام رمزگشایی تمام وزن‌ها را می‌خواند تا برای هر درخواست یک توکن تولید کند؛ بنابراین بایت‌های جابه‌جاشده دست بالا را دارند. یک گام پیش‌پرکنی صدها توکن پرامپت را در هر دور پردازش می‌کند؛ بنابراین نسبت محاسبات به هر بایت بالاست.
  • سطح 3: در آزمایش راهنما، خروجی 64 کاربر حدود هشت برابرِ یک کاربر بود. چرا هزینه‌ی هر توکن و معطلی هر کاربر در دو جهت مخالف حرکت می‌کنند؟ پاسخ مورد انتظار: هر گام رمزگشایی وزن‌ها را یک‌بار برای تمام درخواست‌های در حال اجرا می‌خواند؛ در نتیجه درخواست‌های بیشتری در یک بار خواندن وزن‌ها شریک می‌شوند؛ سپس هر درخواست باید منتظر گام طولانی‌تری بماند.
  • سطح 4: در این درس فاز پیش‌پرکنی و فاز رمزگشایی توصیف شدند. اسکژولر vLLM در عوض چه چیزی دارد؟ پاسخ مورد انتظار: در هر گام یک سهمیه‌ی توکن وجود دارد؛ درخواست‌های در حال اجرا ابتدا توکن بعدی‌شان را می‌گیرند و تکه‌های پرامپت باقی‌مانده را پر می‌کنند؛ پس پیش‌پرکنی صرفاً درخواستی است که توکن‌های زیادی برای محاسبه دارد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «نرخ پردازش همان عددی است که باید بهینه‌سازی شود و بقیه هم به دنبال آن می‌آیند.» نرخ پردازش چیزی است که صاحب GPU هزینه‌اش را می‌دهد؛ کاربران TTFT و فاصله‌ی بین توکن‌ها را حس می‌کنند، و در 64 کاربر، سرور راهنما هشت برابر توکن بیشتر نوشت در حالی که هر کاربر برای هر توکن حدود 7.5 برابر بیشتر معطل شد.
  • «پیش‌پرکنی و رمزگشایی به صورت دو مرحله‌ی جداگانه درون موتور اجرا می‌شوند.» اسکژولر vLLM در هر گام یک سهمیه‌ی توکن دارد؛ درخواست‌های در حال اجرا ابتدا یک توکن رمزگشایی می‌گیرند و تکه‌های پرامپت بقیه را پر می‌کنند، بنابراین این دو فاز در یک گام با هم ترکیب می‌شوند.
  • «TPOT و ITL یک عدد هستند.» معیار TPOT میانگین زمان به ازای هر توکن خروجی برای یک درخواست است؛ ITL هر فاصله‌ی بین دو توکن را می‌سنجد و صدک 99 آن توقف‌هایی را نشان می‌دهد که میانگین پنهان می‌کند.

کجای دوره آموزش داده می‌شود