سؤال مصاحبه

کدام درگاه‌ها در بودجه‌ی تاخیر دُم 20 میلی‌ثانیه‌ای جا می‌گیرند؟

Which gateways fit in a 20 ms tail budget

  • سطح ۲: میانی
  • تخمین
  • ۸ دقیقه

توافق‌نامه‌ی سطح خدمت (SLA) شما، زمان تا اولین توکن (TTFT) زیر 320 میلی‌ثانیه در صدک 99 (P99) است. خود مدل به‌تنهایی در P99 حدود 300 میلی‌ثانیه تاخیر دارد. می‌خواهید درگاهی پیش روی آن بگذارید. کدام دسته‌ها از درگاه‌ها در این بودجه جا می‌شوند، و اگر گزینه‌ی مدنظرتان جا نشد چه می‌کنید؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

درگاه در بخش دُم توزیع (Tail) حداکثر 20 میلی‌ثانیه فرصت دارد. درگاه مدیریت‌شده در لبه (Edge-managed) با تاخیر 1 تا 3 میلی‌ثانیه و درگاه با کارایی بالا (High-performance) با تاخیر 3 تا 8 میلی‌ثانیه در این بودجه می‌گنجند؛ پراکسی سبک‌وزن با تاخیر 5 تا 15 میلی‌ثانیه با حاشیه‌ی امن ناچیزی جا می‌شود؛ اما درگاه صفحه‌ی کنترل (Control-plane) با تاخیر 20 تا 40 میلی‌ثانیه به این بودجه نمی‌رسد. اگر به امکانات درگاه کندتر نیاز دارید، نقش‌ها را تفکیک کنید: درگاه سریع را در مسیر رفت‌وبرگشت درخواست بگذارید، قابلیت‌های سنگین را خارج از مسیر اصلی اجرا کنید، یا با سریع‌تر کردن اولین توکن در خود مدل، بودجه‌ی ازدست‌رفته را جبران کنید.

پاسخ کامل

بودجه‌ی زمانی

هدف 320 میلی‌ثانیه است و مدل 300 میلی‌ثانیه زمان می‌برد؛ پس درگاه حداکثر مجاز است 20 میلی‌ثانیه به این زمان اضافه کند، آن هم در دُم توزیع تاخیر. وقتی هدف‌گذاری بر پایه‌ی P99 است، منظور P99 خود درگاه است نه میانه‌ی آن؛ درگاهی که در حالت بی‌باری سریع است، زیر بار ترافیکی می‌تواند کند شود. جمع زدن دُم این دو معیار فقط یک برآورد اولیه برای غربالگری است. پیش از آنکه به این SLA متعهد (commit) شوید، P99 سرتاسری اولین توکن را زیر بار واقعی و از طریق درگاه اندازه بگیرید.

دسته‌بندی درگاه‌ها

دسته سربار در متن درس در بودجه می‌گنجد؟
مدیریت‌شده در لبه، بدون نیاز به عملیات (Zero-ops) 1 تا 3 میلی‌ثانیه بله
با کارایی بالا، ساخته‌شده روی درگاه API بالغ 3 تا 8 میلی‌ثانیه بله
پراکسی متن‌باز سبک‌وزن 5 تا 15 میلی‌ثانیه با حاشیه‌ی امن کم
صفحه‌ی کنترل به‌همراه گاردریل‌ها و ممیزی 20 تا 40 میلی‌ثانیه خیر

این موضوع با قاعده‌ی سرانگشتی درس هم‌خوانی دارد: برای P99 زیر 100 میلی‌ثانیه، سراغ دسته‌ی لبه یا کارایی بالا بروید. برای P99 زیر 500 میلی‌ثانیه، هر دسته‌ای کارتان را راه می‌اندازد.

راهکار استفاده از درگاه کندتر

دسته‌ی صفحه‌ی کنترل امکاناتی مثل پاک‌سازی داده‌های حساس (PII redaction)، شناسایی جیل‌بریک و ردگیری ممیزی (Audit Trail) را فراهم می‌کند. سه روش برای نگه‌داشتن این امکانات در محدوده‌ی بودجه وجود دارد:

  1. تفکیک نقش‌ها: درگاه سریع را در مسیر مستقیم درخواست بگذارید و مشاهده‌پذیری و ممیزی را خارج از مسیر اصلی اجرا کنید. در درس هم اشاره شد که استقرارهای محیط عملیاتی، ابزار مشاهده‌پذیری را با درگاه مقیاس‌پذیر دقیقاً با همین شیوه تفکیک و ترکیب می‌کنند.
  2. نگه‌داشتن موارد کاملاً ضروری در مسیر اصلی: پاک‌سازی داده‌های حساس باید پیش از دیدن پرامپت توسط سرویس‌دهنده اجرا شود، پس ناچاراً در مسیر اصلی می‌ماند؛ اما ممیزی و ردگیری محاسبات نیازی به حضور در مسیر مستقیم ندارند.
  3. بازخرید بودجه از سمت مدل: کش پیشوند زمان تولید اولین توکن را کاهش می‌دهد؛ استفاده از رده‌ی سریع‌تری از مدل‌ها هم همین اثر را دارد.

تاثیر مقیاس روی تصمیم‌گیری

طبق بنچمارک‌های منتشرشده، پراکسی سبک‌وزن در حدود 2000 درخواست بر ثانیه با مصرف حافظه‌ی 8 گیگابایت از کار می‌افتد؛ متن درس حتی سقف آن را زیر 500 درخواست بر ثانیه در نظر می‌گیرد. اگر ترافیک قرار است فراتر از این عدد برود، دسته‌ی کارایی بالا تنها گزینه‌ای است که هم با محدودیت تاخیر هم‌خوانی دارد و هم با مقیاس کاری شما.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا تاخیر درگاه را در P99 می‌سنجیم نه در میانه؟ پاسخ مورد انتظار: SLA بر اساس P99 تعریف شده و دُم توزیع درگاه به دُم توزیع مدل اضافه می‌شود.
  • سطح 3: ارزش اصلی درگاه کند، پاک‌سازی داده‌های حساس است. چطور آن را داخل بودجه نگه می‌دارید؟ پاسخ مورد انتظار: پاک‌سازی را درون‌خطی نگه دارید چون باید قبل از رسیدن پرامپت به سرویس‌دهنده انجام شود؛ مشاهده‌پذیری و ممیزی را از مسیر مستقیم خارج کنید؛ سپس اندازه بگیرید که آیا سربار باقی‌مانده در بودجه می‌گنجد یا خیر.
  • سطح 3: ترافیک در سال آینده سه برابر خواهد شد. کدام دسته دوام می‌آورد؟ پاسخ مورد انتظار: پراکسی سبک‌وزن در حدود 2000 درخواست بر ثانیه از پا درمی‌آید، پس باید پیش از رسیدن به این نقطه، برنامه‌ی مهاجرت به دسته‌ی کارایی بالا را بچینید.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «هر درگاهی فقط چند میلی‌ثانیه اضافه می‌کند، بر اساس امکانات انتخاب کنید.» سربار درگاه‌ها طبق درس بین 1 تا 40 میلی‌ثانیه متغیر است و 40 میلی‌ثانیه، دو برابر کل بودجه‌ی شماست.
  • «درگاه را پشت مدل بگذارید، نه جلویش.» درگاه باید قبل از رسیدن به مدل، مسیردهی و رفتار جایگزین (Fallback) را مدیریت کند. اگر پشت مدل باشد، جلوی هیچ خطایی را نمی‌گیرد.
  • «میانه‌ی درگاه را با P99 مدل جمع بزنید.» دو دُم توزیع این‌طور با هم جمع نمی‌شوند. باید دُم خود درگاه را زیر بار بسنجید.

کجای دوره آموزش داده می‌شود

درس درگاه‌های هوش مصنوعی سربار تاخیر و سقف مقیاس‌پذیری هر دسته از درگاه‌ها را بررسی کرده است.