سؤال مصاحبه

طراحی API چت برای 10 هزار کاربر روزانه

Design a chat API for ten thousand daily users

  • سطح ۳: ارشد
  • طراحی
  • ۲۵ دقیقه

سرویس زیرساختی یک محصول چت را با 10,000 کاربر فعال روزانه طراحی کنید؛ هر کاربر حدود 5 پرسش می‌فرستد و هر پرسش تقریباً شامل 1,500 توکن ورودی و 400 توکن خروجی است. نمایش پاسخ به کاربر باید خیلی سریع شروع شود، تاخیر در بدترین سناریوها (Tail Latency) باید کاملاً مهارشده بماند، و محصول تارگت هزینه به ازای هر واحد مشخصی دارد. مسیر درخواست، اجزا، بودجه‌های تعیین‌شده برای هر بخش و نحوه‌ی مقیاس‌پذیری آن را مشخص کنید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

درخواست از طریق یک درگاه (Gateway) وارد می‌شود که احراز هویت و محدودیت نرخ درخواست (Rate limit) به ازای هر کاربر را اعمال می‌کند، از گاردریل‌های ورودی می‌گذرد، با یک کش معنایی (Semantic Cache) مطابقت داده می‌شود و در صورت عدم تطابق (Miss)، با استریمینگ به مدل هدایت می‌شود؛ سپس از گاردریل‌های خروجی، لاگر ارزیابی و سیستم ردگیری هزینه عبور می‌کند. بودجه‌ها عبارت‌اند از: میانه‌ی تاخیر زیر 2 ثانیه، صدک 99 (p99) زیر 10 ثانیه، نرخ اصابت (Hit Rate) کش بالای 30%، نرخ مسدودسازی گاردریل زیر 5%، و هزینه به ازای هر درخواست زیر $0.01. با 50,000 پرسش در روز، این سیستم روی چند سرور ناهمگام (Async) پشت یک لود بالانسر اجرا می‌شود؛ این سرورها محدود به ورودی/خروجی (I/O bound) هستند، بنابراین یک فرایند ناهمگام می‌تواند 100 درخواست هم‌زمان یا بیشتر را مدیریت کند و مقیاس‌پذیری یعنی افزودن سرور، نه افزایش تعداد هسته‌ها.

پاسخ کامل

مسیر درخواست

درگاه برای احراز هویت، محدودیت نرخ درخواستِ 10 تا 50 درخواست در دقیقه برای هر کاربر، و تنظیمات CORS؛ گاردریل‌های ورودی برای الگوهای تزریق پرامپت (Prompt Injection) و داده‌های شخصی؛ یک مسیریاب پرامپت (Prompt Router) برای انتخاب قالب و نسخه؛ یک کش معنایی بر اساس امبدینگ پرسش با یک آستانه شباهت و زمان بقا (TTL)؛ فراخوانی مدل به‌صورت استریمینگ همراه با یک زنجیره جایگزین (Fallback Chain)؛ گاردریل‌های خروجی؛ لاگر ارزیابی؛ سیستم ردگیری هزینه؛ و در نهایت ارسال پاسخ از طریق Server-Sent Events. هفت جز که هرکدام قطعه‌ای شناخته‌شده هستند؛ اصل مهندسی در اتصال دقیق این اجزا به یکدیگر و پایبندی به بودجه‌ها خلاصه می‌شود.

بودجه‌ها

شاخص تارگت دلیل
میانه‌ی تاخیر (Median latency) زیر 2 ثانیه تجربه‌ی معمولی کاربر
تاخیر p99 زیر 10 ثانیه تاخیرهای حاشیه‌ای عامل ریزش کاربر (Churn) هستند
نرخ اصابت کش بالای 30% صرفه‌جویی مستقیم در هزینه‌ها
نرخ مسدودسازی گاردریل زیر 5% نرخ بالاتر نشان‌دهنده‌ی مثبت کاذب (False positive) است
هزینه به ازای هر درخواست زیر $0.01 اقتصاد واحد (Unit Economics)

استریمینگ تضمین می‌کند که نخستین توکن حتی در صورت طولانی‌شدن پاسخ نهایی، در بازه‌ی بودجه‌ی میانه نمایش داده شود. محدودیت حداکثر توکن برای ورودی و خروجی، هم هزینه و هم تاخیرهای حاشیه‌ای را مهار می‌کند. برای تمامی فراخوانی‌های خارجی تایم‌اوت در نظر گرفته شده است.

بار کاری و ظرفیت

ترافیک روزانه 50,000 پرسش است و با احتساب نرخ اصابت واقعی کش، حدود 32,500 درخواست به مدل می‌رسند. پیک ترافیک اهمیت بیشتری نسبت به میانگین دارد؛ سیستم را برای شلوغ‌ترین دقیقه ابعاددهی کنید. سرورها منتظر I/O شبکه می‌مانند، بنابراین یک فرایند ناهمگام می‌تواند به بیش از 100 درخواست هم‌زمان سرویس دهد و یک سرور با 4 ورکر (Worker) بیش از 400 درخواست را پوشش خواهد داد. طبق جدول مقیاس‌پذیری این درس، این سطح از ترافیک به چند سرور ناهمگام به همراه یک کش و صف کاری نیاز دارد که هزینه‌ی زیرساخت آن حدود $500 در ماه خواهد بود و صورت‌حساب مدل نیز جداگانه اضافه می‌شود. استفاده از استخر اتصالات (Connection Pooling) به ارائه‌دهنده، جلوی تکرار فرایند دست‌دادن (Handshake) پروتکل TLS برای هر درخواست را می‌گیرد که در غیر این صورت هر بار 100 تا 200 میلی‌ثانیه زمان می‌برد. کارهای غیرتعاملی مثل خلاصه‌سازی، به یک صف همراه با ورکرها منتقل می‌شوند و شناسه‌ی کاری بازگردانده می‌شود تا کلاینت وضعیت آن را استعلام (Poll) کند.

مشاهده‌پذیری

هر درخواست یک خط لاگ ساختاریافته شامل شناسه‌ی درخواست، کاربر، قالب و نسخه، مدل، تعداد توکن‌های ورودی و خروجی، تاخیر، نتیجه‌ی کش، نتایج گاردریل و هزینه را ثبت می‌کند. ردگیری محاسبات (Trace) میان بخش‌های مختلف نشان می‌دهد که زمان دقیقاً کجا صرف شده است. این 5 شاخص جدول همگی روی یک داشبورد مشترک قرار می‌گیرند.

در صورت استفاده از مدل خودمیزبان

مرحله‌ی سرویس‌دهی در درس پایپ‌لاین، مواردی مانند دسته‌بندی پیوسته (Continuous Batching)، دیکودینگ حدسی (Speculative Decoding) و تخلیه KV Cache را به همراه وزن‌های کوانتایزشده برای سرویس‌دهی اضافه می‌کند و گیت ارزیابی (Eval Gate) مجدداً روی مدل کوانتایزشده اجرا می‌شود. همان درگاه، کش و گاردریل‌ها پیش از مدل قرار می‌گیرند.

پیش از راه‌اندازی

چک‌لیست استقرار 15 مورد دارد؛ مواردی که معمولاً نادیده گرفته می‌شوند عبارت‌اند از: محدودیت نرخ درخواست به ازای کاربر، سقف حداکثر توکن، اندپوینت سلامت که وضعیت وابستگی‌ها را گزارش کند، تعیین تایم‌اوت برای تمام فراخوانی‌های خارجی، و تست بار با 100 کاربر هم‌زمان.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: اگر کاربری متنی بسیار بلندتر از پنجره‌ی بافتار (Context Window) ارسال کند، کجا جلوی آن گرفته می‌شود؟ انتظار می‌رود: در بررسی سقف حداکثر توکن ورودی قبل از فراخوانی مدل و با ارسال یک خطای واضح، نه توسط ارائه‌دهنده‌ی مدل.
  • سطح 3: وقتی هزینه‌ی هر درخواست در چارچوب تارگت است، چرا هزینه‌ی هر کاربر اهمیت دارد؟ انتظار می‌رود: تعداد معدودی کاربر پرمصرف بخش عمده‌ی صورت‌حساب را رقم می‌زنند؛ ردگیری به ازای کاربر و تعیین سقف روزانه باعث انتقال آن‌ها به یک مدل ارزان‌تر یا مسدودسازی درخواست‌هایشان می‌شود.
  • سطح 4: اگر ارائه‌دهنده‌ی مدل در زمان پیک ترافیک روزانه دچار قطعی منطقه‌ای شود، مسیر درخواست چگونه پیش می‌رود؟ انتظار می‌رود: عقب‌گرد (Backoff) و تلاش مجدد روی مدل اصلی، رفتن به مدل دوم از طریق زنجیره جایگزین، بازگرداندن پاسخ‌های کش‌شده برای درخواست‌های تکراری و در نهایت نمایش پیام عدم دسترسی؛ سیستم ردگیری هزینه، قیمت مدل جایگزین را ثبت می‌کند و داشبورد مشخص می‌سازد کدام گام به درخواست پاسخ داده است.
  • سطح 4: چگونه پیش از ورود اولین کاربر اثبات می‌کنید که سرویس به بودجه‌های تعیین‌شده می‌رسد؟ انتظار می‌رود: اجرای تست بار با 100 کاربر هم‌زمان روی محیط استیجینگ با تکیه بر معیارهای داشبورد به‌عنوان شرط قبولی، به‌علاوه‌ی اجرای سایه‌ای (Shadow Run) پرامپت‌ها بر اساس ترافیک لاگ‌شده.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «اول از همه سرورهای مدل را مقیاس‌پذیر کنید.» این سرویس در این حجم ترافیک I/O bound است؛ پایه‌ی اصلی طراحی سیستم، درگاه، کش و سرورهای ناهمگام هستند و مدل صرفاً یک وابستگی خارجی است.
  • «کش را حذف کنید؛ اصل محصول همان مدل است.» یک‌سوم ترافیک تکراری است و استفاده از کش بزرگ‌ترین فاکتور صرفه‌جویی در صورت‌حساب محسوب می‌شود.
  • «تاخیر p99 مشکل سرویس‌دهنده‌ی مدل است.» تعیین تایم‌اوت، سقف حداکثر توکن، استریمینگ و زنجیره جایگزین مواردی هستند که تاخیرهای حاشیه‌ای را از سمت شما مهار می‌کنند.

کجای دوره آموزش داده می‌شود

در درس ساخت اپلیکیشن LLM در محیط عملیاتی معماری، بودجه‌ها، جدول مقیاس‌پذیری و چک‌لیست آورده شده است، و در درس پایپ‌لاین کامل LLM مرحله‌ی سرویس‌دهی برای مدل خودمیزبان بررسی می‌شود.