مسیر پردازش درخواست (request path) را برای یک سرویس چت که مدلی میزبانیشده را فراخوانی میکند، طراحی کنید. اگر کاربر چند ثانیه چیزی نبیند سرویس را ترک میکند؛ ارائهدهنده شبها با خطای محدودیت نرخ درخواست (rate limit) و خطای سرور روبهرو میشود؛ و پایگاه دادهی برداری در بخش بازیابی (retrieval) گاهی تایماوت میدهد. مشخص کنید کاربر چه چیزی میبیند، تلاش مجدد (retry) چطور انجام میشود و اگر هر بخش از کار بیفتد چه اتفاقی رخ میدهد.
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
توکنها را با رویدادهای ارسالی از سرور (server-sent events) استریم کنید تا اولین توکن در چند صد میلیثانیه ظاهر شود، حتی اگر ارسال پاسخ کامل چند ثانیه طول بکشد. خطاهای ارائهدهنده را با عقبگرد نمایی (exponential backoff) و نوسان تصادفی (jitter) تا حداکثر 3 بار تلاش مجدد برطرف کنید؛ سپس زنجیره جایگزین (fallback chain) مرتبشدهای را طی کنید: ابتدا مدلهای دیگر، بعد پاسخ کششده و در نهایت یک پیام کوتاه مبنی بر «در دسترس نبودن». سیستمهای ثانویه بهجای زمین زدن کل درخواست، دچار تنزل کنترلشده (degrade) میشوند: اگر پایگاه دادهی برداری قطع باشد کانتکست بازیابی حذف میشود، اگر کش کار نکند مدل مستقیماً فراخوانی میشود و اگر گاردریل (guardrail) جلوی درخواست را بگیرد پیامی شفاف به کاربر نشان داده میشود.
پاسخ کامل
استریمینگ
تولید پاسخی با چند صد توکن خروجی بین 3 تا 8 ثانیه زمان میبرد. بدون استریمینگ، کاربر در تمام این مدت به نشانگر لودینگ (spinner) خیره میشود. با استریمینگ، اولین توکن ظرف 200 تا 500 میلیثانیه به دستش میرسد؛ زمان کل تغییری نمیکند، اما تاخیرِ درکشده (perceived latency) بسیار کمتر میشود. رویدادهای ارسالی از سرور (SSE) گزینهی پیشفرض هستند: یکطرفه، روی بستر HTTP ساده، و قابل خواندن با EventSource مرورگر یا هر کلاینت HTTP دیگر. وبسوکتها (WebSockets) برای نیازهای دوطرفه مانند صوت به کار میروند و نظرسنجی طولانی (long polling) برای کلاینتهایی است که هیچکدام از این دو را پشتیبانی نمیکنند.
سه لایهی خطا
| لایه | مثال | راهکار بازیابی |
|---|---|---|
| ارائهدهنده | خطای 429 محدودیت نرخ، خطای 500 سرور، تایماوت | عقبگرد همراه با نوسان تصادفی، سپس زنجیره جایگزین |
| مدل | JSON نامعتبر، نام تابع ساختگی | یک بار تلاش مجدد همراه با ارسال خطا در پرامپت |
| اپلیکیشن | کندی پایگاه دادهی برداری، قطعی کش، خطای گاردریل | تنزل سرویس: نادیده گرفتن سیستم ثانویه |
عقبگرد از 1 ثانیه شروع میشود، در هر تلاش دو برابر میشود و مقداری نوسان تصادفی اضافه میکند تا کلاینتهای پرشمار همزمان و هماهنگ دوباره درخواست نفرستند. سقف تلاش مجدد 3 بار است؛ پس از آن، درخواست به مدل بعدی میرود. تمام فراخوانیهای خارجی تایماوت دارند که پیشفرض آن حدود 30 ثانیه است.
زنجیره جایگزین
ابتدا مدل اصلی، سپس مدلی ارزانتر یا دردسترستر، بعد مدلی کوچکتر، پس از آن پاسخ کششده، و در آخر پیام در دسترس نبودن سرویس. هر مرحله از کیفیت میکاهد تا دردسترسبودن حفظ شود. کاربر همیشه چیزی دریافت میکند و لاگها ثبت میکنند که کدام مرحله پاسخ داده است تا ردیاب هزینه و داشبورد کیفیت بتوانند آن را بهدرستی تفکیک کنند.
جدول تنزل سرویس
- خطای 429: تلاش مجدد با عقبگرد؛ درخواست را در صف بگذارید و به کاربر بگویید در حال پردازش است.
- خطای 500: تا 3 بار تلاش مجدد، سپس تغییر مدل؛ بدون جلب توجه کاربر.
- تایماوت: 1 بار تلاش مجدد با پرامپتی کوتاهتر یا مدلی کوچکتر.
- خروجی نامعتبر: تلاش مجدد همراه با متن خطا، وگرنه بازگرداندن متن خام.
- مسدودسازی توسط گاردریل: بدون تلاش مجدد؛ توضیح دلیل مسدود شدن درخواست به کاربر.
- قطعی پایگاه دادهی برداری: بدون تلاش مجدد روی پایگاه داده؛ پاسخدهی بدون کانتکستِ بازیابی.
- قطعی کش: بدون تلاش مجدد روی کش؛ فراخوانی مستقیم مدل.
قراردادِ پیش روی کاربر
اهداف داشبورد شامل میانه (median) زیر 2 ثانیه و صدک 99 (p99) زیر 10 ثانیه است. استریمینگ باعث میشود زمان رسیدن اولین توکن به زیر هدفِ میانه برسد، حتی وقتی پاسخ کامل به این هدف نرسد. پاسخهای استریمشده یک دام دارند: خط وضعیتِ HTTP (status line) قبل از اولین توکن ارسال میشود؛ بنابراین، هر خطایی بعد از آن رخ دهد باید بهصورت یک رویداد خطا (error event) درون خود استریم ارسال شود.
سؤالهای تکمیلی مصاحبهگر
- سطح 2: چرا به عقبگرد، نوسان تصادفی اضافه میکنیم؟ پاسخ مورد انتظار: در غیر این صورت، کلاینتهای زیادی که همزمان به خطا خوردهاند، دقیقاً در لحظاتی یکسان دوباره تلاش میکنند و همان بار اضافه را از نو میسازند.
- سطح 2: چرا برای مسدودسازی توسط گاردریل تلاش مجدد انجام نمیشود؟ پاسخ مورد انتظار: مشکل از خود ورودی است؛ تلاش مجدد با همان ورودی دوباره مسدود میشود و فقط یک درخواست را میسوزاند.
- سطح 3: مدل جایگزین قیمت متفاوتی دارد. این اختلاف کجا خودش را نشان میدهد؟ پاسخ مورد انتظار: در ردیاب هزینه بهازای هر درخواست و بهازای هر مدل؛ تا داشبورد علاوه بر نرخ قطعی، هزینهی ناشی از آن را هم نشان دهد.
- سطح 3: استریم شروع شده و مدل با خطا مواجه میشود. سرور هنوز چه کاری میتواند بکند؟ پاسخ مورد انتظار: ارسال یک رویداد خطا درون خود استریم، چون وضعیت HTTP قبلاً ثبت و ارسال شده (commit) است.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «آنقدر تلاش مجدد کنید تا ارائهدهنده جواب بدهد.» تلاشهای بیپایان در زمان قطعی روی هم تلنبار میشوند؛ برایشان سقف بگذارید و در زنجیره پایین بروید.
- «اگر بخش بازیابی قطع شد، کل درخواست را رد کنید تا پاسخ متکی بر حقیقت بماند.» سیستم ثانویه نباید جریان کاری اصلی را قطع کند؛ با کانتکست کمتر پاسخ دهید و موضوع را لاگ کنید.
- «برای سادگی، کل پاسخ را بافر کنید و یکباره بفرستید.» کاربر چند ثانیه هیچ چیزی نمیبیند و صفحه را میبندد؛ در هر دو صورت زمان کل یکسان است.
کجای دوره آموزش داده میشود
در درس اپلیکیشن LLM در محیط عملیاتی، پروتکلهای استریمینگ، سه لایهی خطا، زمانبندی عقبگرد و زنجیره جایگزین بررسی شدهاند.