مدیر ارشد فناوری (CTO) میخواهد تکتک فراخوانیهای حیاتی مدل در محصول، در برابر قطعی کامل یک ارائهدهنده تاب بیاورند؛ آن هم بدون نیاز به دیپلوی مجدد و بدون دو برابر شدن هزینهها. این ساختار را طراحی کنید: ارائهدهندهی دوم کجا قرار میگیرد، درخواستها چطور بین این دو جابهجا میشوند، چه چیزهایی باید در هر دو سمت کاملاً یکسان باشند و هزینهی این طراحی چقدر است؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
یک درگاه (Gateway) جلوی برنامهی کاربردی بگذارید که به ازای هر سناریوی مصرف، یک نام مستعار مدل (Model Alias)، یک فهرست اولویتبندیشده از دو ارائهدهنده پشت هر نام مستعار، و یک قانون طرح پشتیبان (Fallback) برای خطاهای سرور و محدودیت نرخ درخواست (Rate limit) با بودجهی بازآزمایی (Retry budget) محدود داشته باشد. ساختار پیشوندِ قابلکش، ترتیب ابزارها و اسکیمای (Schema) خروجی را در هر دو ارائهدهنده کاملاً یکسان نگه دارید؛ با این کار، در صورت تغییر مسیر خودکار هنگام خرابی (Failover)، درخواست میتواند به محض کش شدن آن پیشوند در ارائهدهندهی دوم، به کش اصابت کند و خروجی هم همچنان بهدرستی پارس شود. افزایش توان و هزینهها در وضعیت پایدار بسیار ناچیز است، چون درگاه بیشتر مواقع ترافیک را به ارائهدهندهی ترجیحی میفرستد؛ هزینهی واقعی صرف ارزیابیها (Evals) و تستهای پرامپتی میشود که باید دو بار اجرا شوند.
پاسخ کامل
چرا دو ارائهدهنده؟
درس پلتفرمهای مدیریتشده استدلال میکند که وابستگی کامل به یک پلتفرم، دسترسی شما را به بخش عمدهی مرز نوآوری مدلها میبندد؛ زیرا قویترین مدلها هر چند ماه یکبار بین شرکتهای مختلف جابهجا میشوند. علاوه بر این، قطعی منطقهایِ یک پلتفرم بهمعنای قطعی کامل محصول شماست. سیاست این درس، حداقل دو ارائهدهنده برای هر فراخوانی حیاتیِ محصول است. افزایش هزینه ناچیز است؛ چون درگاه در شرایط عادی ترافیک را به گزینهی بهتر هدایت میکند و دستاوردِ دردسترسبودن سیستم هنگام قطعی، تعیینکننده خواهد بود.
درگاه در لایهی جلو
درس لایهی مسیریابی (Routing layer) ساختار کلی را مشخص میکند. از آنجا که همهی طرفها از یک اسکیمای API یکسان استفاده میکنند، درگاه فقط یک اندپوینت (Endpoint) در اختیار میگذارد و کار ترجمه را پشت صحنه انجام میدهد. کد شما نام مستعاری مثل our_smart_model را فراخوانی میکند و درگاه این نام مستعار را به مدلی مشخص روی ارائهدهندهای مشخص نگاشت میکند. پشت هر نام مستعار، یک فهرست اولویت قرار دارد: ابتدا ارائهدهندهی اصلی، سپس ارائهدهندهی دوم در صورت خطای سرور یا محدودیت نرخ درخواست، و در نهایت رد درخواست. بازآزماییها از سقف یک بودجهی مشخص کم میشوند تا خرابی ارائهدهندهی اصلی نتواند هزینهها را چند برابر کند. درس درگاهها بخشهای دیگر این لایه را کامل میکند: محدودیت نرخ درخواست به ازای هر مستأجر (Tenant)، دریافت اطلاعات احراز هویت از والت (Vault) در محیط اجرا (Runtime)، مشاهدهپذیری (Observability) و گاردریلها (Guardrails).
اشتراکات الزامی میان هر دو سمت
- ساختار پیشوندِ قابلکش. قاعدهی جابهجایی میان ارائهدهندهها در درس کش کردن پرامپت (Prompt caching) این است که ساختار را دقیقاً یکسان نگه دارید تا هر اصابت به کش (Cache hit) در هر دو سمت کار کند: بخشهای ثابت در ابتدا و پیام کاربر در انتهای پرامپت.
- ترتیب سریالسازی ابزارها. جابهجا شدن ترتیب لیست ابزارها، در هر درخواست کش را از کار میاندازد.
- اسکیمای خروجی و پارسر. فیلاوری که قالبی تولید کند و برنامه نتواند آن را پارس کند، فرقی با قطعی ندارد.
- مجموعهی ارزیابی. با هر تغییر پرامپت، روی هر دو ارائهدهنده باید همان مجموعهتستهای رگرسیون اجرا شوند؛ وگرنه مسیر طرح پشتیبان بدون اینکه کسی متوجه شود دچار دریفت (Drift) میشود.
هزینههای این طراحی
- دو مجموعهی ارزیابی و تست رگرسیون پرامپت به ازای هر انتشار.
- سرد بودن کشها روی ارائهدهندهی دوم در شروع قطعی. درخواستهای اول هزینهی اضافیِ نوشتن در کش را میپردازند و شرط حداقل حجم بلوک قابلکش هم باید در هر دو سمت رعایت شود.
- تاخیر (Latency) خودِ درگاه؛ بسته به کلاس آن، از چند میلیثانیه تا چند ده میلیثانیه.
- یک خط لاگ به ازای هر فراخوانی که نشان دهد کدام ارائهدهنده به آن پاسخ داده است؛ تا صورتحساب تفکیک شود و نرخ فیلاور به چشم بیاید.
سنجش عملکرد قبل از وقوع قطعی
در محیط آزمایشی (Staging)، خطاهای محدودیت نرخ درخواست را بهصورت عمدی روی ارائهدهندهی اصلی تزریق کنید و انتقال ترافیک را ببینید. مدتزمان رسیدن به اولین پاسخ موفق از ارائهدهندهی دوم را بسنجید، و زمان رسیدن به توکن اول و تعداد خواندن از کش (Cache read) را حین فیلاور با وضعیت پایدار مقایسه کنید.
سؤالهای تکمیلی مصاحبهگر
- سطح 3: چرا ارائهدهندهی دوم در وضعیت پایدار هزینهی ناچیزی دارد؟ انتظار میرود: درگاه بیشتر ترافیک را به ارائهدهندهی ترجیحی میفرستد. ارائهدهندهی دوم فقط هنگام خرابیها و مانورهای آزمایشی ترافیک میگیرد.
- سطح 4: اگر ساختار پیشوند یکسان نباشد، در زمان فیلاور اول چه چیزی از کار میافتد؟ انتظار میرود: کش روی ارائهدهندهی دوم در تمام درخواستها از دست میرود (Cache miss)؛ بنابراین ساعتِ قطعی با هزینهی کامل محاسبه میشود و زمان رسیدن به توکن اول بهشدت بالا میرود.
- سطح 4: کدام خرابیها باعث فیلاور میشوند و کدام نمیشوند؟ انتظار میرود: خطاهای سرور، محدودیتهای نرخ درخواست و تایماوتها در ارائهدهندهی اصلی باعث فیلاور میشوند؛ اما مسدود شدن توسط گاردریل یا پاسخ نامعتبر نه، چون روی ارائهدهندهی دوم هم دقیقاً به همان صورت با شکست روبهرو خواهند شد.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «دو ارائهدهنده یعنی دو برابر شدن صورتحساب.» ارائهدهندهی دوم فقط حین خرابیها ترافیک دریافت میکند. درگاه بقیهی اوقات ترافیک را به سمت گزینهی ترجیحی هدایت میکند.
- «برای هر ارائهدهنده یک پرامپت جداگانه تنظیم کنید.» در این صورت هر تغییر باید دو بار تحویل داده شود و مسیر طرح پشتیبان دچار دریفت میشود. برای هر دو، یک ساختار و یک مجموعهی ارزیابی نگه دارید.
- «با هر خطایی فیلاور کنید.» مسدود شدن با گاردریل یا خطای اسکیما روی ارائهدهندهی دوم هم تکرار میشود و فقط هزینهی درخواستی را که باید سریع متوقف میشد (Fail-fast)، دو برابر میکند.
کجای دوره آموزش داده میشود
سیاست دو ارائهدهندهای در درس پلتفرمهای مدیریتشده، نامهای مستعار و زنجیرههای جایگزین در درس لایهی مسیریابی، قابلیتهای درگاه در درس درگاههای هوش مصنوعی، و تکنیک یکسان نگهداشتن ساختار قابلکش در ارائهدهندههای مختلف در درس کش کردن پرامپت آموزش داده شدهاند.