تیمی پایپلاین گزارشگیری شبانهی خود را از طریق همان اندپوینت (endpoint) همگام محصول چت اجرا میکند، فقط به این دلیل که این پایپلاین در محیط عملیاتی (production) است. بارهای کاری مدل را چطور دستهبندی میکنید و این مورد در کدام دسته قرار میگیرد؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
هر بار کاری را بر اساس تاخیری که کاربرش میپذیرد تفکیک کنید، نه بر اساس محل اجرای آن. کار تعاملی کاربری دارد که منتظر اولین توکن (token) میماند و با کش کردن پرامپت (prompt caching) بهصورت همگام اجرا میشود. کار نیمهتعاملی از طریق یک صف ناهمگام (async queue) ظرف چند دقیقه پاسخ میدهد. هر کاری که کاربرش بتواند تا سررسید کامل تعهد منتظر بماند، به API دستهای (Batch API) تعلق دارد؛ این API تخفیف 50 درصدی میدهد، زمان تحویل آن حداکثر 24 ساعت تضمین شده و معمولاً ظرف چند ساعت پاسخ میدهد. گزارش شبانه زمانی دستهای است که دریافت نتیجه در سقف 24 ساعته همچنان به ددلاین برسد، یا اینکه یک طرح پشتیبان (fallback) همگام، تاخیر دسته را پوشش دهد.
پاسخ کامل
سه مسیر اصلی
| مسیر | کاربر | مسیر اجرا |
|---|---|---|
| تعاملی | منتظر اولین توکن میماند | همگام، همراه با کش کردن پرامپت |
| نیمهتعاملی | درخواست را ثبت میکند و چند دقیقه بعد برای بررسی برمیگردد | صف ناهمگام، همراه با طرح پشتیبان همگام |
| دستهای | انتظار دارد نتیجه تا صبح یا پایان روز آماده شود | API دستهای، با لایهبندیِ کش روی ورودی |
اشتباه در دستهبندی
قاعدهی این درس صریح است: محیط عملیاتی یک مشخصهی تاخیر نیست، بلکه SLA (توافقنامهی سطح خدمات) مشخصهی آن است. اشتباه رایج این است که هر کاری را صرفاً چون در محیط عملیاتی اجرا میشود، تعاملی بدانیم. خویشاوند این اشتباه، تلهی نیمهتعاملی بودن است: گزارشی با دکمهی بازخوانی (refresh) که کاربران با کمال میل 10 دقیقه برایش صبر میکنند، اما بهصورت یک فراخوانی همگام عرضه شده است. این درس نشان میدهد هزینهی 50 بازخوانی همزمان، 10 برابر هزینهی همان گزارش در قالب دستهای و ارسالشده با ایمیل است.
تعهد پردازش دستهای چیست؟
پاسخدهی ظرف حداکثر 24 ساعت، که معمولاً چند ساعت بیشتر طول نمیکشد؛ زیرا ارائهدهنده زمانی دسته را اجرا میکند که ظرفیت خالی دارد. این درس چنین فرآیندی را ناهمگام مینامد، نه کُند.
ترکیب با کش کردن
یک پایپلاین شبانه در تمام فراخوانیهایش از یک پرامپت سیستم مشترک استفاده میکند. اگر این پیشوند را کش کنید و پایپلاین را روی API دستهای ببرید، محاسبات درس نشان میدهد هزینه به حدود 10 درصدِ هزینهی حالت همگام بدون کش کاهش مییابد. در مثال افتتاحیهی درس، تنها با سه تغییر در پیکربندی، زمان اجرای یک پایپلاین شبانه از چهار ساعت حالت همگام به اجرایی دستهای تبدیل شد که فقط حدود 9 درصدِ صورتحساب قبلی هزینه برد.
تلهی دیگر
فرمت فایلهای دستهای در ارائهدهندههای مختلف فرق دارد؛ بنابراین یک کلاینت دستهای برای هر ارائهدهنده به یک تطبیقدهنده (adapter) نیاز دارد. گیتویهایی هم که ادعای پشتیبانی دستهای از چند ارائهدهنده را دارند، باز هم صرفاً همان فرمتهای خام را کپسولهسازی میکنند.
سؤالهای تکمیلی مصاحبهگر
- سطح 1: چه سوالی مسیر یک بار کاری را تعیین میکند؟ پاسخ مورد انتظار: اینکه یک روز انتظار برای این کاربر چه معنایی دارد. اگر متوجه نشود، کار دستهای است.
- سطح 2: کاربری روی گزینهی بازخوانیِ گزارش سلامت کلیک میکند و بدون هیچ اعتراضی 10 دقیقه منتظر میماند. این کار در کدام مسیر قرار میگیرد؟ پاسخ مورد انتظار: در بیشترین حالت نیمهتعاملی، و اگر گزارش بتواند با ایمیل ارسال شود، کاملاً دستهای. پیادهسازیِ همگام آن همان تلهی نیمهتعاملی است.
- سطح 2: چرا این درس، حالت دستهای را به جای کُند، ناهمگام مینامد؟ پاسخ مورد انتظار: چون تعهد ارائهدهنده بازگرداندن پاسخ ظرف یک روز است و در حالت عادی چند ساعت زمان میبرد؛ زیرا ارائهدهنده کار را در زمان بیکاری ظرفیتش اجرا میکند.
- سطح 3: وقتی برای دو ارائهدهنده فقط یک کلاینت دستهای بنویسید، چه چیزی از کار میافتد؟ پاسخ مورد انتظار: فرمت فایلها متفاوت است، بنابراین برای هر ارائهدهنده به یک تطبیقدهنده نیاز دارید.
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «چون در محیط عملیاتی اجرا میشود، پس تعاملی است.» محیط عملیاتی فقط محل اجراست. مسیر بار کاری بر اساس تاخیری تعیین میشود که کاربر حاضر به پذیرش آن است.
- «دستهای یعنی رسیدن به پاسخ یک روز طول میکشد.» تعهد این است که ظرف یک روز تحویل داده شود؛ پاسخدهی معمولاً چند ساعت زمان میبرد.
- «تخفیف 50 درصدی ارزش این پیچیدگی را ندارد.» ترکیب این روش با کش کردنِ پیشوندهای مشترک، هزینه را به حدود یکدهمِ حالت همگام میرساند؛ درسی که به آن ارزانترین اهرمی میگوید که هیچکس سراغش نمیرود.
کجای دوره آموزش داده میشود
درس APIهای دستهای این سه مسیر و دو تله را مشخص میکند.