سؤال مصاحبه

200 ابزار ثبت‌شده، 40 ابزار دردسترس در هر نوبت

Two hundred registered tools, forty visible at a time

  • سطح ۴: استف
  • طراحی
  • ۱۵ دقیقه

بستر آزمایشی (harness) شما توسعه پیدا کرده و حالا حدود 200 ابزار مختلف از چندین تیم در آن ثبت شده است. مدل نمی‌تواند همه‌ی آن‌ها را در کانتکست نگه دارد، چندی پیش دو تیم ابزاری را با نامی یکسان ثبت کردند و دومی بدون هیچ هشداری جایگزین اولی شد، و با گسترش کاتالوگ، نرخ موفقیت سیستم افت کرده است. رجیستری ابزار (Tool Registry) و سیاست تعیین ابزارهای دردسترسِ مدل در هر نوبت گفت‌وگو (turn) را طراحی کنید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

رجیستری را به تنها منبع حقیقت (Source of Truth) برای آگاهی از ابزارهای موجود، ساختار آرگومان‌ها و کنترل‌کننده‌ی (handler) اجرایی تبدیل کنید؛ همچنین در هر نوبت فقط 10 تا 40 ابزار را به مدل نشان دهید. رجیستری برای هر ابزار یک رکورد با تایپ مشخص نگه می‌دارد، ثبت مجدد یک نام را رد می‌کند مگر اینکه فراخواننده صراحتاً درخواست بازنویسی داده باشد، و تمام فراخوانی‌ها را بر اساس زیرمجموعه‌ی کوچکی از اسکیمای JSON (با عنوان JSON Schema) ارزیابی کرده و خطاهایی در قالب اشاره‌گر برمی‌گرداند. سیاست نمایش ابزار نیز متادیتای ابزارها را فقط در صورتی وارد کانتکست می‌کند که وظیفه (task) به آن نیاز داشته باشد؛ هر چه مدل ابزار کمتری ببیند، آن‌ها را بهتر و دقیق‌تر فراخوانی می‌کند.

پاسخ کامل

رکورد ابزار

فیلد کاربرد
name یکتا، با حروف کوچک و بخش‌های تفکیک‌شده با نقطه
description توضیح تک‌خطی که به مدل نشان داده می‌شود
schema زیرمجموعه‌ای از اسکیمای JSON شامل هشت کلیدواژه
handler تابع قابل‌فراخوانی، که برای اعتبارسنج کاملاً پنهان و جعبه‌سیاه است
idempotent به توزیع‌کننده‌ی وظایف (dispatcher) امکان می‌دهد درباره‌ی امن‌بودن تلاش مجدد تصمیم بگیرد
timeout_ms مهلت زمانی اختصاصی ابزار که مقدار پیش‌فرض توزیع‌کننده را بازنویسی می‌کند

اسکیما از جنس داده است و کنترل‌کننده از جنس کد. این دو را از هم جدا نگه دارید تا پای اعتبارسنجی هرگز به درون کنترل‌کننده‌ها کشیده نشود.

سه قاعده‌ی رجیستری

  1. جلوگیری از بازنویسی خاموش. متد register در مواجهه با نام تکراری باید خطا پرتاب کند، مگر اینکه override=True قید شده باشد. اتفاقی که در صورت مسئله آمد دقیقاً ناشی از نبودِ همین قاعده بود.
  2. اعتبارسنجی پیش از توزیع. یک پیمایش بازگشتی و خالص (pure) روی اسکیما، یا نتیجه‌ی Ok برمی‌گرداند یا فهرستی از خطاها را با مسیرهای اشاره‌گر جی‌سان (JSON Pointer). اینجا نه تغییر نوع داده (coercion) در کار است، نه فراخوانی کنترل‌کننده و نه ورودی/خروجی (I/O)؛ به همین دلیل می‌توان این اعتبارسنج را دوباره روی یک لاگ بازپخش (replay) اجرا کرد.
  3. رجیستری ساختار را می‌سنجد، نه امنیت را. مواردی مثل مهلت زمانی (timeout) و ساندباکس (sandbox) در توزیع‌کننده‌ی وظایف قرار می‌گیرند. یک فراخوانی اعتبارسنجی‌شده هم ممکن است رفتار نامناسبی نشان دهد.

سیاست نمایش ابزار

کاتالوگی با 200 ابزار و کانتکستی که گنجایش 40 ابزار را دارد، یک مسئله‌ی مسیریابی (routing) است. در هر نوبت، بر اساس وظیفه‌ی جاری زیرمجموعه‌ای از ابزارها را رو کنید و بقیه را در صورت نیاز (just in time) بارگذاری کنید. در درس میز کار (workbench)، این الگو به‌صورت مهارت‌هایی توصیف شده که گام‌به‌گام نمایان می‌شوند: یک رجیستری توابع که متادیتای آن تنها در صورت نیاز وارد کانتکست می‌شود. در همان درس به تیمی اشاره می‌شود که 80 درصد از ابزارهای ایجنت (agent) خود را حذف کرد و دید که نرخ موفقیت از 80 درصد به 100 درصد رسید. ابزارهای بیشتر در دید مدل، یعنی انتخاب‌های اشتباه بیشتر، پرامپت‌های (prompt) طولانی‌تر و اسکیمای بیشتری که ممکن است بد خوانده شود.

سیگنال‌های کاربردی برای انتخاب ابزار: قرارداد دامنه‌ی (scope contract) فعال، نوع وظیفه در بورد کاری، ابزارهای استفاده‌شده در چند نوبت اخیر، و درخواست صریح مدل برای یک خانواده‌ی مشخص از ابزارها. مجموعه‌ی ابزارهای نمایش‌داده‌شده در هر نوبت را لاگ کنید تا ریشه‌ی شکست‌ها قابل‌پیگیری باشد و معلوم شود مشکل از نبودِ ابزار بوده یا از فراخوانی اشتباه آن.

گام‌های بعدی در توسعه

از حدود 50 ابزار به بعد، قابلیت $ref را برای ارجاع به یک بلوک تعاریف محلی (definitions block) اضافه کنید تا ساختار آرگومان‌های مشترک فقط یک بار نوشته شود. همچنین additionalProperties: false را اعمال کنید تا ارسال آرگومان اضافه به‌جای نادیده‌گرفته‌شدن در سکوت، با خطا روبه‌رو شود. هر دو تغییر کم‌حجم اما بسیار رایج هستند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: دو تیم برای کنترل‌کننده‌های متفاوت، یک نام ابزار یکسان می‌خواهند. چه کار می‌کنید؟ پاسخ مورد انتظار: تداخل نام‌ها را رد کنید، با بخش‌های نقطه‌گذاری‌شده برای آن‌ها فضای نام بسازید، و اجازه دهید سیاست نمایش ابزار بر اساس نیاز وظیفه، خانواده‌ی مناسب را انتخاب کند.
  • سطح 3: چطور ثابت می‌کنید اعتبارسنج پس از ریفکتور هنوز درست کار می‌کند؟ پاسخ مورد انتظار: اجرای آن روی یک لاگ ذخیره‌شده از بازپخش فراخوانی‌های واقعی؛ این کار نتیجه می‌دهد چون اعتبارسنج هیچ ورودی/خروجی، وابستگی به ساعت سیستم و متغیر سراسری ندارد.
  • سطح 4: اگر خود سیاست نمایش ابزار، یک فراخوانی مدل باشد چه چیزی خراب می‌شود؟ پاسخ مورد انتظار: در هر نوبت یک گام غیرقطعی دیگر اضافه می‌شود؛ بنابراین انتخاب ابزارها باید بر اساس قواعدی مشخص از روی قرارداد دامنه و بورد وظایف انجام شود و مدل فقط اجازه‌ی درخواست نام یک خانواده‌ی خاص را داشته باشد.
  • سطح 4: توزیع‌کننده‌ی وظایف می‌خواهد یک فراخوانی ناموفق را دوباره اجرا کند. کدام فیلد رکورد تعیین می‌کند که آیا این کار مجاز است؟ پاسخ مورد انتظار: فیلد idempotent؛ زیرا تلاش مجدد برای یک ابزار غیر بی‌اثر در تکرار (non-idempotent) ممکن است عوارض جانبی را دوباره تکرار کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «همه‌ی کاتالوگ را به مدل بدهید تا خودش انتخاب کند.» مدل نمی‌تواند 200 اسکیما را در کانتکست نگه دارد و نرخ موفقیت هم با رشد کاتالوگ افت کرده است؛ پس راه‌حل، نمایش ابزارهای کمتر است.
  • «اعتبارسنجی را داخل هر کنترل‌کننده و نزدیک به کدی که از آن محافظت می‌کند قرار دهید.» اعتبارسنجی درون کنترل‌کننده‌ها دچار دریفت (drift) تیمی می‌شود و توزیع‌کننده را به یک بازی حدس‌وگمان تبدیل می‌کند که آخرش به ردگیری محاسبات (trace) ختم خواهد شد.
  • «امکان ثبت مجدد را باز بگذارید تا تیم‌ها بتوانند ابزارها را به‌سرعت پچ (patch) کنند.» جایگزینی خاموش دقیقاً همان اتفاقی است که در صورت مسئله افتاد، و اصلاح ابزار باید با یک بازنویسی صریح همراه باشد که در تفاوت‌های بازنگری (diff) مشخص شود.

کجای دوره آموزش داده می‌شود

درس رجیستری ابزار ساختار رکورد و اعتبارسنج را پیاده‌سازی می‌کند، و درس علل شکست مدل‌های قدرتمند مهارت‌ها و کاتالوگ ابزارها را در میان اجزای سازنده‌ی (primitives) بستر آزمایشی جای می‌دهد.