سؤال مصاحبه

بستر آزمایشی را الان بسازیم، یا منتظر مدلی هوشمندانه‌تر بمانیم

Build the harness now, or wait for a smarter model

  • سطح ۳: ارشد
  • بده‌بستان
  • ۱۰ دقیقه

مدیریت می‌خواهد کار روی بستر آزمایشی (harness) را دو فصل کاری به تعویق بیندازد و منتظر نسل بعدی مدل‌ها بماند؛ با این استدلال که مدلی بهتر دیگر به داربست (scaffolding) نیازی نخواهد داشت. با تکیه بر شواهد (evidence) از موضع خود دفاع کنید و بگویید کدام بخش از استدلال آن‌ها درست است.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

امروزه بار اصلی مهندسی بر دوش ساختار پیرامون مدل است، نه داخل آن؛ آمار و ارقام هم همین را می‌گویند. فقط با تغییر بستر آزمایشی و با همان مدل قبلی، یک ایجنت (agent) کدنویسی از خارج از 30 رتبه‌ی اول به رتبه‌ی (rank) پنجم در یک بنچمارک ترمینال رسید. تیمی دیگر با حذف 80 درصد از ابزارهای ایجنت خود، نرخ موفقیت را از 80 درصد به 100 درصد رساند. بیشتر پروژه‌های ایجنتی سازمانی که شکست می‌خورند، در محیط اجرا (runtime) ضربه می‌خورند، نه در استدلال مدل. حق با مدیریت است که مدل‌ها با گذشت زمان ترفندهای بستر آزمایشی را درون خود جذب می‌کنند؛ دقیقاً به همین دلیل باید بستر آزمایشی را از اجزای سازنده‌ای (primitives) بسازید که با تعویض مدل هم پابرجا بمانند.

پاسخ کامل

شواهد و مدارک

مشاهده تغییر اعمال‌شده نتیجه
ایجنت کدنویسی روی بنچمارک ترمینال فقط بستر آزمایشی، با همان مدل ارتقا از خارج از 30 رتبه‌ی اول به رتبه‌ی پنجم
ایجنت یک تیم حذف 80 درصد ابزارها افزایش نرخ موفقیت از 80 درصد به 100 درصد
ایجنت‌های حقوقی صرفاً بهینه‌سازی بستر آزمایشی دقت بیش از دو برابر شد
پروژه‌های ایجنتی سازمانی بدون تغییر 88 درصد پروژه‌ها به محیط عملیاتی (production) نمی‌رسند، با شکست‌هایی پیرامون محیط اجرا
سه فریم‌ورک متن‌باز روی یک بنچمارک بدون تغییر حدود 50 درصد تکمیل وظیفه
یک ایجنت وب در بافتار طولانی طولانی‌تر شدن بافتار افت تکمیل وظیفه از 40 تا 50 درصد به زیر 10 درصد، بیشتر به‌دلیل حلقه‌های بی‌نهایت و از دست رفتن هدف

دو ردیف آخر استدلال اصلی علیه دست نگه‌داشتن هستند. حلقه‌های بی‌نهایت و از دست رفتن هدف ناشی از ضعف استدلال نیستند؛ این مشکلات به‌دلیل نبود سهمیه‌ی نوبت‌ها (turn budget)، نبود فایل وضعیت (state file) و نبود دامنه (scope) پیش می‌آیند.

بستر آزمایشی از چه ساخته شده است

سطوح هفت‌گانه لایه‌ای کاربرمحور هستند. زیر این سطوح، اجزای سازنده‌ای قرار دارند که هر سیستم عملیاتی و مطمئنی از قبل دارد: توابع، ورکرها، تریگرها، محیط اجرا، مسیرهای ارتباطی، صف‌ها، پایایی نشست (session persistence) و سیاست احراز مجوز. حلقه‌ی ایجنت (agent loop) در اصل ورکری است که رویدادها را مصرف می‌کند، توابع را فرامی‌خواند، رکوردها را می‌نویسد و تریگر صادر می‌کند. هیچ‌کدام از این بخش‌ها مختص این نسل از مدل‌ها نیستند و با ارتقای مدل هم از بین نمی‌روند.

بخش درست استدلال مدیریت

مدل‌ها واقعاً ترفندهای بستر آزمایشی را در گذر زمان جذب می‌کنند. الگویی که دو سال پیش ترفندی در پرامپت (prompt) بود، امروز دیگر قابلیتی ذاتی است؛ سازوکار توکن‌های تفکر در حلقه‌ی اولیه نیز اکنون به کانال استدلال تبدیل شده است. ادعای صادقانه این نیست که بستر آزمایشی همیشه برنده می‌ماند؛ بلکه این است که امروز بار اصلی بر دوش ساختار پیرامون مدل است و اجزای سازنده‌ای که برای مهار این بار می‌سازید، همان‌هایی هستند که برای هر سیستم عملیاتی—با مدل یا بدون مدل—به آن‌ها نیاز خواهید داشت.

پیشنهاد به مدیریت

سطوح را به‌صورت اجزای سازنده بسازید، نه در قالب متن پرامپت. وضعیت، دامنه، بازخورد، گیت و تحویل وظیفه (handoff) را به‌شکل فایل‌ها و بررسی‌هایی نگه دارید که کاری ندارند کدام مدل در حلقه است. وقتی مدل بعدی از راه رسید، مدل را تعویض کنید و سطوح را نگه دارید. کار روی بستر آزمایشی شرط‌بندی علیه پیشرفت مدل نیست؛ این بستر همان بخشی از سیستم است که برایتان می‌ماند.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: کدام‌یک از شواهد ارائه‌شده ضعیف‌ترین مدرک است و چرا؟ پاسخ مورد انتظار: نرخ شکست پروژه‌های سازمانی؛ زیرا آماری برآمده از نظرسنجی و بدون مقایسه‌ی کنترل‌شده است، در حالی که در بنچمارک تغییر رتبه با ثابت نگه داشتن مدل بررسی شد.
  • سطح 3: اگر مدل جدیدتری دیگر نیازی به تشخیص‌دهنده‌ی تکرار نداشته باشد، چه چیزی را حذف می‌کنید؟ پاسخ مورد انتظار: هنوز هیچ‌چیز؛ زیرا این تشخیص‌دهنده صرفاً یک تریگر به‌همراه یک تابع کم‌هزینه است و تنها زمانی باید آن را حذف کنید که داده‌های ردگیری محاسبات (trace) نشان دهند دیگر هرگز فعال نمی‌شود.
  • سطح 4: چطور در هر فصل کاری ارزش سرمایه‌گذاری روی بستر آزمایشی را به مدیریت نشان می‌دهید؟ پاسخ مورد انتظار: اجرای همان مجموعه‌وظیفه با سطوح و بدون آن‌ها روی مدل فعلی، گزارش نرخ تکمیل، موارد نقض محدوده (scope violations) و مداخلات، و نمایش این شکاف عملکردی.
  • سطح 4: کدام بخش از بستر آزمایشی بیش از همه احتمال دارد در مدل‌های بعدی جذب شود؟ پاسخ مورد انتظار: انتخابی مستدل، مثل خوداصلاحی روی خطاهای ابزار؛ با این استدلال که مدل خودِ مشاهده (observation) را می‌بیند و سطح تنها فرمت آن را مشخص می‌کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «مدل خودِ محصول است، پس بستر آزمایشی سربار است.» در حالی که مدل ثابت مانده بود، این بستر آزمایشی بود که رتبه را در بنچمارک تعیین کرد.
  • «پنجره‌ی بافتار (context window) بزرگ‌تر مشکلِ از دست رفتن هدف را حل می‌کند.» نتیجه‌ی آزمایش بافتار طولانی در این درس خلاف این را نشان داد؛ با بزرگ‌تر شدن بافتار، نرخ تکمیل وظیفه به زیر 10 درصد سقوط کرد.
  • «کار روی بستر آزمایشی صرفاً نام دیگری برای مهندسی پرامپت (prompt engineering) است.» پرامپت‌نویسی به مدل می‌گوید در این نوبت گفت‌وگو (turn) چه می‌خواهید، اما بستر آزمایشی جریان کار را میان نوبت‌ها و نشست‌ها از طریق فایل‌ها و بررسی‌ها پیش می‌برد.

کجای دوره آموزش داده می‌شود

درس چرا مدل‌های توانمند همچنان شکست می‌خورند شواهد را گردآوری کرده و بستر آزمایشی را به اجزای سازنده تجزیه می‌کند.