تیمی یک مدل پیشرو (frontier model) را برای انجام وظیفهای کوچک روی یک مخزن کد اجرا کرد. نتیجه کدی بهظاهر درست بود، همراه با 2 تست ناموفق (قرمز)، یک ویرایش در فایلی که هیچ ارتباطی با وظیفه نداشت، و بدون هیچ یادداشتی دربارهی فرضیات مدل یا کارهای باقیمانده. تیم میخواهد مدل بزرگتری بخرد. به آنها چه میگویید؟
اول خودتان جواب بدهید، بعد پاسخ را باز کنید.
پاسخ کوتاه
مدل زبان را درست فهمیده بود اما ماهیت کار را اشتباه متوجه شده بود، و مدل بزرگتر این مشکل را حل نمیکند. ایجنتهای قابلاعتماد به یک میز کار (workbench) با هفت سطح در اطراف مدل نیاز دارند: دستورالعملها، وضعیت، دامنه (scope)، بازخورد، اعتبارسنجی، بازبینی و تحویل وظیفه (handoff). هر نشانهی خطا در این اجرا دقیقاً به نبودِ یکی از این سطوح برمیگردد. میتوانید مدل را عوض کنید و این سطوح را نگه دارید، اما نمیتوانید سطوح را کنار بگذارید و انتظار حفظ قابلیتاعتماد را داشته باشید.
پاسخ کامل
هفت سطح
| سطح | چه چیزی را حمل میکند | شکست در صورت نبود آن |
|---|---|---|
| دستورالعملها | قوانین شروع به کار، اقدامات ممنوعه، تعریف اتمام کار (Definition of Done) | ایجنت حدس میزند تمامشدن کار یعنی چه |
| وضعیت | وظیفهی فعلی، فایلهای دستکاریشده، موانع، اقدام بعدی (next action) | هر نشست (session) از صفر شروع میشود |
| دامنه | فایلهای مجاز، فایلهای ممنوعه، معیارهای پذیرش | ویرایشها به کدهای نامربوط سرایت میکند |
| بازخورد | خروجی واقعی دستور که درون حلقه ثبت میشود | ایجنت با وجود خطا، اعلام موفقیت میکند |
| اعتبارسنجی | تستها، لینت، اجرای دود، بررسی دامنه | کدِ «بهظاهر درست» به branch اصلی راه پیدا میکند |
| بازبینی | بررسی مجدد با نقشی متفاوت | سازندهی کد به کار خودش نمره میدهد |
| تحویل وظیفه | چه چیزی تغییر کرد، چرا، چه چیزی باقی مانده است | نشست بعدی باید دوباره همهچیز را از اول پیدا کند |
تطبیق نتیجهی اجرا با جدول
- دو تست ناموفق و ادعای موفقیت: بازخورد و اعتبارسنجی غایب بودند.
- ویرایش در فایلی نامربوط: دامنه غایب بود.
- نبودِ هیچ یادداشتی از فرضیات یا کارهای باقیمانده: وضعیت و تحویل وظیفه غایب بودند.
- جز خود سازنده هیچکس تفاوتهای بازنگری (diff) را نخواند: بازبینی غایب بود.
چرا مدل بزرگتر چارهی کار نیست
حلقه روی فایل وضعیت (state file) بسته میشود، نه روی تاریخچهی چت. چت ناپایدار است. مخزن کد مرجع رسمی سوابق (system of record) است. این درس شواهد و مدارک را جمعآوری کرده است: یک ایجنت کدنویسی با همان مدل قبلی و فقط با تغییر بستر آزمایشی (harness)، از رتبهای خارج از 30 تای اول به رتبهی 5 یک بنچمارک ترمینال رسید؛ و تیمی دیگر 80 درصد از ابزارهای ایجنت خود را حذف کرد و دید که نرخ موفقیتش از 80 درصد به 100 درصد رسید. بار اصلی امروز بر دوش مهندسیِ پیرامون مدل است.
میز کار چه چیزی نیست
مهندسی پرامپت (prompt engineering) نیست؛ پرامپت فقط به مدل میگوید در این نوبت گفتوگو (turn) چه میخواهید. فریمورک هم نیست؛ فریمورک محیط اجرا (runtime) را در اختیارتان میگذارد. میز کار جایی است که ایجنت در آن کار میکند؛ در میان نوبتهای گفتوگو و در طول نشستها، درون هر محیط اجرایی که انتخاب کردهاید.
سؤالهای تکمیلی مصاحبهگر
- سطح 1: الگوی Pull Request کدامیک از این هفت سطح را پوشش میدهد؟ پاسخ مورد انتظار: تحویل وظیفه، چون ثبت میکند چه چیزی تغییر کرده، چرا، و چه چیزهایی باقی مانده است.
- سطح 2: کدام سطح مچ ایجنتی را میگیرد که یک فایل اضافی مینویسد که کسی نخواسته است؟ پاسخ مورد انتظار: اول دامنه، چون بررسی diff فایلهای دستکاریشده را با قرارداد مقایسه میکند؛ و سپس اعتبارسنجی، که جلوی نوشتن غیرمجاز را میگیرد.
- سطح 2: چرا در درس آمده که حلقه روی فایل بسته میشود و نه روی چت؟ پاسخ مورد انتظار: نشستها تمام میشوند و گفتوگوها کوتاه و هرس میشوند؛ بنابراین فایل تنها سندی است که نشست بعدی میتواند به آن اعتماد کند.
- سطح 3: این درس هر سطح را به یک جزء سازنده (primitive) در سیستمهای توزیعشده نگاشت میکند. اعتبارسنجی چیست؟ پاسخ مورد انتظار: تابعی که نسبت به ورودیهایش قطعی (deterministic) است، با بستهشدن وظیفه فراخوانی میشود، و شکست آن مسیر را میبندد (fails closed).
جوابهای اشتباهی که مصاحبهگرها زیاد میشنوند
- «مدل دچار توهم شده، پس مدلی انتخاب کنید که کمتر توهم بزند.» مدل نمیدانست تمامشدن کار به چه معناست یا کجا اجازه دارد بنویسد؛ هیچ مدلی بدون این سطوح چنین چیزهایی را نمیداند.
- «یک پرامپت سیستم طولانیتر با همهی قوانین بنویسید.» پرامپت فقط یک نوبت گفتوگو را پوشش میدهد، در حالی که این سطوح کار را در سراسر نوبتها و نشستها به دوش میکشند.
- «فریمورک خودش این کار را انجام میدهد.» فریمورک به ایجنت یک محیط اجرا میدهد؛ میز کار همان چیزی است که ایجنت درون آن محیط اجرا میخواند و مینویسد.
کجای دوره آموزش داده میشود
درس چرا مدلهای توانمند باز هم شکست میخورند این هفت سطح را نام میبرد و همان وظیفه را با این سطوح و بدون آنها اجرا میکند.