سؤال مصاحبه

هزینه‌ی تعریف 50 ابزار در هر فراخوانی چقدر است؟

What fifty tool definitions cost on every call

  • سطح ۳: ارشد
  • تخمین
  • ۹ دقیقه

یک دستیار برنامه‌نویسی 50 ابزار در اختیار دارد که هرکدام با یک نام، توضیحات و شِمای پارامتر تعریف شده‌اند. هزینه‌ی تعریف این ابزارها (tool definition) را در هر فراخوانی تخمین بزنید و بگویید چگونه بدون حذف حتی یک ابزار از محصول، این هزینه را کاهش می‌دهید.

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

هر تعریف ابزار بین 50 تا 200 توکن مصرف می‌کند؛ بنابراین 50 ابزار با میانگین 150 توکن برای هرکدام، یعنی 7,500 توکن پیش از آغاز مکالمه که در هر فراخوانی هم تکرار می‌شود. با دسته‌بندی نیت (intent) پرسش کاربر، فقط ابزارهایی را بگنجانید که با آن نیت همخوانی دارند. در این درس، این روش مصرف را بین 60 تا 80 درصد کاهش می‌دهد؛ یعنی از حدود 8,000 توکن به حدود 1,000 توکن. محصول تمام ابزارهایش را حفظ می‌کند و فقط فهرست تعریف‌های ارسالی در هر فراخوانی تغییر می‌کند.

پاسخ کامل

محاسبه‌ی توکن‌ها در بافتار

تفکیک توکن‌ها برای یک دستیار برنامه‌نویسی طبق این درس به این صورت است: پرامپت سیستم (system prompt) 500 توکن، تعریف 50 ابزار 8,000 توکن، مستندات بازیابی‌شده 4,000 توکن، تاریخچه‌ی ده نوبت گفت‌وگو (turn) 6,000 توکن، پرسش کاربر 200 توکن و سهمیه‌ی تولید پاسخ 4,000 توکن، که در مجموع به 22,700 توکن می‌رسد. بلوک ابزارها بزرگ‌ترین بخش است و برعکس تاریخچه، به طول مکالمه هم ربطی ندارد و از همان ابتدا کامل وجود دارد.

چرا هزینه تکرار می‌شود؟

تعریف ابزارها درون بافتار قرار می‌گیرد؛ بنابراین در یک مکالمه‌ی 50 نوبتی، هزینه‌ی کل این بلوک 50 بار پرداخت می‌شود. علاوه‌بر این، هر توکنِ آن جای توکنی را می‌گیرد که می‌توانست حاوی سیگنال مفید باشد. این همان نکته‌ی کلیدی در مهندسی بافتار (context engineering) است: پنجره‌ی بافتار یک منبع محدود و ارزشمند است، نه زباله‌دانی برای انباشتن اطلاعات.

هرس کردن بدون حذف از محصول

  1. نیت پرسش را دسته‌بندی کنید. در این درس، این کار با فهرست‌هایی از کلمات کلیدی برای هر نیت انجام می‌شود: کد، تقویم، ایمیل، پژوهش و داده.
  2. به هر ابزار برچسب دسته‌بندی‌هایی را بزنید که پوشش می‌دهد.
  3. ابزارهایی را که دسته‌بندی آن‌ها با نیت کاربر همخوانی دارد، به ترتیب وارد کنید تا سهمیه‌ی توکن (token budget) پر شود؛ انتخاب‌گر این درس روی سقف 2,000 توکن متوقف می‌شود.
  4. با این روش، برای پرسشی درباره‌ی کد هرگز ابزارهای تقویم ارسال نمی‌شوند و برای پرسشی درباره‌ی زمان‌بندی، ابزارهای فایل سیستم فرستاده نخواهند شد.

هزینه‌ی اشتباه کردن را بسنجید

هرس کردن ابزارها (tool pruning) این ریسک را دارد ابزاری که دسته‌بند پیش‌بینی نکرده، جا بماند. در تمرین این درس، موفقیت وظیفه (task) با تعداد 5، 10، 20 و 50 ابزار گنجانده‌شده سنجیده و منحنی‌های آن‌ها مقایسه می‌شود. اختصاص امتیاز اولویت به هر ابزار و چیدن آن‌ها به ترتیب نزولی تا زمان پر شدن سهمیه، نسخه‌ی بهینه‌تری نسبت به انتخاب صفر و یکی (گنجاندن یا حذف کامل) است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 3: چرا این هزینه تکرار می‌شود؟ انتظار می‌رود: تعریف‌ها در هر فراخوانی داخل بافتار می‌نشینند؛ پس در یک مکالمه‌ی 50 نوبتی، هزینه‌ی کل این بلوک 50 بار پرداخت می‌شود.
  • سطح 3: این درس چطور ابزارهای ارسالی را انتخاب می‌کند؟ انتظار می‌رود: دسته‌بندی نیت پرسش بر اساس کلمات کلیدی، سپس انتخاب ابزارهایی با دسته‌بندی منطبق و افزودن آن‌ها تا رسیدن به سقف سهمیه‌ی 2,000 توکن.
  • سطح 4: هرس کردن چه ریسکی دارد و چطور آن را ارزیابی می‌کنید؟ انتظار می‌رود: ممکن است به دلیل خوانش نادرست پرسش، ابزار موردنیاز جا بماند؛ این ریسک را با سنجش موفقیت وظیفه در حالت‌های 5، 10، 20 و 50 ابزار و رصد موارد ازدست‌رفته به ازای هر نیت اندازه می‌گیریم.
  • سطح 4: این 7,500 توکن در مقایسه با بقیه‌ی تفکیک توکن‌ها در این درس چه وضعیتی دارد؟ انتظار می‌رود: کل تفکیک به 22,700 توکن می‌رسد و بلوک ابزارها با حدود 8,000 توکن، بزرگ‌ترین بخش است؛ حتی بالاتر از تاریخچه با 6,000 توکن و متن بازیابی‌شده با 4,000 توکن.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «توکن ارزان است، هر 50 ابزار را بفرستید.» این بزرگ‌ترین بلوک در تفکیک توکن‌های درس است و در هر فراخوانی تکرار می‌شود؛ همچنین جای بافتاری را که حامل سیگنال است می‌گیرد.
  • «توضیحات هر ابزار را در یک کلمه خلاصه کنید.» در این صورت مدل نمی‌تواند ابزارها را از هم تشخیص دهد؛ بر اساس ارتباط هرس کنید و توضیحات هر ابزار را دقیق نگه دارید.
  • «ابزارهای کم‌کاربرد را از محصول حذف کنید.» نیازی به تغییر محصول نیست؛ فقط فهرست تعریف‌های ارسالی در هر فراخوانی تغییر می‌کند.

کجای دوره آموزش داده می‌شود

درس مهندسی بافتار تفکیک توکن‌ها، ارقام مربوط به هرس ابزارها و انتخاب‌گر پویای ابزار را ارائه می‌دهد.