سؤال مصاحبه

هر بخش از بافتار کجا قرار می‌گیرد و چرا

Where each part of the context goes, and why

  • سطح ۲: میانی
  • مفهومی
  • ۸ دقیقه

قرار است پرامپتی (Prompt) را از یک پیام سیستمی (System Message)، ده سند بازیابی‌شده، تاریخچه‌ی گفت‌وگو تا این لحظه و پرسش کاربر سرهم کنید. این بخش‌ها را با چه ترتیبی می‌چینید و چه شواهدی (Evidence) پشت این تصمیم است؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

پرامپت سیستمی و دستورالعمل‌های حیاتی را در ابتدا بگذارید، پرسش فعلی و مرتبط‌ترین بافتار را در انتها، و مطالبی را که کمترین اولویت را دارند در میانه قرار دهید. شاهد این تصمیم، یافته‌ی پدیده‌ی «گم شدن در میانه» (Lost-in-the-Middle) است: با وجود یک سند مرتبط میان 20 سند نامرتبط، دقت مدل در ابتدا یا انتهای بافتار 85 تا 90 درصد بود، اما در میانه به 60 تا 70 درصد افت کرد. اگر نکته‌ی کلیدی ناچار است در میانه بنشیند، آن را در انتها تکرار کنید.

پاسخ کامل

یافته‌ی پژوهش

مدل‌ها بیشترین اتنشن (Attention) را به ابتدا و انتهای بافتار اختصاص می‌دهند. در این پژوهش، یک سند مرتبط میان 20 سند نامرتبط قرار گرفت و جایگاه آن تغییر داده شد؛ در ابتدا یا انتها، دقت 85 تا 90 درصد بود، اما در میانه به 60 تا 70 درصد رسید. در این درس، این یافته به‌صورت افت 10 تا 20 درصدی برای اطلاعاتی تعمیم داده می‌شود که در بازه‌ی 40 تا 70 درصدی از کل بافتار قرار گرفته‌اند.

بودجه‌بندی

بخش اندازه‌ی معمول
پرامپت سیستمی حدود 500 توکن
تعاریف ابزار 2K تا 8K توکن
بافتار بازیابی‌شده 2K تا 10K توکن
تاریخچه‌ی گفت‌وگو 2K تا 20K توکن
مثال‌های چندشات (Few-shot) 1K تا 3K توکن
پرسش کاربر 100 تا 500 توکن
رزرو برای تولید پاسخ 2K تا 8K توکن

هر توکن در پنجره جای توکنی را می‌گیرد که می‌توانست سیگنال مفیدتری داشته باشد. یک پرامپت 10K با 90 درصد سیگنال مفید، بر پرامپتی 100K با 10 درصد سیگنال برتری دارد.

همه‌ی ده سند را اضافه نکنید

بازیابی (Retrieval) بد، بدتر از بازیابی نکردن است؛ پنجره را با نویز پر می‌کند و مدل را به بیراهه می‌برد. به هر سند در مقایسه با پرسش امتیاز دهید و مواردی را که زیر آستانه (Threshold) هستند حذف کنید. اگر 10 تکه بازیابی کردید و فقط 3 تای آن‌ها مرتبط بودند، همان 3 تا را نگه دارید.

بازچینی اسناد

تابعی که در این درس آمده اسناد را بر اساس امتیاز مرتب می‌کند، رتبه‌های (Rank) فرد را به‌ترتیب در ابتدا و رتبه‌های زوج را به‌صورت معکوس در انتها می‌چیند؛ به این ترتیب بهترین‌ها در دو سر بازه و ضعیف‌ترین‌ها در میانه قرار می‌گیرند. سپس نوبت تاریخچه است (که اگر از آستانه‌ای بگذرد خلاصه می‌شود)، و در نهایت پرسش در آخر می‌نشیند، درحالی‌که 2,000 تا 4,000 توکن برای پاسخ رزرو شده است.

سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 2: چرا نباید هر ده سند بازیابی‌شده را اضافه کرد؟ انتظار می‌رود بگویید: بازیابی بد بدتر از بازیابی نکردن است؛ به هر سند در مقایسه با پرسش امتیاز دهید، آن‌هایی را که زیر آستانه هستند کنار بگذارید و داشتن 3 سند مرتبط را به 10 سند متوسط ترجیح دهید.
  • سطح 2: چه چیزی را در انتهای پنجره رزرو می‌کنید و چقدر؟ انتظار می‌رود بگویید: بودجه‌ی تولید، دست‌کم 2,000 تا 4,000 توکن، وگرنه مدل جایی برای پاسخ دادن نخواهد داشت.
  • سطح 3: روش بازچینیِ مطرح‌شده در درس، پنج سند امتیازدهی‌شده را چطور می‌چیند؟ انتظار می‌رود بگویید: پس از مرتب‌سازی بر اساس امتیاز، رتبه‌های فرد به‌ترتیب به ابتدا و رتبه‌های زوج به‌صورت معکوس به انتها می‌روند تا بهترین‌ها در دو سر بنشینند.
  • سطح 3: همان پرامپت سیستمی در هر نوبت گفت‌وگو (Turn) فرستاده می‌شود. این موضوع چه معنایی برای اندازه‌ی آن دارد؟ انتظار می‌رود بگویید: هزینه‌ی تک‌تک کلمات در هر فراخوانی پرداخت می‌شود، پس باید آن را جمع‌وجور و فشرده نگه داشت؛ درس به یک دستیار کدنویسی با حدود 6,000 توکن پرامپت سیستمی و تعریف ابزار (Tool Definition) اشاره می‌کند.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «پنجره بسیار بزرگ است، بافتار بیشتر همیشه بهتر است.» پرامپتی 10K با 90 درصد سیگنال بر پرامپتی 100K با 10 درصد سیگنال برتری دارد؛ بافتار بیشتر یعنی نویز بیشتر تا اتنشن مجبور به فیلتر کردن آن شود.
  • «پرسش را اول بگذارید تا مدل بداند دنبال چه بگردد.» انتهای بافتار هم اتنشن بالایی می‌گیرد؛ در درس، پرسش فعلی در انتها و دستورالعمل‌ها در ابتدا قرار می‌گیرند.
  • «ترتیب اهمیتی ندارد، اتنشن همه‌چیز را می‌بیند.» افت اندازه‌گیری‌شده در میانه 10 تا 20 درصد است.

کجای دوره آموزش داده می‌شود

درس مهندسی بافتار (Context Engineering) ارقام پدیده‌ی گم شدن در میانه، جدول بودجه‌بندی و تابع بازچینی را ارائه می‌دهد.