سؤال مصاحبه

پرامپت‌نویسی گام‌به‌گام کجا مفید است و کجا هزینه می‌تراشد

Where step-by-step prompting helps and where it costs

  • سطح ۱: غربالگری
  • مفهومی
  • ۷ دقیقه

تیم شما عبارت «گام‌به‌گام فکر کن» (think step by step) را به همه‌ی پرامپت‌های محصول اضافه کرده است؛ از جمله به یک کلاسیفایر با ترافیک بالا و فراخوانی‌های یک مدل استدلالی. این کار کجا مفید است، کجا آسیب می‌زند و چرا؟

اول خودتان جواب بدهید، بعد پاسخ را باز کنید.

پاسخ کوتاه

این روش در مسائل چندمرحله‌ای کارساز است؛ جایی که هر توکنِ استدلال به بافتار (context) توکن بعدی تبدیل می‌شود و مدل مسیر رسیدن به پاسخ را محاسبه می‌کند. در مقابل، برای بازخوانی ساده‌ی اطلاعات و دسته‌بندی‌های تک‌مرحله‌ای مضر است؛ چرا که بدون هیچ بازدهی، 50 تا 200 توکن استدلال به ازای هر پرسش اضافه می‌کند. همچنین استفاده از آن برای مدل‌های استدلالی نامناسب است؛ زیرا این مدل‌ها زنجیره تفکر (Chain of Thought) را به‌صورت درونی اجرا می‌کنند و دستور اضافی ممکن است عملکردشان را بدتر کند. تکنیک مناسب را باید به ازای هر وظیفه و بر اساس دقت مورد نیاز، سقف تاخیر (latency budget) و هزینه انتخاب کنید.

پاسخ کامل

چرا این روش جواب می‌دهد؟

یک ترنسفورمر بدون داشتن زنجیره‌ای آشکار، باید همه‌ی استدلال را در وضعیت پنهان (hidden state) یک گذر رو به جلو (forward pass) فشرده کند. اما با ایجاد این زنجیره، گام‌های میانی به توکن تبدیل می‌شوند و هر توکن، بافتار را برای توکن بعدی گسترش می‌دهد. در بنچ‌مارک مسائل ریاضی دبستان، این درس نشان می‌دهد که دقت یک مدل از 78 درصد در حالت بدون نمونه (zero-shot)، تنها با همین عبارت به 91 درصد و با ارائه‌ی مثال‌های حل‌شده به 95 درصد می‌رسد.

کجا صرفه ندارد؟

  • بازخوانی ساده‌ی واقعیت‌ها و دسته‌بندی تک‌مرحله‌ای. در این موارد چیزی برای استدلال وجود ندارد و زنجیره صرفاً بار اضافی است.
  • وظایف با نرخ پردازش (throughput) بالا و پیچیدگی کم. تولید 50 تا 200 توکن اضافی در هر فراخوانی، هزینه و تاخیر به همراه دارد.
  • مدل‌های استدلالی. این مدل‌ها پیش از ارائه‌ی پاسخ، زنجیره را به‌صورت درونی طی می‌کنند؛ بنابراین دستور اضافه زائد است و گاهی نتیجه‌ی معکوس می‌دهد.
  • مسائل جست‌وجوی گسترده. در معمای حسابی این درس، پرامپت‌نویسی استاندارد 7.3 درصد از موارد را حل کرد، یک زنجیره‌ی تکی 4.0 درصد را پوشش داد و جست‌وجوی درختی (tree search) روی branchها 74 درصد را حل کرد.

انتخاب بر اساس وظیفه

تکنیک فراخوانی‌ها بار اضافی توکن مناسب برای
بدون نمونه (Zero-shot) 1 ندارد وظایف ساده
چند نمونه‌ای (Few-shot) 1 200 تا 500 توکن هماهنگی با فرمت
زنجیره‌ی بدون نمونه 1 50 تا 200 توکن ارتقای سریع استدلال
زنجیره‌ی چند نمونه‌ای 1 300 تا 600 توکن بهترین نتیجه در یک فراخوانی
خودسازگاری با 5 نمونه 5 پنج برابر توکن استدلال‌های بسیار حساس
سؤال‌های تکمیلی مصاحبه‌گر
  • سطح 1: چرا نوشتن گام‌ها باعث افزایش دقت می‌شود؟ پاسخ مورد انتظار: هر توکنِ استدلال به بافتاری برای توکن بعدی تبدیل می‌شود؛ بنابراین مدل به جای حل مسئله در یک گذر، پاسخ را به‌صورت گام‌به‌گام محاسبه می‌کند.
  • سطح 2: این عبارت اضافی چه هزینه‌ای به کلاسیفایر تحمیل می‌کند؟ پاسخ مورد انتظار: 50 تا 200 توکن استدلال به ازای هر پرسش؛ مقداری که در حجم بالا، بدون هیچ افزایشی در دقت، هزینه و تاخیر به همراه دارد.
  • سطح 2: چرا نباید این عبارت را برای یک مدل استدلالی به کار برد؟ پاسخ مورد انتظار: این مدل پیش از پاسخ دادن، زنجیره را به‌صورت درونی طی می‌کند؛ در نتیجه این دستور زائد است و گاهی نتیجه‌ی معکوس دارد.
  • سطح 3: آیا وظیفه‌ای وجود دارد که یک زنجیره‌ی تکی در آن ضعیف‌تر از یک پاسخ معمولی باشد؟ پاسخ مورد انتظار: بله، معمای جست‌وجوی مطرح‌شده در درس؛ جایی که زنجیره نسبت به پرامپت استاندارد موارد کمتری را حل کرد و جست‌وجوی درختی بیشتر موارد را حل کرد.
جواب‌های اشتباهی که مصاحبه‌گرها زیاد می‌شنوند
  • «هیچ‌وقت ضرر ندارد، در بدترین حالت خنثی است.» این کار در هر فراخوانی توکن مصرف می‌کند؛ ضمن اینکه دقت را در معمای جست‌وجوی گسترده و در مدل‌های استدلالی کاهش داد.
  • «چند نمونه‌ای و زنجیره تفکر یکی هستند.» چند نمونه‌ای مثال‌ها را نشان می‌دهد؛ زنجیره تفکر مسیر استدلال را نمایش می‌دهد؛ ترکیب این دو به «زنجیره تفکر چند نمونه‌ای» تبدیل می‌شود.
  • «همیشه باید آن را با دمای صفر اجرا کرد.» برای یک زنجیره‌ی تکی، دمای صفر مشکلی ندارد، اما اگر بخواهید برای رأی‌گیری چند زنجیره تولید کنید، دما باید بالاتر از صفر باشد؛ وگرنه همه‌ی نمونه‌ها کاملاً یکسان خواهند بود.

کجای دوره آموزش داده می‌شود

درس یادگیری چند نمونه‌ای و زنجیره تفکر سازوکار، جدول بنچ‌مارک، مواردی که زنجیره آسیب می‌زند و مقایسه‌ی تکنیک‌ها را ارائه می‌دهد.