استفاده از مدل‌های پیشرو و قدرتمندی مثل GPT-5 برای پردازش تمام درخواست‌های کاربران، هزینه‌های استنتاج را به شکلی سرسام‌آور بالا می‌برد. بررسی ترافیک سرویس‌های واقعی نشان می‌دهد که بخش عمده‌ای از پرامپت‌ها ساده هستند و می‌توانند با مدل‌های بسیار ارزان‌تر پاسخ داده شوند، در حالی که فقط اقلیتی از کوئری‌ها به توان استدلالی مدل‌های گران‌قیمت نیاز دارند.
مسیریابی مدل (Model Routing) و الگوی آبشار (Cascading) ابزارهایی حیاتی برای تبدیل افت قیمت مدل‌های زبانی به حاشیه‌ی سود واقعی هستند. با این روش‌ها، درخواست‌های ساده به مدل‌های سبک فرستاده شده و تنها موارد دشوار یا نامطمئن به مدل‌های پرچم‌دار واگذار می‌شوند تا بدون افت کیفیت، بین 20 تا 60 درصد در هزینه‌ها صرفه‌جویی شود.
اگر برای پرداخت دلاری اشتراک API سرویس‌هایی مانند OpenAI یا Anthropic با محدودیت کارت‌های اعتباری بین‌المللی مواجه هستید و از درگاه‌های واسط یا مدل‌های محلی استفاده می‌کنید، بهینه‌سازی بودجه و کاهش تعداد توکن‌های ارسالی به مدل‌های گران‌قیمت اهمیت دوچندانی پیدا میکند.
یک کارگزار پویا (dynamic broker) تک‌تک درخواست‌ها را ارزیابی میکند (نوع وظیفه، طول توکن‌ها، شباهت امبدینگ، میزان اطمینان)؛ پرسش‌های ساده را به یک مدل ارزان می‌فرستد و موارد پیچیده را به یک مدل پیشرو (frontier model) ارجاع می‌دهد؛ روشی که آبشار مدل (model cascading) نیز نامیده میشود. بررسی‌های موردی در محیط عملیاتی (پروداکشن) نشان می‌دهند این رویکرد در پیاده‌سازی‌های آمریکا، بریتانیا و اتحادیه‌ی اروپا، هزینه‌ها را با حفظ دقیق سطح کیفیت (iso-quality) بین 20 تا 60 درصد کاهش می‌دهد؛ بهبود 30 درصدی در کارایی مسیریابی برای یک سرویس SaaS با ترافیک بالا، به صرفه‌جویی سالانه‌ی شش‌رقمی می‌انجامد. در فضای سال 2026، قیمت استنتاج مدل‌های زبانی بزرگ برای یک سطح توانمندی ثابت، تقریباً سالانه 10 برابر افت کرده است (برآورد LLMflation از شرکت a16z)؛ در رده‌ی GPT-4، این افت کندتر بوده و از اواخر 2022 تا 2026 از حدود 20 دلار به ازای هر یک میلیون توکن به حدود 0.40 دلار رسیده است (نزدیک به 50 برابر کاهش). بخش عمده‌ی این افت حاصل پشته‌های سرویس‌دهی بهتر است (فاز 17 · درس‌های 04 تا 09)، نه سخت‌افزار. مسیریابی همان راهکاری است که این افت قیمت را بدون افت کیفیت محصول، به حاشیه‌ی سود تبدیل میکند. حالت شکست در این سناریو، انحراف مدل ارزان (cheap-model drift) است: مسیر تعیین‌شده، 40 درصد ترافیک را به سمت مدلی ضعیف‌تر push میکند، کیفیت در وظایف استدلالی بین 3 تا 5 درصد افت میکند و یک فصل کاری هیچ‌کس متوجه این موضوع نمی‌شود. مسیرها را باید با معیارهای کیفی آنلاین کنترل کرد، نه صرفاً با مجموعه‌های ارزیابی آفلاین.
اهداف یادگیری
- توضیح آبشار مدل: اولویت با مدل ارزان همراه با بررسی اطمینان، و ارجاع به مدل قویتر در صورت پایین بودن اطمینان.
- برشمردن چهار سیگنال مسیریابی (دستهبندی وظیفه، طول پرامپت، شباهت امبدینگ به مجموعهی نمونههای دشوار، خوداطمینانی حاصل از اجرای مرحله‌ی اول).
- محاسبه‌ی هزینه‌ی ترکیبی موردانتظار بر اساس سهم هدف‌گذاری‌شده در مسیریابی و آستانه‌ی تحمل افت کیفیت.
- نام بردن معیار پایش انحراف (گیت کیفی آنلاین) که نفوذ تدریجی مدل ارزان را شناسایی میکند.
صورت مسئله
سرویس شما ماهانه 80 هزار دلار برای مدل GPT-5 هزینه می‌تراشد. تحلیل داده‌های شما نشان می‌دهد 70 درصد پرسش‌ها ساده هستند: «ساعت در پاریس چند است؟» یا «این جمله را بازنویسی کن». مدلی در رده‌ی Haiku این درخواست‌ها را بی‌نقص و تنها با 3 درصد این هزینه پردازش میکند. در مقابل، 30 درصد درخواست‌ها به توان استدلال GPT-5 نیاز دارند؛ مثل کدنویسی، ریاضیات یا برنامه‌ریزی چندمرحله‌ای.
اگر آن 70 درصد را به مدل ارزان و 30 درصد را به مدل گران هدایت کنید، صورت‌حساب شما در همان سطح کیفیت محصول حدود 65 درصد کاهش می‌یابد. این همان مسیریابی است. چالش اصلی، ساختن این کارگزار بدون افت کیفیت محصول است.
مفاهیم کلیدی
چهار سیگنال مسیریابی
-
دستهبندی وظیفه: ساده / پیچیده / تولید کد / ریاضی / چت. این کار می‌تواند با یک دستهبند مبتنی بر قاعده، یک مدل زبانی کوچک (در رده‌ی Haiku با هزینه‌ی 0.25 دلار به ازای یک میلیون توکن)، یا شباهت امبدینگ به دسته‌های برچسب‌خورده انجام شود. خروجی: مسیر = ارزان / متعادل / پیشرو.
-
طول پرامپت: پرامپت‌های بیشتر از 4 هزار توکن معمولاً برای حفظ انسجام متن به مدل پیشرو نیاز دارند. پرامپت‌های کمتر از 500 توکن معمولاً به آن نیازی ندارند.
-
شباهت امبدینگ به مجموعهی نمونههای دشوار: اگر پرسش ورودی به دسته‌ای از نمونههای دشوارِ شناسایی‌شده نزدیک باشد (شباهت کسینوسی بالاتر از 0.88)، مستقیماً به مدل پیشرو فرستاده میشود.
-
خوداطمینانی حاصل از اجرای مرحله‌ی اول: درخواست را به مدل ارزان بفرستید؛ اگر احتمالات لگاریتمی (log-probs) نشان‌دهنده‌ی اطمینان پایین بود، یا با امتناع مدل (refusal) روبه‌رو شدید، یا از عبارات نامطمئن و دست‌به‌عصا استفاده کرد، آن را مجدداً با مدل پیشرو اجرا کنید. این کار تاخیر صدک 95 (P95 latency) را روی حدود 10 درصد ترافیک بالا می‌برد، اما بیش از 50 درصد در هزینه‌ی 90 درصد بقیه‌ی ترافیک صرفه‌جویی میکند.
سه الگوی طراحی
پیشمسیریابی (Pre-route) (دستهبندی در ابتدای مسیر): حدود 5 تا 10 میلی‌ثانیه تاخیر اضافه میکند و در مجموع سریع‌ترین روش است.
آبشار مدل (Cascade) (اولویت با مدل ارزان، ارجاع در صورت اطمینان پایین): میانه‌ی تاخیر حدود 1.2 برابر (اجرای ارزان به‌علاوه‌ی بررسی صحت)، و روی درخواست‌های ارجاع‌شده حدود 2 برابر میشود. این روش بهترین کف کیفیت را تضمین میکند.
مسیریابی گروهی (Ensemble route) (اجرای موازی مدل ارزان و پیشرو روی یک نمونه از داده‌ها، و انتخاب با مدل پاداش): بالاترین کیفیت و بیشترین هزینه را دارد؛ فقط برای آزمون‌های A/B بسیار حساس استفاده میشود.
پیاده‌سازی
درگاه‌های هوش مصنوعی (AI Gateways؛ فاز 17 · درس 19) قابلیت مسیریابی را در اختیارتان می‌گذارند. LiteLLM دارای تنظیمات router همراه با طرح پشتیبان (fallback) و مسیریابی مبتنی بر هزینه است. Portkey امکانات محافظتی (guards) را در کنار مسیریابی ارائه می‌دهد. درگاه Kong AI Gateway از مسیریابی مبتنی بر افزونه پشتیبانی میکند. بازار مدل‌های OpenRouter نیز یک API برای پیشنهاد مدل دارد.
ابزارهای متن‌باز: RouteLLM (از تیم LMSYS) و Prompt Mule. گزینه‌ی تجاری: Not Diamond.
منحنی قیمت‌ها در سال 2026
| رده‌ی مدل | اواخر 2022 | 2026 | تغییرات |
|---|---|---|---|
| کیفیت در سطح GPT-4 | حدود 20 دلار به ازای یک میلیون توکن | حدود 0.40 دلار به ازای یک میلیون توکن | 50 برابر ارزان‌تر |
| پیشرو (GPT-5, Claude 4) | — | حدود 3 تا 10 دلار به ازای یک میلیون توکن | رده‌ی قیمتی جدید |
بخش عمده‌ی این پیشرفت ناشی از بهبود کارایی در سرویس‌دهی است؛ درس‌های کلیدی فاز 17 · درس‌های 04 تا 09 اکنون در سمت ارائه‌دهندگان به کاهش هزینه تبدیل شده‌اند. با مسیریابی می‌توانید این دستاوردها را در لایه‌ی اپلیکیشن تصاحب کنید، بدون آنکه منتظر بمانید تا تک‌تک کاربران به رده‌ی ارزان‌تر مهاجرت کنند.
انحراف، ریسک واقعی است
مسیر تعیین‌شده، 40 درصد ترافیک را به مدل ارزان push میکند. در طول شش ماه، ناهماهنگی در توزیع داده‌ها (distribution shift) در سطح وظایف رخ می‌دهد (کاربران حرفه‌ای‌تر می‌شوند و پرسش‌های طولانی‌تری می‌پرسند). مسیریاب متوجه این تغییر نمی‌شود؛ چون دستهبند آن با داده‌های فصل اول سال آموزش دیده بود. کیفیت بی سر و صدا افت میکند. کسی هم آن‌قدر بلند شکایت نمی‌کند که متوجه شوید. در نهایت این موضوع را در نتایج یک بنچمارک مقایسه‌ای با رقبا می‌فهمید؛ وقتی که بازی را باخته‌اید.
مسیرها را با معیارهای کیفی آنلاین کنترل کنید:
- ثبت بازخورد مثبت / منفی کاربران به ازای هر مسیر.
- ارزیابی خودکار با یک مدل زبانی ناقد (critic) یا داور (LLM-judge) روی نمونه‌ای مجزا (5 درصد) به ازای هر مسیر.
- نرخ ارجاع به بالا: اگر آبشار مدل بیش از 30 درصد درخواست‌ها را به مسیر بالاتر ارجاع می‌دهد، یعنی بیش از حد به سمت مدل ارزان هدایت شده است.
- نرخ امتناع به ازای هر مسیر.
اعدادی که باید به خاطر بسپارید
- صرفه‌جویی حاصل از مسیریابی در سال 2026 با حفظ کیفیت: 20 تا 60 درصد بر اساس مطالعات موردی.
- افت قیمت مدل‌های زبانی در یک سطح توانمندی مشخص: حدود 10 برابر در سال (برآورد LLMflation از a16z)؛ در مجموع نزدیک به 50 برابر در رده‌ی GPT-4 از سال 2022 تا 2026.
- سطح کیفی GPT-4 در سال 2022 در مقایسه با 2026: حدود 20 دلار به ازای یک میلیون توکن به حدود 0.40 دلار.
- اثر آبشار مدل روی تاخیر: حدود 1.2 برابر در میانه‌ی تاخیر، و حدود 2 برابر برای موارد ارجاع‌شده (حدود 10 درصد از ترافیک).
استفاده از ابزارهای واقعی
فایل code/main.py سه الگوی پیشمسیریابی، آبشار مدل و مسیریابی گروهی را روی یک بار کاری ترکیبی شبیه‌سازی میکند و هزینه‌ی ترکیبی، افت کیفیت و نرخ ارجاع را گزارش می‌دهد.
خروجی این درس
خروجی این درس فایل outputs/skill-router-plan.md است. این برنامه با توجه به بار کاری و بودجه‌ی کیفی، الگوی مسیریابی و سیگنالهای مناسب را انتخاب میکند.
تمرین‌ها
- اسکریپت
code/main.pyرا اجرا کنید. در چه کف دقتی، روش آبشار مدل بهتر از پیشمسیریابی عمل میکند؟ - پایگاه کاربران شما شامل 30 درصد مشتریان سازمانی (پرسش‌های پیچیده) و 70 درصد کاربران طرح رایگان (پرسش‌های ساده) است. سهم تفکیک مسیریابی را طراحی کنید. کدام معیار آنلاین بر این مسیر نظارت میکند؟
- اگر یک مسیر کیفیت را 2 درصد کاهش دهد اما 40 درصد صرفه‌جویی ایجاد کند، آیا باید آن را نهایی و مستقر کرد؟ پاسخ به نوع محصول بستگی دارد؛ برای هر دو دیدگاه استدلال کنید.
- با استفاده از احتمالات لگاریتمی (logprobs) در APIهای OpenAI یا Anthropic، یک بررسی اطمینان پیاده کنید. کار را با چه آستانه‌ای شروع می‌کنید؟
- در طول شش ماه، نرخ ارجاع به بالا از 8 درصد به 22 درصد افزایش می‌یابد. سه دلیل برای این اتفاق و راهکار اصلاح هر کدام را مشخص کنید.
اصطلاحات کلیدی
| اصطلاح | در گفت‌وگوها | معنای دقیق فنی |
|---|---|---|
| مسیریابی مدل (Model routing) | «کارگزار هزینه» | انتخاب پویای مدل به ازای هر درخواست |
| آبشار مدل (Model cascade) | «ابتدا ارزان، بعد ارجاع» | اجرای مدل ارزان و جابه‌جایی به مدل پیشرو در صورت اطمینان پایین |
| پیشمسیریابی (Pre-route) | «اول دستهبندی کن» | دستهبندی در ابتدای کار، بدون نیاز به اجرای مجدد |
| مسیریابی گروهی (Ensemble route) | «انتخاب موازی» | اجرای هم‌زمان چند مدل و انتخاب بهترین پاسخ با مدل پاداش |
| نرخ ارجاع به بالا (Escalation rate) | «درصد پاس داده‌شده» | کسری از درخواست‌های آبشار مدل که به مدل قویتر فرستاده شده‌اند |
| RouteLLM | «مسیریاب LMSYS» | کتابخانه‌ی متن‌باز برای مسیریابی |
| Not Diamond | «مسیریاب تجاری» | محصول ابری (SaaS) برای مسیریابی مدل‌ها |
| جابه‌جایی تدریجی (Drift) | «نفوذ تدریجی ارزان» | ناهماهنگی در توزیع داده‌ها بدون آنکه مسیریاب متوجه شود |
| گیت کیفی آنلاین (Online quality gate) | «بررسی زنده» | ارزیابی خودکار با مدل زبانی داور روی نمونه‌ای از ترافیک زنده |
برای مطالعه‌ی بیشتر
- AbhyashSuchi — بهترین شیوه‌های مسیریابی مدل‌های زبانی در سال 2026
- Lukas Brunner — ظهور بهینه‌سازی استنتاج در سال 2026
- مقاله و کد RouteLLM
- Not Diamond — مسیریابی مدل
- OpenRouter — درگاه چندمدلی مجهز به اجزای سازنده‌ی (primitives) مسیریابی.