مسیریاب درخواستهای مسیر پیشروی شبیهسازیشده (rollout) را بین موتورها توزیع میکند؛ این انتخاب زمانی اهمیت پیدا میکند که بیش از یک موتور یا چندین نوبت گفتوگو داشته باشید.
هر درخواست مسیر پیشروی شبیهسازیشده پیش از رسیدن به موتور، از یک مسیریاب (router) عبور میکند. روی یک GPU با یک موتور، مسیریاب برای ارسال هر درخواست فقط یک مقصد دارد. اما با چند موتور، یا در نشستهای (sessions) ایجنت، مقصد ارسال درخواست تعیین میکند که موتورها تا چه حد میتوانند از کش خود دوباره استفاده کنند.
پس از پایان این بخش، میتوانید توضیح دهید که مسیریاب در اجرای Miles چه کاری انجام میدهد و چه زمانی باید آن را تغییر داد.
مقایسهی دو مسیریاب
| مسیریاب | نحوهی انتخاب | معیار مسیریابی | نکات |
|---|---|---|---|
| مسیریاب SGLang، سرویسی بر پایهی Rust | پیشفرض | بر اساس توکنها | پشتیبانی از تفکیک پیشپرکنی (prefill) و رمزگشایی (decode) |
| مسیریاب Miles، سرویسی بر پایهی Python | با پرچم --use-miles-router |
درخواستهای متنی، هر درخواست به موتوری با کمترین درخواستهای باز | بدون پشتیبانی از تفکیک پیشپرکنی و رمزگشایی؛ موتور بهطور پیشفرض پس از 3 بررسی ناموفق، ناسالم نشانهگذاری میشود |
برنامهی Miles برای هر مدلِ در حال اجرا، یک مسیریاب اختصاصی بدون استفاده از GPU راهاندازی میکند. از نسخهی v0.1.1 به بعد، Miles همیشه مسیریاب اختصاصی خودش را اجرا میکند و نمیتوانید اجرا را به مسیریابی متصل کنید که خودتان راهاندازی کردهاید.
مسیریاب پیشفرض SGLang از بیلدی میآید که تیم Miles برای آن نگهداری میکند. این بیلد فیلدهای یادگیری تقویتی (RL) را از مسیر مسیریاب به موتور منتقل میکند و برمیگرداند؛ دو نمونه از آنها مجموعهتوکنهای نمونهبرداریشده برای بازپخش (replay) نمونهبرداری و بیشترین احتمالهای لگاریتمی (top log probabilities) هستند.
اجراهای ما از مسیریاب پیشفرض استفاده کردند. خط راهاندازی در لاگهای ما این موضوع را نشان میدهد:
sglang_router.launch_router --log-level warn --prometheus-port 20036 --request-timeout-secs 14400 --host 172.17.0.3 --port 20034یک خط از لاگ اجرای e6a-base.
مسیریابی برای نشستهای ایجنت
با آرگومان --use-session-server، مسیریاب تمام نوبتهای یک گفتوگو را روی همان موتور نگه میدارد. در نتیجه، هر نوبت میتواند از کش نوبتهای قبلی دوباره استفاده کند. در این حالت، Miles سیاست مسیریابی را خودش تنظیم میکند.
با موازیسازی دادهی اتنشن (attention data parallelism) روی موتورها، Miles رتبههای (ranks) موازیسازی داده را به اطلاع مسیریاب میرساند. پس از آن، مسیریاب میتواند رتبهی خاصی را درون یک موتور انتخاب کند.
چه زمانی مسیریاب را تغییر دهیم؟
- روی یک موتور، همان حالت پیشفرض را نگه دارید؛ چیزی برای توازن بار وجود ندارد.
- با چند موتور و پرامپتهای تکنوبته، همان پیشفرض را حفظ کنید.
- در نشستهای ایجنت، سرور نشست (session server) را روشن کنید و بگذارید Miles سیاست را تعیین کند.
- فقط وقتی از مسیریاب Miles استفاده کنید که نیاز به ارسال درخواستهای متنی داشته باشید. این مسیریاب نمیتواند تفکیک پیشپرکنی و رمزگشایی را مسیریابی کند.
هنگام خطا در درخواستها، لاگ مسیریاب را در کنار لاگ موتور بخوانید. درخواستی که در مسیریاب شکست بخورد، هرگز به موتور نمیرسد.
منابع: آرگومانهای مسیریاب Miles، مشخصات مسیریاب و تنظیمات سرور نشست در main 08752a12؛ یادداشتهای انتشار Miles نسخه v0.1.1؛ مخزن بیلد مسیریاب Miles؛ فایل capture/gpu/out-gb10/router-launch.txt.