وقتی از مدلی واقعی استفاده میکنید، سقف توان را سرور مدل تعیین میکند؛ بنابراین ورکرها را برای دردسترسپذیری اضافه کنید، قفل رشتهی گفتوگو (thread lock) را در Postgres بگیرید و هزینهی گفتوگو را بر اساس تعداد توکنهای اندازهگیریشده برآورد کنید.
ترافیک دو برابر میشود و شما دومین ورکر uvicorn را بالا میآورید. حالا دو درخواست برای یک رشتهی گفتوگوی یکسان به دو فرایند (process) متفاوت میرسند. قفل درونفرایندی دیگر جلوی آنها را نمیگیرد و هر دو اجرا روی یک زنجیرهی چکپوینت (checkpoint) مینویسند. پرسش دوم این است که ورکر اضافه چه فایدهای دارد و هر گفتوگو چقدر هزینه برمیدارد.
با به پایان رساندن این بخش، میتوانید چند ورکر را همراه با یک قفل Postgres بهازای هر رشتهی گفتوگو اجرا کنید. همچنین میتوانید منبع محدودکنندهی نرخ پردازش (throughput) را بیابید و هزینهی 1,000 گفتوگو را بر اساس تعداد توکنهایی که شخصاً اندازهگیری کردهاید تخمین بزنید.
یک اجرا بهازای هر رشتهی گفتوگو، میان چندین فرایند
قفل توصیهای (Advisory lock): قفلی در Postgres روی عددی دلخواه که کد شما تعیین میکند؛ این قفل در اختیار یک نشست (session) قرار میگیرد و با پایان نشست آزاد میشود. سرویسْ شناسهی رشتهی گفتوگو را با hashtextextended به آن عدد هش میکند.
KEY = "select {fn}(hashtextextended(%s, 0))"
…
async def acquire(self, thread_id):
if thread_id in self.held:
return False
self.held.add(thread_id)
if await self.call("pg_try_advisory_lock", thread_id):
return True
self.held.discard(thread_id)
return Falseدر این کلاس سه تصمیم کلیدی اهمیت دارند:
- هر ورکر قفلهایش را روی یک اتصال اختصاصی متعلق به خودش نگه میدارد، بیرون از استخر اتصالات (pool). اگر قفلها روی اتصالات استخر گرفته میشدند، 20 اجرا تمام 20 اتصال را اشغال میکردند. آنوقت نوشتن چکپوینتهایشان معطل اتصال بیستویکم میماند.
- قفل توصیهای درون یک نشستْ بازگشتپذیر (reentrant) است؛ بنابراین درخواست دوم در همان ورکر میتوانست دوباره قفل را بگیرد. مجموعهی
heldپیشدستی کرده و جلوی آن را میگیرد. - اگر یک ورکر از کار بیفتد، Postgres نشست آن را میبندد و قفلهایش را آزاد میکند. نیازی به اجاره (lease) یا تایمر نیست.
ما در عمل سنجیدیم: آزمون همزمانی (race test) را روی مک در هر شش اجرای Qwen از این مجموعهآزمون، سه بار بهازای هر مدل، بررسی کردیم. این آزمون دو فرایند uvicorn به نامهای A و B را روی یک پایگاه داده اجرا میکند. نتیجه در هر 6 اجرا کاملاً یکسان بود:
- ارسال همزمان یک اجرا به A و یکی به B روی همان رشتهی گفتوگو: یک پاسخ 200، یک پاسخ 409 و یک پیام کاربر (human message).
- ارسال دو اجرا به A روی همان رشتهی گفتوگو: یک پاسخ 200 و یک پاسخ 409.
- ارسال یک اجرا به B در حالی که A رشتهی گفتوگو را در اختیار داشت: پاسخ 409.
- بستن فرایند A با SIGKILL درست در زمان نگهداشتن رشتهی گفتوگو، و سپس ارسال یک اجرا به B: پاسخ 200. قفل بلافاصله پس از مرگ فرایند آزاد شد.
سقف کارایی کجاست؟
ما در عمل سنجیدیم: سرویس را زیر بار روی مک با مدل Qwen3 4B ارزیابی کردیم؛ یک اجرا بهازای هر خانهی جدول. هر کاربر یک رشتهی گفتوگو داشت و چهار درخواست پیاپی میفرستاد: یک پرسش دربارهی سفارش، یک پرسش از سوالات متداول (FAQ)، یک درخواست استرداد وجه با ذکر مبلغ و دلیل، و در نهایت تایید نهایی. همهی کاربران همزمان شروع کردند. ابزار تولید بار روی همان مک با مهلت زمانی خواندن (read timeout) برابر 120 ثانیه اجرا شد و هر ورکر یک استخر با 20 اتصال داشت. درخواستها به نوبت بین ورکرها توزیع میشدند.
به عنوان خط مبنا (baseline)، یک کاربر بهتنهایی 5 نشستِ 4 درخواستی را اجرا کرد. میانهی زمان هر اجرا 3.0 ثانیه بود و کاربر 0.269 اجرا را در هر ثانیه به پایان رساند. سرورهای تستِ پاکسازینشده در طول این خط مبنا 66 اتصال Postgres را نگه داشته بودند؛ بنابراین این عدد را صرفاً یک مرجع تقریبی در نظر بگیرید.
| ورکرها | کاربران همزمان | درخواستها | انقضای مهلت کلاینت | 409 هنگام تایید | اجرا در هر ثانیه | میانهی ثانیه بهازای هر اجرا | صدک 95ام به ثانیه | حداکثر اتصالات Postgres |
|---|---|---|---|---|---|---|---|---|
| 1 | 10 | 40 | 0 | 2 | 0.259 | 36.0 | 51.1 | 11 |
| 2 | 10 | 40 | 0 | 2 | 0.242 | 38.3 | 48.6 | 15 |
| 4 | 10 | 40 | 0 | 2 | 0.258 | 35.6 | 46.7 | 26 |
| 1 | 50 | 157 | 48 | 2 | 0.208 | 164.7 | 192.5 | 22 |
| 2 | 50 | 163 | 46 | 4 | 0.216 | 152.5 | 188.7 | 35 |
| 4 | 50 | 159 | 49 | 1 | 0.220 | 145.6 | 181.4 | 48 |
شکل 9.7 این سه اندازهگیری را در کنار یکدیگر نشان میدهد.
نرخ پردازش تکان نخورد. ده کاربر 0.242 تا 0.259 اجرا در ثانیه را تمام کردند و پنجاه کاربر 0.208 تا 0.220 اجرا را، چه با 1 ورکر، چه 2 و چه 4 ورکر. یک کاربر بهتنهایی 0.269 اجرا را تمام کرده بود. هر کاربر اضافه فقط معطلی بیشتری کشید. میانهی زمان اجرا در حالت تککاربر 3.0 ثانیه بود، با ده کاربر به 36 تا 38 ثانیه رسید و با پنجاه کاربر به 146 تا 165 ثانیه افزایش یافت.
صف انتظار پیش پای مدل تشکیل شده بود. در یک آزمون ارزیابی (probe) مجزا روی Ollama بهتنهایی، هشت درخواستِ همزمان پشت سر هم و با فاصلهی حدوداً یک ثانیهای برگشتند. یک درخواستِ تنها بین 45 تا 50 توکن خروجی در ثانیه تولید میکرد. اما با 4 یا 8 درخواست همزمان، مجموع همهی آنها با هم به 17 تا 20 توکن رسید. هر کدام از آن درخواستها زمان بارگذاری مدل (load_duration) را بین 0.45 تا 1.34 ثانیه گزارش دادند، در حالی که در حالت تکدرخواست این عدد 0.13 ثانیه بود. علت این افت را پیدا نکردیم.
پایگاه دادهی Postgres فرسنگها با محدودیت نهاییاش فاصله داشت. شلوغترین خانهی جدول با 4 ورکر تنها 48 اتصال مصرف کرد و هر اجرا حدود 20 کیلوبایت ردیفهای چکپوینت نوشت.
پنجاه کاربر اول از همه کلاینتها را از پا درآوردند. در هر خانهی 50 کاربری، بین 46 تا 49 نشست از 50 نشست با ReadTimeout قطع شدند. استریم به مدت 120 ثانیه، در حالی که اجرا منتظر پاسخ مدل بود، حتی یک بایت هم نفرستاد.
البته اجراها با قطع کلاینتها متوقف نشدند. در خانهی با 1 ورکر، سرور 107 اجرا را در وضعیت done، تعداد 29 اجرا را در وضعیت وقفه (interrupted) و 19 اجرا را هنگام خاموش شدن در وضعیت cancelled به پایان رساند. کلاینتها فقط 102 اجرای done و 5 اجرای interrupted را دریافت کردند. اگر هر 15 ثانیه یک خط کامنت SSE ارسال شود، همان خانهی 1 ورکری هیچ نشستی را از دست نمیدهد؛ کمااینکه در 200 درخواست، با نرخ 0.231 اجرا در هر ثانیه، 0 خطای مهلت زمانی خواندن رخ داد. بخش 9.1 این اجرا و کدهای مربوط به آن را نشان میدهد.
دیدگاه ما: وقتی از یک سرور مدل استفاده میکنید، ورکرهای uvicorn اضافی فقط دردسترسپذیری به همراه میآورند و بس. پیش از تعیین ظرفیت سرویس، سرور مدل را بهتنهایی بسنجید، و برای افزایش نرخ پردازشْ ظرفیت پردازش مدل را بالا ببرید. ستون 409 هم دوباره به مدل برمیگردد: در هر خانه، 1 تا 4 کاربر اصلاً پیشنهادی برای استرداد دریافت نکردند، در نتیجه درخواست تایید آنها دادهای برای ازسرگیری نداشت.
هزینهی یک گفتوگو
محاسبهی قیمت هر گفتوگو به سه عدد نیاز دارد: فراخوانیهای مدل در یک گفتوگو، توکنهای ورودی و توکنهای خروجی. همانطور که در بخش 9.4 دیدیم، تکتک این اعداد باید از دادههای مصرفِ اعلامشده توسط ارائهدهنده در هر فراخوانی استخراج شوند؛ چرا که اسپنها (span) در آنجا یکپنجم توکنهای ورودی را جا انداختند.
ما در عمل سنجیدیم: 20 ارزیابی را روی مک اجرا کردیم و شمارش توکنها را با یک کالبک در هر فراخوانی مدل به دست آوردیم. Claude Haiku 5.5 یک بار اجرا شد. ردیفهای Qwen مربوط به اولین اجرای هر مدل هستند. ردیف Qwen3 4B فقط فراخوانیهای درون اسپنها را میشمارد، چون لاگ مصرفِ آن هنوز فعال نشده بود. سناریوی شمارهی 9 هیچ مدلی را صدا نمیزند، پس در هر ردیف 19 گفتوگو داریم.
| مدل | فراخوانی مدل در هر گفتوگو، میانه و حداکثر | توکنهای ورودی، میانه و میانگین | توکنهای خروجی، میانه و میانگین | ثانیههای مصرفی مدل در هر گفتوگو، میانه |
|---|---|---|---|---|
| Claude Haiku 5.5 | 2، 14 | 1,989، 4,004 | 214، 394 | 4.01 |
| Qwen3 14B | 2، 12 | 992، 1,799 | 60، 113 | 12.97 |
| Qwen3 4B، فقط اسپنها | 2، 8 | 1,166، 1,344 | 50، 66 | 1.26 |
تعداد توکنها علاوه بر رفتار مدل، به توکنایزر آن هم بستگی دارد. نخستین فراخوانی مدل برای یک سوال متداول، در Claude Haiku 5.5 شامل 912 توکن ورودی بود. همین درخواست در Qwen3 4B به 557 توکن و در Qwen3 14B به 454 توکن رسید. دو مدل Qwen از یک توکنایزر مشترک استفاده میکنند، بنابراین اختلاف میان آنها به الگوی چت (chat template) آنها برمیگردد.
کل مجموعهآزمون Haiku از 64 فراخوانی، 76,076 توکن ورودی و 7,493 توکن خروجی استفاده کرد. بر اساس تعرفهی رسمی، این مقدار 0.011353 دلار هزینه برداشت؛ این رقم همان پولی است که عملاً خرج شد. قیمت 1,000 گفتوگوی مشابه، از روی تعداد توکنهای هر گفتوگو و تعرفههای رسمی در تاریخ 2026-11-14 (پلن استاندارد، بدون کش) محاسبه میشود:
| مدل | دلار بهازای هر یک میلیون توکن، ورودی و خروجی | دلار بهازای 1,000 گفتوگو | پرهزینهترین گفتوگو |
|---|---|---|---|
| Claude Haiku 5.5 | 0.10، 0.50 | 0.61 | 0.0028 دلار |
| Claude Haiku 4.5 | 1.00، 5.00 | 6.06 | 0.0276 دلار |
| Claude Sonnet 5.5 | 2.00، 10.00 | 12.11 | 0.0552 دلار |
| Claude Sonnet 4.6 | 3.00، 15.00 | 18.17 | 0.0829 دلار |
| Claude Opus 5.5 | 4.00، 20.00 | 24.22 | 0.1105 دلار |
فقط ردیف اول حاصل اندازهگیری واقعی است. ردیفهای دیگر تعداد توکنهای Haiku 5.5 را با تعرفههای سایر مدلها تطبیق دادهاند. مسلماً مدلی دیگر فراخوانیهای متفاوتی انجام میدهد؛ ضمن اینکه در صفحهی تعرفهها ذکر شده Sonnet 4.6 و نسخههای قدیمیتر از توکنایزری قدیمی استفاده میکنند که حدود 30٪ توکن کمتری تولید میکند. این ردیفها را به چشم برآورد اولیه ببینید. در این میانگین، اجرای مهارنشده (runaway) و رشتهی ششنوبتی (six-turn thread) هم لحاظ شدهاند که پرهزینهترین گفتوگوها بودند. ترکیب واقعی این موارد را ترافیک کاربران شما مشخص خواهد کرد.
در مدلهای محلی، هزینه به سیستم سختافزاری برمیگردد. مدل Qwen3 14B میانهی زمان پردازش 12.97 ثانیه را بهازای هر گفتوگو ثبت کرد و Qwen3 4B به زمان 1.26 ثانیه رسید. آزمون بار بالا نشان میدهد مک چند تا از این درخواستها را میتواند همزمان پاسخ دهد.
منابع: capture/lab/prodapp-mac/code/app/locks.py، capture/lab/prodapp-mac/code/app/server.py، capture/lab/prodapp-mac/code/load/loadtest.py، capture/lab/prodapp-mac/code/scripts/ollama_parallel.py، capture/lab/prodapp-mac/code/scripts/cost_real.py، capture/lab/prodapp-mac/code/cost/prices.json، capture/lab/prodapp-mac/code/tests/test_workers.py، capture/lab/prodapp-mac/summary/load-mac.json، capture/lab/prodapp-mac/summary/cost-mac.json، capture/lab/prodapp-mac/summary/evals-mac.json، capture/lab/prodapp-mac/runs/load/load-summary.json، capture/lab/prodapp-mac/runs/load/ollama-parallel.json، capture/lab/prodapp-mac/summary/fix-mac.json، capture/lab/prodapp-mac/runs/fix/load/load-summary.json؛ صفحهی تعرفههای Anthropic، دریافتشده در تاریخ 2026-11-14.