اجرای محلی مدل‌های زبانی روی دستگاههای مصرف‌کننده (Edge Inference) مزایای بزرگی دارد: کاهش چشمگیر هزینه‌های سرور، حذف تاخیر شبکه در کاربردهای حساسی مثل ایجنت‌های صوتی، و حفظ کامل حریم خصوصی داده‌ها. با این حال، بسیاری از مهندسان هنگام اجرای یک مدل روی موبایل یا مرورگر با افت شدید سرعت مواجه می‌شوند و علت را در کمبود توان پردازشی جستجو می‌کنند.
واقعیت این است که در استنتاج روی دستگاه، گلوگاه اصلی نه توان محاسباتی خام، بلکه پهنای باند حافظه‌ی رم (Memory Bandwidth) است. حافظه‌ی DRAM دستگاههای موبایل تا 50 برابر کندتر از حافظه‌های دیتاسنتری HBM3 است و در مرحلهی رمزگشایی که نیازمند خواندن مکرر وزن‌هاست، همین تفاوت فیزیکی سقف خروجی توکن‌ها را تعیین میکند.
در این درس یاد می‌گیرید چگونه مدل‌های زبانی را برای چهار بستر اصلی لبه یعنی موتور عصبی اپل (ANE)، تراشه‌های Snapdragon با پردازنده‌ی Hexagon، فناوری WebGPU و WebLLM در مرورگر، و بردهای پردازشی NVIDIA Jetson آماده کنید، فرمت کوانتیزهسازی متناسب با هر معماری را برگزینید و از خطای پر شدن حافظه (OOM) در زمینههای طولانی بپرهیزید.
گلوگاه اصلی در استنتاج روی لبه (Edge inference)، پهنای باند حافظه است نه توان پردازشی. حافظه‌ی رم موبایل (DRAM) پهنای باندی بین 50 تا 90 گیگابایت بر ثانیه دارد؛ درحالی‌که حافظه‌های HBM3 در دیتاسنترها از مرز 2 تا 3 ترابایت بر ثانیه عبور می‌کنند؛ یعنی اختلافی 30 تا 50 برابری. از آنجا که مرحلهی رمزگشایی (Decode) وابسته به حافظه (Memory-bound) است، این اختلاف نقشی تعیین‌کننده دارد. در سال 2026، چشم‌انداز سخت‌افزارهای لبه به چهار مسیر اصلی تقسیم میشود: موتور عصبی اپل (ANE) در چیپ‌های M4 و A18 با حافظه‌ی یکپارچه (بدون کپی داده میان CPU و NPU) به سقف 38 ترافلاپس عملیات در ثانیه (TOPS) میرسد. پردازنده‌ی Hexagon در Snapdragon X Elite و 8 Gen 4 کوالکام توان 45 ترافلاپسی ثبت میکند. ترکیب WebGPU و WebLLM مدل Llama 3.1 8B (نسخه‌ی Q4) را با نرخ حدود 41 توکن بر ثانیه روی M3 Max اجرا میکند (تقریباً 70 تا 80 درصد بازدهی بومی)؛ با 17.6 هزار ستاره در گیت‌هاب، یک رابط برنامه‌نویسی (API) سازگار با OpenAI دارد و پوشش آن روی موبایل به حدود 70 تا 75 درصد میرسد. پردازنده‌ی NVIDIA Jetson Orin Nano Super (نسخه‌ی 8 گیگابایت) مدل‌های Llama 3.2 3B و Phi-3 را در خود جای می‌دهد؛ مدل AGX Orin مدل gpt-oss-20b را با فریم‌ورک vLLM با نرخ حدود 40 توکن بر ثانیه اجرا میکند؛ و Jetson T4000 (تحت JetPack 7.1) عملکردی دو برابر AGX Orin ارائه می‌دهد. در نهایت، TensorRT Edge-LLM از قابلیت‌هایی مثل EAGLE-3، فرمت NVFP4 و پیش‌پرکنی تکه‌ای (Chunked prefill) پشتیبانی میکند؛ امکاناتی که در رویداد CES 2026 توسط شرکت‌های Bosch، ThunderSoft و MediaTek به نمایش درآمد.
اهداف یادگیری
- توضیح اینکه چرا استنتاج مدل‌های زبانی روی موبایل وابسته به پهنای باند حافظه است و توان پردازشی اولویت دوم را دارد.
- برشمردن چهار بستر هدف در پردازش لبه (Apple ANE، Qualcomm Hexagon، WebGPU/WebLLM، NVIDIA Jetson) و تطبیق هر کدام با کاربرد متناسب.
- نام بردن از شکاف پوشش WebGPU در سال 2026 (تلاش Firefox Android برای جبران عقب‌ماندگی) و پیاده‌سازی رسمی آن در Safari iOS 26.
- انتخاب فرمت کوانتیزهسازی بر اساس بستر هدف (Core ML INT4 + FP16 برای ANE، QNN INT8/INT4 برای Hexagon، نسخه‌ی WebGPU Q4 برای مرورگر، و NVFP4 برای Jetson Thor).
صورت مسئله
کارفرمایی به دنبال یک چت‌بات مبتنی بر دستگاه (On-device) است: متکی بر صوت، کاملاً محرمانه به‌صورت پیش‌فرض، و با کارکرد آفلاین. روی مک‌بوک پرو با تراشه‌ی M3 Max، مدل Llama 3.1 8B Q4 با نرخ قابل‌قبول حدود 55 توکن بر ثانیه اجرا میشود. همین مدل روی آیفون 16 پرو به نرخ غیرقابل‌قبول 3 توکن بر ثانیه افت میکند. روی یک گوشی میان‌رده‌ی اندرویدی مجهز به Snapdragon 8 Gen 3 به 7 توکن بر ثانیه میرسد. داخل مرورگر و با شتاب‌دهی WebGPU در کروم اندروید (نسخه‌ی 121 به بالا)، این خروجی بسته به دستگاه بین 4 تا 8 توکن بر ثانیه متغیر است.
این اختلاف در نرخ پردازش (Throughput) ناشی از نقص در پورت نرم‌افزاری نیست؛ بلکه حاصل‌ضرب شکاف پهنای باند حافظه در نوع فرمت کوانتیزهسازی و البته امکان دسترسی فضای کاربری (User-space) به NPU است. استنتاج روی لبه در سال 2026 در واقع چهار مسئله‌ی مجزا با چهار پاسخ کاملاً متفاوت است.
مبانی نظری
پهنای باند؛ سقف واقعی عملکرد
در مرحلهی رمزگشایی، تمام وزنهای مدل برای تولید تک‌تک توکن‌ها از حافظه خوانده می‌شوند. حجم یک مدل 7 میلیارد پارامتری با کوانتیزهسازی Q4 حدود 3.5 گیگابایت است. خواندن 3.5 گیگابایت داده با پهنای باند 50 گیگابایت بر ثانیه، 70 میلی‌ثانیه زمان می‌برد؛ یعنی سقف نظری نرخ پردازش نهایتاً حدود 14 توکن بر ثانیه است. اگر پهنای باند به 90 گیگابایت بر ثانیه (DRAM در گوشی‌های پرچمدار) برسد، این سقف به حدود 25 توکن بر ثانیه منتقل میشود. افزودن هیچ میزانی از توان محاسباتی نمی‌تواند شما را از این سقف فیزیکی عبور دهد.
در طرف مقابل، حافظه‌ی HBM3 دیتاسنترها با پهنای باند 3 ترابایت بر ثانیه، همین داده‌ی 3.5 گیگابایتی را در 1.2 میلی‌ثانیه می‌خواند؛ یعنی سقف خروجی به 830 توکن بر ثانیه میرسد. مدل همان است و وزن‌ها یکی هستند، اما معماری زیرسیستم حافظه تفاوت دارد.
موتور عصبی اپل (Apple Neural Engine در M4 و A18)
- تا سقف 38 ترافلاپس (TOPS). حافظه‌ی یکپارچه (اشتراک رم میان CPU و ANE) هزینه‌ی سربار کپی داده را به صفر می‌رساند.
- دسترسی از طریق Core ML و مدل‌های کامپایل‌شده‌ی
mlmodel.، یا با سایهزنهای عملکرد متال (MPS) از طریق PyTorch. - بکاند Metal در Llama.cpp از MPS بهره می‌برد نه مستقیماً از ANE؛ استفاده‌ی بومی از ANE نیازمند تبدیل مدل به Core ML است.
- بهترین راهکار عملیاتی برای برنامه‌های iOS در سال 2026: استفاده از Core ML با وزنهای INT4 و فعال‌سازهای (Activations) FP16.
پردازنده‌ی Qualcomm Hexagon (تراشه‌های Snapdragon X Elite و 8 Gen 4)
- تا سقف 45 ترافلاپس (TOPS). ادغام‌شده با CPU و GPU در تراشه‌ی یکپارچه (SoC)، ولی با دامنه‌ی حافظه‌ی مجزا.
- کیت توسعه‌ی نرم‌افزاری QNN (Qualcomm Neural Network) و سرویس AI Hub ابزارهای تبدیل را از مبدأ PyTorch و ONNX مهیا می‌کنند.
- الگوهای چت (Chat templates)، مدل‌های Llama 3.2 و Phi-3 همگی به عنوان دست‌سازه‌های درجه‌یک و آماده روی AI Hub عرضه می‌شوند.
پردازندههای عصبی Intel و Lunar Lake) AMD و Ryzen AI 300)
- بین 40 تا 50 ترافلاپس (TOPS). بخش نرم‌افزاری هنوز از اپل و کوالکام عقب‌تر است؛ OpenVINO در حال پیشرفت است اما همچنان بازاری تخصصی و محدود دارد.
- بهترین کاربرد: اجرای برنامه‌های Copilot تحت ویندوز آرم؛ و استفاده به عنوان گزینه‌ی بومی برای پردازش محلی در سیستم‌های دسکتاپ AMD و Intel.
ترکیب WebGPU و WebLLM
- اجرای مدلها در مرورگر بدون نیاز به نصب، با کمک سایهزنهای محاسباتی (Compute shaders) در WebGPU.
- اجرای Llama 3.1 8B Q4 با نرخ حدود 41 توکن بر ثانیه روی M3 Max (تقریباً 70 تا 80 درصد کارایی بومی در مقایسه با استفاده از همین بکاند).
- 17.6 هزار ستاره در گیت‌هاب برای WebLLM؛ ارائه‌ی API سازگار با جاوااسکریپتِ OpenAI؛ تحت مجوز Apache 2.0.
- پوشش در سال 2026: Chrome Android نسخه‌ی 121 به بعد، عرضه‌ی رسمی در Safari iOS 26، و تلاش Firefox Android برای رسیدن به این چرخه. در مجموع حدود 70 تا 75 درصد از دستگاههای موبایل را پوشش می‌دهد.
خانواده‌ی NVIDIA Jetson
- مدل Orin Nano Super (با 8 گیگابایت حافظه): اجرای مدل‌های Llama 3.2 3B و Phi-3 با نرخ توکن بر ثانیه‌ی مطلوب.
- مدل AGX Orin: اجرای مدل gpt-oss-20b به کمک vLLM با نرخ حدود 40 توکن بر ثانیه.
- چیپ‌های Thor / T4000 (تحت JetPack 7.1): عملکردی دو برابری نسبت به AGX Orin، با پشتیبانی از EAGLE-3 و ساختار کدهای NVFP4.
- فریم‌ورک TensorRT Edge-LLM (نسخه‌ی 2026) از دیکودینگ حدسی (Speculative Decoding) به روش EAGLE-3، وزنهای NVFP4 و پیش‌پرکنی تکه‌ای پشتیبانی میکند؛ در واقع بهینه‌سازی‌های دیتاسنتر اکنون به سخت‌افزارهای لبه منتقل شده‌اند.
انتخاب فرمت کوانتیزهسازی متناسب با بستر هدف
| سخت‌افزار هدف | فرمت داده | توضیحات |
|---|---|---|
| Apple ANE | وزنهای INT4 همراه با فعال‌سازهای FP16 | مسیر تبدیل از طریق Core ML |
| Qualcomm Hexagon | ساختار QNN INT8 / INT4 | مبدل‌های آماده در پلتفرم AI Hub |
| WebGPU / WebLLM | فرمت Q4 MLC (شناسهی q4f16_1) | تبدیل با دستور mlc_llm convert_weight به‌همراه خروجی wasm.؛ فرمت GGUF پشتیبانی نمیشود |
| Jetson Orin Nano | ساختار Q4 GGUF یا TRT-LLM INT4 | محدود به پهنای باند حافظه (Memory-bound) |
| Jetson AGX / Thor | ساختار NVFP4 با کش کلید-مقدار (KV cache) در فرمت FP8 | مسیر ویژه‌ی Edge-LLM |
تله‌ی پنجره‌ی زمینه‌ی طولانی در پردازش لبه
پنجره‌ی زمینه‌ی 128K مدل‌های Llama 3.1 امکانی مختص دیتاسنترهاست. در یک گوشی هوشمند با 8 گیگابایت رم، بارگذاری 4 گیگابایت برای مدل به‌علاوه‌ی 2 گیگابایت کش کلید-مقدار برای فقط 32 هزار توکن، در کنار حافظه‌ی مصرفی سیستمعامل، مساوی با خطای کمبود حافظه (OOM) خواهد بود. بنابراین در استقرار روی لبه، طول زمینه عموماً روی 4K تا 8K محدود می‌ماند، مگر آنکه کوانتیزهسازی تهاجمی کش کلید-مقدار (مانند Q4 KV) پذیرفته شود.
کاربرد طلایی: تعامل صوتی
ایجنت‌های صوتی حساسیت فوق‌العاده‌ای به تاخیر پاسخ‌دهی دارند (زمان دریافت اولین توکن یا TTFT باید زیر 500 میلی‌ثانیه باشد). استنتاج محلی تاخیر شبکه را به‌کلی حذف میکند. با ادغام این قابلیت در کنار تبدیل صوت به متن (مانند نسخه‌های Whisper Turbo روی لبه)، استنتاج روی لبه به چرخه‌ی صوتی باکیفیت برای محیط عملیاتی (پروداکشن) تبدیل میشود.
اعدادی که باید به خاطر بسپارید
- توان پردازشی موتور عصبی در Apple M4 / A18 برابر با 38 TOPS.
- پردازنده‌ی عصبی Qualcomm Hexagon در SD X Elite برابر با 45 TOPS.
- کارایی WebLLM روی تراشه‌ی M3 Max: حدود 41 توکن بر ثانیه برای مدل Llama 3.1 8B Q4.
- چیپ AGX Orin: نرخ حدود 40 توکن بر ثانیه برای اجرای gpt-oss-20b با vLLM.
- شکاف پهنای باند دیتاسنتر در مقایسه با سخت‌افزارهای لبه: 30 تا 50 برابر.
- پوشش WebGPU روی موبایل: حدود 70 تا 75 درصد (با احتساب عقب‌ماندگی Firefox Android).
به کار بگیرید
اسکریپت code/main.py سقف نظری نرخ پردازش در مرحلهی رمزگشایی را بر پایه‌ی معادلات محدودیت پهنای باند حافظه برای انواع پلتفرم‌های لبه محاسبه میکند. این ابزار نتایج را با بنچمارک‌های تجربی مقایسه کرده و نشان می‌دهد که گلوگاه اصلی در کدام نقاط به پهنای باند برمی‌گردد نه توان پردازشی.
تحویل دهید
حاصل این درس تولید سند outputs/skill-edge-target-picker.md است. این راهنما پلتفرم مد نظر (iOS، اندروید، مرورگر یا Jetson)، مدل، و سقف مجاز تاخیر یا حافظه را دریافت میکند و مناسب‌ترین فرمت کوانتیزهسازی و پایپ‌لاین تبدیل مدل را برمی‌گزیند.
تمرین‌ها
- اسکریپت
code/main.pyرا اجرا کنید. برای یک مدل 7B با کوانتیزهسازی Q4 روی Snapdragon 8 Gen 3 (با پهنای باند حدود 77 گیگابایت بر ثانیه)، سقف رمزگشایی را به دست آورید. آن را با سرعت تجربی 6 تا 8 توکن بر ثانیه مقایسه کنید؛ آیا محیط اجرا (Runtime) بهره‌وری کافی دارد؟ - استفاده از WebGPU در اندروید به Chrome نسخه‌ی 121 به بالا نیاز دارد. یک طرح پشتیبان (Fallback) برای مرورگرهای قدیمی‌تر طراحی کنید که سمت سرور باشد اما از همان API سازگار با OpenAI بهره ببرد.
- برنامه‌ی تحت iOS شما به قابلیت استریمینگ (Streaming) با زمینه‌ی 4K احتیاج دارد. کدام ترکیب از مدل و فرمت، مصرف حافظه‌ی فعال روی آیفون 16 را زیر 4 گیگابایت نگه می‌دارد؟
- ماژول Jetson AGX Orin مدل gpt-oss-20b را با نرخ 40 توکن بر ثانیه اجرا میکند، درحالی‌که ماژول Jetson Nano فقط ظرفیت اجرای یک مدل 3B را دارد. اگر محصول شما هر دو هدف را پوشش می‌دهد، پشته‌ی استنتاج را چطور یکپارچه می‌کنید؟
- با در نظر گرفتن پوشش دستگاه‌ها، کارایی اجرایی، و شکاف پشتیبانی در Firefox Android استدلال کنید که آیا در سال 2026 فناوری WebLLM واقعاً آماده‌ی استفاده در محیط عملیاتی (پروداکشن) هست یا خیر.
اصطلاحات کلیدی
| اصطلاح | در گفت‌وگوها چه می‌گویند | مفهوم دقیق فنی |
|---|---|---|
| ANE | «موتور عصبی اپل» | NPU روی دستگاه در پردازندههای سری M و A؛ دارای حافظه‌ی یکپارچه |
| Hexagon | «NPU کوالکام» | واحد NPU در تراشه‌های Snapdragon؛ دسترسی از طریق QNN SDK |
| WebGPU | «GPU مرورگر» | استاندارد وب W3C برای API دسترسی مرورگر به پردازنده‌ی گرافیکی؛ ارائه‌شده در کروم و سافاری 2026 |
| WebLLM | «محیط اجرای LLM در مرورگر» | پروژه‌ی MLC-LLM؛ مجوز Apache 2.0؛ ارائه‌ی API سازگار با ساختار جاوااسکریپت OpenAI |
| Jetson | «لبه‌ی انویدیا» | خانواده‌ی ماژول‌های Orin Nano / AGX / Thor / T4000 |
| TRT Edge-LLM | «تنسور آرتی نسخه‌ی لبه» | پورت لبه‌ی TensorRT-LLM در سال 2026؛ دارای امکاناتی چون دیکودینگ حدسی EAGLE-3 و فرمت NVFP4 |
| Unified memory | «حافظه‌ی اشتراکی» | ساختاری که در آن CPU و NPU یک فضای رم مشترک را می‌بینند؛ بدون هزینه‌ی کپی داده |
| Bandwidth-bound | «محدود به حافظه» | فرآیندی که در آن سرعت رمزگشایی در تنگنای نرخ خواندن بایت‌ها برای وزن‌ها قفل میشود |
| Core ML | «تبدیل اپل» | فریم‌ورک اپل برای مدل‌های بومی سازگار با موتور عصبی ANE |
| QNN | «پشته‌ی کوالکام» | بسته‌ی توسعه‌ی نرم‌افزاری شبکه عصبی کوالکام (Qualcomm Neural Network SDK) |
برای مطالعه‌ی بیشتر
- گزارش وضعیت مدل‌های زبانی روی دستگاه در سال 2026 — بررسی بازار سخت‌افزارها و نتایج بنچمارک‌ها.
- هوش مصنوعی لبه با پلتفرم NVIDIA Jetson — پلتفرم‌های Orin / AGX / Thor.
- معرفی پایپ‌لاین NVIDIA TensorRT Edge-LLM — اعلامیه‌ی رسمی عرضه‌ی ابزار پورت لبه در سال 2026.
- مقاله‌ی پروژه‌ی WebLLM (نسخه‌ی arXiv:2412.15803) — معماری طراحی و نتایج بنچمارک‌ها.
- مستندات Core ML اپل — تبدیل بومی مدلها برای موتور عصبی ANE.
- سرویس Qualcomm AI Hub — مدل‌های آماده و تبدیل‌شده برای پردازنده‌ی Hexagon.