alibaba /MNN

MNN: A blazing-fast, lightweight inference engine battle-tested by Alibaba, powering high-performance on-device LLMs and Edge AI.

★ 16,534⑂ 2,534👁 237⑃ 1,362● 3,636▤ 64
C++Apache-2.0Created 2019-04-15
下载:3.6.23.6.2 ↓3.6.22026-10-29
+7
日增长
16,534
stars
2,534
forks
237
watchers
1,362
prs
3,636
issues
64
releases

README

!MNN
---








 新闻 🔥

- [2026/11/04] 我们发布了 MNN-Pocket-0.3B,一款支持中英文指令交互的 3 亿参数手机应用原生大模型。MNN 团队从手机应用的任务需求与资源预算出发,协同设计模型结构、训练方法与推理引擎。支持 32K 上下文;INT4(W4A16)QAT MNN 版本体积仅 173 MB,在 iPhone 18 Pro 上实测解码速度为 350 tok/s。以 Apache 2.0 许可证开源。

  ModelScope | Hugging Face | Technical report

 简介

MNN是一个轻量级的深度神经网络引擎,支持深度学习的推理与训练。适用于服务器/个人电脑/手机/嵌入式各类设备。目前,MNN已经在阿里巴巴的手机淘宝、手机天猫、优酷等30多个App中使用,覆盖直播、短视频、搜索推荐、商品图像搜索、互动营销、权益发放、安全风控等场景。

MNN-LLM是基于MNN引擎开发的大语言模型运行方案,解决大语言模型在本地设备的高效部署问题(手机/个人电脑/嵌入式设备)。支持常见的千问/百川/智谱/LLAMA等大语言模型。使用教程:MNN-LLM使用教程

MNN-Diffusion是基于MNN引擎开发的Stable Diffusion文生图模型运行方案,解决Stable Diffusion模型在本地设备的高效部署问题。使用教程:MNN-Diffusion使用教程

!架构图

在阿里巴巴中,MNN被用作为Walle系统中计算容器的基础模块。Walle是首个端到端、通用型、规模化产业应用的端云协同机器学习系统,发表于操作系统顶会OSDI 2022。Walle的论文中解释了MNN的关键设计理念,并提供了MNN相对于其他深度学习框架(TensorFlow, TensorFlow Lite, PyTorch, PyTorch Mobile, TVM)的benchmark测试结果。相关测试脚本和说明文档被放在“/benchmark”目录下。如果MNN或Walle的设计对你的研究或生产有所助益,欢迎引用我们的OSDI论文:

    @inproceedings {proc:osdi22:walle,
        author = {Chengfei Lv and Chaoyue Niu and Renjie Gu and Xiaotang Jiang and Zhaode Wang and Bin Liu and Ziqi Wu and Qiulin Yao and Congyu Huang and Panos Huang and Tao Huang and Hui Shu and Jinde Song and Bin Zou and Peng Lan and Guohuan Xu and Fei Wu and Shaojie Tang and Fan Wu and Guihai Chen},
        title = {Walle: An {End-to-End}, {General-Purpose}, and {Large-Scale} Production System for {Device-Cloud} Collaborative Machine Learning},
        booktitle = {16th USENIX Symposium on Operating Systems Design and Implementation (OSDI 22)},
        year = {2022},
        isbn = {978-1-939133-28-1},
        address = {Carlsbad, CA},
        pages = {249--265},
        url = {https://www.usenix.org/conference/osdi22/presentation/lv},
        publisher = {USENIX Association},
        month = jul,
    }

 文档与工作台
MNN文档:
- 最新文档(readthedocs)

- 也可阅读 docs/README ,编译本地文档


MNN官网上还可以下载MNN团队全新力作MNN工作台,涵盖开箱即用模型、可视化训练等工具,更可以一键部署到多端设备。

 整体特点

 轻量性

- 主体功能(模型推理CPU+GPU)无任何依赖,代码精简,可以方便地部署到移动设备和各种嵌入式设备中。
   - iOS平台:功能全开的MNN静态库 armv7+arm64大小12MB左右,链接生成可执行文件增加大小2M左右。可裁剪主体功能后静态库大小6.1M ,链接生成可执行文件增加大小 600 KB。
   - Android平台:主体功能 armv7a - c++_shared 动态库大小800KB左右。
- 支持采用 Mini 编辑选项进一步降低包大小,大约能在上述库体积基础上进一步降低 25% 左右。
- 支持模型FP16/Int8压缩与量化,可减少模型50% - 75% 的体积

 通用性

- 支持 Tensorflow、Caffe、ONNX、Torchscripts 等主流模型文件格式,支持CNN / RNN / GAN / Transformer 等主流网络结构。
- 支持多输入多输出,支持任意维度的输入输出,支持动态输入(输入大小可变),支持带控制流的模型
- 算子丰富,支持 178 个Tensorflow Op、52个 Caffe Op、163个 Torchscipts Op、158 个 ONNX Op(ONNX 基本完整支持)
- 支持 服务器 / 个人电脑 / 手机 及具有POSIX接口的嵌入式设备,支持使用设备的 CPU / GPU 计算,支持部分设备的 NPU 计算(IOS 11 + CoreML / Huawei + HIAI / Android + NNAPI)
- 支持 Windows / iOS 8.0+ / Android 4.3+ / Linux  及具有POSIX接口的操作系统

 高性能

- 对iOS / Android / PC / Server 的CPU架构进行了适配,编写SIMD代码或手写汇编以实现核心运算,充分发挥 CPU的算力,单线程下运行常见CV模型接近设备算力峰值
- 支持基于 Metal / OpenCL / Vulkan 使用移动端设备上的GPU进行推理
- 支持基于 CUDA 使用 PC / Server 上的 NVIDIA GPU 实现更快速的推理
- 广泛运用了 Winograd 卷积算法提升卷积性能,首次在业界工程实践中实现转置卷积的Winograd算法优化与矩阵乘的Strassen算法优化,并取得加速效果
- 支持低精度计算( int8 / fp16 / bf16)以提升推理性能。并对 ARMv8.2 和 AVX512架构的相关指令进行了适配,这两种架构下有更好的加速

Top issues

Discussions

Latest release

3.6.2 3.6.2 2026-10-29
MNN 3.6.2 版本发布说明

发布日期: 2026年10月

📦 安装: pip install mnn==3.6.2 | PyPI

 📌 版本概述

MNN 3.6.2 聚焦 端侧异构推理性能与投机解码加速。本版本以 Metal、Hexagon 和 DFlash 为重点,持续提升 Qwen3 / Qwen3.5 在 CPU、GPU 与 NPU 上的推理效率。

典型性能:Qwen3.5-2B 在 iPad Pro M5 的 GPU 上通过 Metal 后端运行,Prefill 达到 3542.91 tok/s;启用 DFlash 后,Decode 从 111.89 提升至 233.98 tok/s,达到常规解码的 2.09 倍。

 🚀 版本亮点

   Metal / Apple GPU Neural Accelerators 优化:通过 Metal Tensor API 利用 Apple GPU 内的神经网络加速单元,提升 Qwen3 / Qwen3.5 Dense 推理性能
   Hexagon 推理优化:提升 NPU 上的 Prefill 效率,减少 Decode 阶段的计算与调度开销
   DFlash 投机解码加速:加速草稿生成与验证,复用目标模型输出层权重,提高生成吞吐并减少内存占用
   CPU / OpenCL 性能优化

Snapshot: 2026-11-16T09:23:14Z · Data license Apache-2.0 · JSON