MNN Benchmark 实战指南复现与解读 HUAWEI P10、Mi-6 上的推理性能测试2019-5-7 数据【免费下载链接】MNNMNN: A blazing-fast, lightweight inference engine battle-tested by Alibaba, powering high-performance on-device LLMs and Edge AI.项目地址: https://gitcode.com/GitHub_Trending/mn/MNN本文基于 MNN 仓库中的历史性能记录 benchmark/result/2019-5-7.md完整呈现 2019 年 5 月在 HUAWEI P10 与 Mi-6 两款 Android 真机上、使用 CPU 与 Vulkan 两种后端对 ResNet、MobileNet、SqueezeNet、VGG16、Inception-V3 等经典 CV 模型的实测数据并结合 benchmark/benchmark.cpp 工具源码讲解 benchmark.out 的命令行参数、输出格式与计时原理帮助读者复现同类测试并正确解读 MNN 的基准测试报告。一、2019-5-7 实测数据全景该轮测试记录了两台设备的完整输出HUAWEI P10arm64-v8a编译时 OpenMP、Vulkan、OpenCL 均开启循环 20 次与 Mi-6循环 50 次。原始输出如下后文会将其整理为表格并逐项分析。1.1 HUAWEI P10Build Flags: ABIarm64-v8a OpenMPON VulkanON OpenCLON MNN benchmark Forward type: **CPU** thread4 -------- Benchmarking... loop 20 [ - ] resnet-v2-50.mnn max 169.670ms min 147.007ms avg 148.918ms [ - ] MobileNetV2_224.mnn max 23.465ms min 19.995ms avg 20.839ms [ - ] mobilenet-v1-1.0.mnn max 32.795ms min 28.456ms avg 30.278ms [ - ] SqueezeNetV1.0.mnn max 44.857ms min 39.232ms avg 41.224ms [ - ] vgg16.mnn max 468.540ms min 370.753ms avg 418.002ms [ - ] inception-v3.mnn max 299.384ms min 281.520ms avg 289.363ms MNN benchmark Forward type: **Vulkan** thread4 -------- Benchmarking... loop 20 [ - ] resnet-v2-50.mnn max 199.011ms min 99.652ms avg 127.788ms [ - ] MobileNetV2_224.mnn max 85.072ms min 28.088ms avg 45.013ms [ - ] mobilenet-v1-1.0.mnn max 63.161ms min 20.609ms avg 25.864ms [ - ] SqueezeNetV1.0.mnn max 108.128ms min 24.628ms avg 37.555ms [ - ] vgg16.mnn max 328.405ms min 224.965ms avg 235.711ms [ - ] inception-v3.mnn max 336.109ms min 141.274ms avg 171.693ms1.2 Mi-6Forward type: **CPU** thread4 -------- Benchmarking... loop 50 [ - ] inception-v3.mnn max 280.197ms min 267.880ms avg 272.717ms [ - ] SqueezeNetV1.0.mnn max 43.922ms min 43.282ms avg 43.593ms [ - ] mobilenet-v1-1.0.mnn max 32.884ms min 31.879ms avg 32.170ms [ - ] resnet-v2-50.mnn max 174.419ms min 165.001ms avg 168.081ms [ - ] MobileNetV2_224.mnn max 25.782ms min 24.591ms avg 24.951ms [ - ] vgg16.mnn max 453.614ms min 429.026ms avg 441.147ms Forward type: **Vulkan** thread4 -------- Benchmarking... loop 50 [ - ] inception-v3.mnn max 134.313ms min 97.950ms avg 99.743ms [ - ] SqueezeNetV1.0.mnn max 55.853ms min 17.239ms avg 19.283ms [ - ] mobilenet-v1-1.0.mnn max 45.814ms min 14.008ms avg 16.178ms [ - ] resnet-v2-50.mnn max 102.956ms min 71.961ms avg 75.143ms [ - ] MobileNetV2_224.mnn max 45.197ms min 12.486ms avg 14.308ms [ - ] vgg16.mnn max 320.399ms min 255.150ms avg 261.723ms1.3 数据整理avg平均单帧推理耗时ms模型P10 CPUP10 VulkanMi-6 CPUMi-6 Vulkanresnet-v2-50148.918127.788168.08175.143MobileNetV2_22420.83945.01324.95114.308mobilenet-v1-1.030.27825.86432.17016.178SqueezeNetV1.041.22437.55543.59319.283vgg16418.002235.711441.147261.723inception-v3289.363171.693272.71799.743几点可以直接从数据读出的结论Mi-6 上 Vulkan 后端全面领先 CPU六个模型的 avg 全部约为 CPU 的 4 成左右其中 Inception-V3 从 272.717ms 降到 99.743ms约 2.7 倍、SqueezeNet 从 43.593ms 降到 19.283ms约 2.3 倍。P10 上 Vulkan 的收益呈模型越大越明显VGG16 从 418.002ms 降到 235.711ms约 44% 提升、Inception-V3 提升约 41%而 MobileNetV2 反而是 CPU 更快20.839ms 对 45.013ms。可以推断这与 P10 的 GPU 上 Vulkan 实现对小模型算子多、单次 kernel 执行时间短、提交开销占比高不划算有关仓库中 2019-2-18 的记录 benchmark/result/2019-2-18.md 中 P10 的 MobileNetV2 Vulkan 耗时同样为 46.321ms说明这一现象并非单次波动。CPU 侧两台设备互有胜负本轮中 P10 的 CPU 在 ResNet-50、MobileNet 系列上略快于 Mi-6而 Mi-6 在 Inception-V3 上更快但综合来看 Mi-6Snapdragon 835的 GPU 侧表现远强于 P10麒麟 960这从两机 Vulkan 数据可整体快 1.5~2.8 倍看出。Vulkan 数据的 min 与 avg 差距明显如 P10 的 SqueezeNet min24.628ms 而 avg37.555ms说明 GPU 后端单次推理的帧间波动比 CPU 更大这也是 GPU 基准测试需要足够 loop 次数取平均的原因。二、读懂 benchmark.out 的输出参数与计时原理上述输出由 benchmark/benchmark.cpp 生成逐字段对照源码可以完整理解报告格式。2.1 命令行参数当前仓库中 benchmark 工具由 benchmark/CMakeLists.txt 编译为benchmark.out另有一个基于 Expr API 构建模型变体的benchmarkExprModels.out源码在 benchmark/benchmarkExprModels.cpp。main函数见 benchmark/benchmark.cpp的用法提示为Usage: benchmark.out models_folder [loop_count] [warmup] [forwardtype] [numberThread] [precision] [weightSparsity] [testQuantizedModel] [enableKleidiAI]各参数含义与默认值对照源码 L388-L427位置参数默认值说明1models_folder必填存放.mnn模型的目录工具会自动扫描目录下全部文件findModelFilesL54-L952loop_count10正式计时轮数即输出中loop N3warmup10预热轮数不计入统计4forwardtype0后端类型见下表5numberThread4CPU 线程数6precision2精度模式0Normal/FP321High2Low3Low_BF16枚举定义于 include/MNN/MNNForwardType.h7weightSparsity0.0权重稀疏率配合 Revert 做稀疏推理实验8testQuantizedModel0是否额外以量化模式跑一遍quant-前缀输出9enableKleidiAI0是否开启 KleidiAI 加速forwardtype 的取值来自 include/MNN/MNNForwardType.h 的枚举0CPU、1Metal、2CUDA、3OpenCL、4AUTO、5NNAPI/CoreML、6OpenGL、7Vulkan。因此 2019-5-7 记录中的 CPU 与 Vulkan 两组数据分别对应forwardtype0和forwardtype7两次运行。2.2 计时流程doBenchdoBench函数benchmark/benchmark.cpp是整个 benchmark 的核心其流程为通过Revert实现于 tools/cpp/revertMNNModel.cpp读取模型文件并按 sparsity 等选项对权重做预处理再Interpreter::createFromBuffer加载设置Session_Release会话模式并创建ScheduleConfig线程数、后端类型与BackendConfigpower Power_High、precision按参数传入创建 Session 后立即releaseModel()即权重释放后仅保留 Session测的是稳态推理耗时先做 warmup 轮每轮 map/unmap 输入输出 host 张量并执行runSession正式 loop 轮用MNN::Timer包住 map 输入 →runSession→ map 输出 的完整过程记录每轮毫秒耗时displayStatsL184-L198汇总输出max / min / avg三个统计量即报告中的三列数值。注意两个与解读相关的细节precision2Low 精度是默认值。源码 L433-L437 会打印提示precision2, use fp16 inference if your device supports and open MNN_ARM82ON。也就是说默认 2 并不保证走 FP16是否真正落到 FP16 取决于设备指令集与编译时是否开启 ARM82 后端。这也是 2019 年数据与后续 2020 年数据如 benchmark/result/2020-3-22.md 中 Mate30 Pro 出现set armv82 backend日志、ResNet-50 降至 40.194ms存在代际差距的原因之一。计时包含输入输出张量的 host map/unmap 开销属于端到端口径而非纯算子口径。2.3 真机运行方式记录中出现的./testCommon.sh ./benchmark.out models 50这类命令对应的是 project/android/testCommon.sh——它只做一件事adb shell到设备的/data/local/tmp/MNN目录并透传执行参数例如 50 轮循环、CPU 后端的写法就是./benchmark.out models 50Vulkan 则是./benchmark.out models 50 7第 5 个位置参数为 forwardtype。仓库还提供了 benchmark/scripts/bench.sh 用于在 PC / Android / iOS 多平台批量跑 MNN、PyTorch、TFLite 的对比基准其中 MNN 部分分别以benchmark.out $MNN_HOME/models 10 5 0 1CPU、... 10 5 3 1OpenCL等参数组合驱动同一工具可视为这套参数约定的现成示例。三、历史数据演进同一批模型在 MNN 中的性能变化benchmark/result/目录按日期保存了历次真机实测2019-2-18.md、2019-5-7.md、2019-6-17.md、2020-3-22.md。以 ResNet-50 的 CPU avg 为主线可以看到 2019 年上半年几个月的优化效果均为 4 线程 CPU日期设备SoCResNet-50 CPU avgMobileNetV2 CPU avg2019-2-18HUAWEI P10176.075ms24.489ms2019-5-7HUAWEI P10148.918ms20.839ms2019-6-17P10 Plus麒麟 960154.803ms19.157ms2020-3-22Mate30 Pro麒麟 990armv8240.194ms5.192ms从源码结构看2019-2 到 2019-5 之间约 15% 的 CPU 提升对应的是这一时期 MNN CPU 后端算子与调度层的持续优化而 2020 年 Mate30 Pro 上接近 4 倍的跃升则主要来自 ARMv8.2fp16 指令集后端——benchmark/result/2020-3-22.md 的输出中每台设备都会打印set armv82 backend且精度参数已明确为precision2的 FP16 路径。这说明在解读历史 benchmark 时除设备本身差异外必须结合当时的后端能力指令集、FP16 支持一起看。四、复现注意事项模型文件被测模型位于 benchmark/models/当前目录包含resnet-v2-50.mnn、MobileNetV2_224.mnn、mobilenet-v1-1.0.mnn、SqueezeNetV1.0.mnn、inception-v3.mnn等 8 个模型。2019-5-7 记录中出现的vgg16.mnn不在当前仓库的该目录中复现时该条目无法直接覆盖其余五个模型均可直接对号入座。数据是历史快照2019-5-7 的输出格式如不带precision字段、不打印 warmup与当前 benchmark/benchmark.cpp 的输出Forward type: CPU thread4 precision2 ...、loop X, warmup Y存在差异因为工具本身在持续迭代跨文件对比时建议统一以 avg 列为准并确认 loop 次数一致本轮 P10 为 20 次、Mi-6 为 50 次。编译选项影响结果记录开头注明ABIarm64-v8a OpenMPON VulkanON OpenCLON说明该结果依赖对应 CMake 开关构建的库若未编译 Vulkan 后端forwardtype7将不可用。结论的适用范围这些数字只反映单帧 224x224 级 CV 模型、4 线程、默认 Low 精度这一特定条件下的推理耗时不能外推为 LLM 或更大输入场景的性能MNN 面向的端侧 LLM 等场景应参考仓库中 docs/perf/ 下的性能专题与transformers/相关代码另行评估。五、小结benchmark/result/2019-5-7.md 的价值在于它是一份设备 × 后端 × 模型三维的完整测量快照CPU 与 Vulkan 双后端、六个经典 CV 模型、两台不同 SoC 的 Android 真机配合 benchmark/benchmark.cpp 的 warmup loop 计时框架构成了可复现、可对照的性能基线。掌握models_folder [loop] [warmup] [forwardtype] [thread] [precision]这套参数约定与max/min/avg输出口径后读者既能在真机上重放当年的命令./benchmark.out models 50 7一类也能正确把 2019 年数据放到 benchmark/result/ 的时间线中理解 MNN CPU/GPU 后端性能演进与 FP16、ARMv8.2 等能力释放之间的关系。【免费下载链接】MNNMNN: A blazing-fast, lightweight inference engine battle-tested by Alibaba, powering high-performance on-device LLMs and Edge AI.项目地址: https://gitcode.com/GitHub_Trending/mn/MNN创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
