AI模型如何借助SNPE独立运行在手机上？

无知无为 2018-09-25 04:33:21

SNPE的教程中，AI模型在手机上运行时，是通过电脑端输入命令行运行的。大家是如何让AI模型借助SNPE在手机上独立运行（不通过APP）？

比如：可以将案例编译成so库文件，然后在HAL层调用。这样可以吗？

...全文

1956 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 2020-04-01

打赏
举报

回复

下载安装好SNPE。官网有介绍，可以命令行执行脚本生成APK，也可以直接用Android Studio。

dh_dhdhs 2019-10-10

打赏
举报

回复

https://developer.qualcomm.com/docs/snpe/cplus_plus_tutorial.html可以参考这个文档。

此模式仅用于将权重量化为 8 位定点（通过将 “use_adjusted_weights_quantizer” 参数传递给 snpe-dlc-quantize 启用），该模式使用量化数据的调整最小值或最大值，而不是实际最小值/最大值或排除长尾的最小/最大值。要启用 16 位定点推理，请在保持权重的位宽为 8 的同时，将激活的量化位宽指定为 16。为了缓解量化问题，向 snpe-dlc-quantize 添加了两种新的模型预处理技术，可能改善在量化后准确性下降的模型的量化性能。

在移动影像系统中，AI 图像算法的实时部署依赖于 NPU/DSP 等专用异构计算单元的高效调度。为充分发挥芯片能力，不同平台推出了各自的推理框架，如高通的 SNPE、联发科的 APU Toolchain，以及 Apple 的 Neural Engine 管理体系。本文结合多款 SoC 芯片的实战部署经验，系统解析上述三种主流推理框架的核心架构、部署流程、模型适配路径与工程调优策略，帮助开发者理解异构计算背后的图像推理机制，提升图像模型在端侧落地的性能与稳定性。

NPE SDK能够帮助开发者做什么事情？ Qualcomm骁龙神经处理引擎（Neural Processing Engine, NPE）SDK 能够帮助有意创建人工智能（AI）解决方案的开发者，在骁龙移动平台上（无论是CPU、GPU还是DSP）运行通过Caffe/Caffe2或TensorFlow训练一个或多个神经网络模型，且无需连接到云端，实现边缘计算。 NPE SDK能帮助开发者在骁龙设备上运行受过训练的神经网络并优化其性能。NPE SDK提供了模型转换和执行工具，以及针对核的API，利用功率和性能

非量化 DLC 文件使用 32 位浮点表示网络参数。量化的 DLC 文件使用网络参数的定点表示，通常是 8 位权重和 8 或 32 位偏差。固定点表示与 Tensorflow 量化模型中使用的相同。snpe-caffe-to-dlc和 tools_snpe-caffe2-to-dlc的默认输出是非量化模型。这意味着所有网络参数都保留在原始 Caffe 模型中存在的 32 位浮点表示中。要将模型量化为 8 位定点，请参阅snpe-dlc-quantize。

Qualcomm高通AI神经网络处理SDK部署流程系统要求我们建议在专用机器上执行以下操作，以更好地了解 SDK 依赖关系：安装 Ubuntu 18.04 （推荐），例如在虚拟机上。安装pyenv 执行以下命令进行自动安装 curl -L https://github.com/pyenv/pyenv-installer/raw/master/bin/pyenv-installer | bash 重启shell生效: exec $SHELL 查看~/.bashrc中是否有以下三行，若没有则手

高通开发者论坛

4,752

社区成员

5,887

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章