AI模型如何借助SNPE独立运行在手机上？

无知无为 2018-09-25 04:33:21

SNPE的教程中，AI模型在手机上运行时，是通过电脑端输入命令行运行的。大家是如何让AI模型借助SNPE在手机上独立运行（不通过APP）？

比如：可以将案例编译成so库文件，然后在HAL层调用。这样可以吗？

...全文

1902 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 2020-04-01

打赏
举报

回复

下载安装好SNPE。官网有介绍，可以命令行执行脚本生成APK，也可以直接用Android Studio。

dh_dhdhs 2019-10-10

打赏
举报

回复

https://developer.qualcomm.com/docs/snpe/cplus_plus_tutorial.html可以参考这个文档。

此模式仅用于将权重量化为 8 位定点（通过将 “use_adjusted_weights_quantizer” 参数传递给 snpe-dlc-quantize 启用），该模式使用量化数据的调整最小值或最大值，而不是实际最小值/最大值或排除长尾的最小/最大值。要启用 16 位定点推理，请在保持权重的位宽为 8 的同时，将激活的量化位宽指定为 16。为了缓解量化问题，向 snpe-dlc-quantize 添加了两种新的模型预处理技术，可能改善在量化后准确性下降的模型的量化性能。

NPE SDK能够帮助开发者做什么事情？ Qualcomm骁龙神经处理引擎（Neural Processing Engine, NPE）SDK 能够帮助有意创建人工智能（AI）解决方案的开发者，在骁龙移动平台上（无论是CPU、GPU还是DSP）运行通过Caffe/Caffe2或TensorFlow训练一个或多个神经网络模型，且无需连接到云端，实现边缘计算。 NPE SDK能帮助开发者在骁龙设备上运行受过训练的神经网络并优化其性能。NPE SDK提供了模型转换和执行工具，以及针对核的API，利用功率和性能

非量化 DLC 文件使用 32 位浮点表示网络参数。量化的 DLC 文件使用网络参数的定点表示，通常是 8 位权重和 8 或 32 位偏差。固定点表示与 Tensorflow 量化模型中使用的相同。snpe-caffe-to-dlc和 tools_snpe-caffe2-to-dlc的默认输出是非量化模型。这意味着所有网络参数都保留在原始 Caffe 模型中存在的 32 位浮点表示中。要将模型量化为 8 位定点，请参阅snpe-dlc-quantize。

Qualcomm高通AI神经网络处理SDK部署流程系统要求我们建议在专用机器上执行以下操作，以更好地了解 SDK 依赖关系：安装 Ubuntu 18.04 （推荐），例如在虚拟机上。安装pyenv 执行以下命令进行自动安装 curl -L https://github.com/pyenv/pyenv-installer/raw/master/bin/pyenv-installer | bash 重启shell生效: exec $SHELL 查看~/.bashrc中是否有以下三行，若没有则手

随着 AI 模型在移动设备、本地终端及边缘计算中的快速普及，模型面临的安全威胁日益严重，包括模型参数反推、黑盒攻击、模型泄露、未授权调用等问题。尤其在 Android 系统及国产 NPU 环境下，如何实现模型加密存储、安全加载、执行路径隔离、反推理保护以及权限访问控制，成为构建可信 AI 系统的核心挑战。本文将基于华为麒麟 NPU、高通 SNPE、联发科 APU 等实际终端平台，系统性解析模型加密与加载机制、调用链权限控制策略、推理路径隔离设计，以及防止模型反向工程与参数盗取的实战策略，提供可直接落地的工程

高通开发者论坛

2,853

社区成员

5,760

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章