当基于resblock的网络结构较深时，QNN量化模型无法使用DSP推理？正常吗？

Mr_ReIandSan 2024-07-02 14:07:44

测试版本2.22.6.240515

测试设备为：SM4350

比较经典的就是Resnet50就无法使用DSP推理了；

测试了很多基于resblock结构的分割模型，都遇到这个问题。

残差结构不应该是很正常的一种结果吗？

...全文

1167 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

操作方法如下：https://docs.qualcomm.com/bundle/publicresource/topics/80-70014-15BY/compile-app-esdk.html。下载SNPE安装包：https://docs.qualcomm.com/bundle/publicresource/topics/80-70014-15BY/snpe-setup.html。注意：SNPE模型量化是从DLC模型转换，不像QNN是直接从ONNX转换，默认int8。说明环境变量设置好了。

高通AI Engine使用教程

在基于 Arm 的 CPU 上执行模型时，需要模型 .so（对于 RB3Gen2 目标，必须交叉编译 .so 使用 aarch64-ubuntu-gcc9.4 工具链）、后端 .so 库和输入列表设置为运行 Inference 以生成输出。Qualcomm AI Engine Direct SDK 提供 C/C++ API，以创建/开发可以加载已编译的 .so 模型并在其上执行它的应用程序选定的具有加速功能的后端（CPU、GPU 或 HTP）。在基于 Arm 的 CPU 上运行 QNN 模型。

前面讲了如何配置qnn sdk的环境，这一篇总结下qnn 实际转换一个onnx 模型，并运行的实现步骤。设备：1. ubuntu22.04 的Linux 服务器。2. 一台android手机。

得到so 模型文件，这两个目录下的so 都是可以直接运行的qnn 模型文件，android 目录下的是可以直接在android 系统运行的，linux 下的是在linux 平台运行的，并且在转bin 文件的时候，在linux 平台使用这个linux 目录下的so 转出来的bin, 可以在android 设备htp等后端运行，这点注意。.json 文件：这个json 文件也是描述了qnn的模型结构文件，只是用来辅助描述模型结构文件的，这个文件后续的步骤中不会再使用到。

高通开发者论坛

2,908

社区成员

5,789

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章