SNPE 量化模型在安卓设备dsp上运行失败了: SNPE版本:2.16 量化模型在安卓上运行时有如下报错:

小黄花菜 2024-07-19 15:16:36

SNPE 量化模型在安卓设备dsp上运行失败了:
SNPE版本:2.16
量化模型在安卓上运行时有如下报错:

 

详细说明:该模型为多输入模型,指定设备为--use_dsp时失败,指定设备为--use_gpu上时可成功运行,如何定位解决该模型在dsp上运行失败的问题

...全文
1210 2 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
weixin_38498942 2024-07-24
  • 打赏
  • 举报
回复

onnx转dlc:
snpe-onnx-to-dlc -i model.onnx -o model.dlc
量化命令:
snpe-dlc-quantize --input_dlc=model.dlc --input_list=/quantized_data/raw_list.txt --output_dlc=model.int8.dlc
注意:
raw_list.txt和需要的bin文件已经在上面的压缩包中一起发你了(raw_list.txt中的图像顺序不能修改),模型路径根据具体情况更改.

注意: DSP是进行了量化, 所以需要确认每一层的数据范围, 如果你的数据范围超过了INT8, 就会有精度的损失, 如果超过了int32 在运行的时候就会报出来的错误, 需要在训练的时候, 请增加一些BN层,以抑制数据的范围。

Mr_ReIandSan 2024-08-29
  • 举报
回复
@weixin_38498942 这不是答非所问吗?
Snapdragon Neural Processing Engine (SNPE) 是 Qualcomm 提供的一套完整的解决方案,旨在优化和加速神经网络模型在 Qualcomm 骁龙(Snapdragon)移动平台上的运行SNPE 支持多种神经网络框架,如 TensorFlow、Caffe、ONNX 等,并提供了高效的推理引擎和工具链,帮助开发者在移动设备上实现高性能的人工智能应用。 Snapdragon Neural Processing Engine (SNPE) 是由高通公司(Qualcomm)开发的一套软件开发工具包,其目的在于为开发者提供一系列优化和加速神经网络模型在高通骁龙移动平台上的运行能力。随着人工智能技术在移动设备上的普及和重要性的日益增加,SNPE成为了推动移动AI应用发展的关键工具。 SNPE支持多种流行的深度学习框架,包括但不限于TensorFlow、Caffe以及ONNX(开放神经网络交换格式),这使得开发者能够利用他们已有的模型和知识,将这些模型转换并部署在骁龙处理器上。这样的支持为开发者提供极大的便利,因为它们不必从零开始构建模型,而是可以在现有的成果基础上进行优化和调整。 SNPE的核心组件之一是其高效的推理引擎,推理引擎是深度学习模型执行前向传播计算的部分,它负责处理输入数据并生成预测结果。在移动设备运行复杂的神经网络模型时,高效的推理引擎是至关重要的,因为它能够确保应用运行流畅且电池消耗合理。 此外,SNPE还提供了一系列工具链,这些工具链包括模型转换工具、调试工具和性能分析工具,它们帮助开发者在模型转换、调试和优化等阶段中更有效地工作。例如,模型转换工具可以将特定框架的模型转换为SNPE可以识别和运行的格式,而性能分析工具则允许开发者了解模型在特定硬件上的运行效率,进而作出相应的调整。

2,851

社区成员

发帖
与我相关
我的任务
社区描述
本论坛以AI、WoS 、XR、IoT、Auto、生成式AI等核心板块组成,为开发者提供便捷及高效的学习和交流平台。 高通开发者专区主页:https://qualcomm.csdn.net/
人工智能物联网机器学习 技术论坛(原bbs) 北京·东城区
社区管理员
  • csdnsqst0050
  • chipseeker
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧