我用如下代码建立了一个snpe实例,我发现如果我用的是prepare后的模型,runtime使用dsp,build失败,报QnnGraph_create() Failed;但是...

巨物恐惧患者 2024-05-09 10:04:01

我用如下代码建立了一个snpe实例,我发现如果我用的是prepare后的模型,runtime使用dsp,build失败,报QnnGraph_create() Failed;但是如果build的过程不指定setOutputLayers则可以正常加载,但是结果输出不正确。我尝试使用cpu可以构建模型,是可以正常运行的,这是什么情况?

C++
zdl::SNPE::SNPEBuilder snpeBuilder(m_container.get());
auto m_snpe = snpeBuilder.setOutputLayers(m_outputLayers)
   .setRuntimeProcessorOrder(m_runtime)
   .setPerformanceProfile(profile)
   .setUseUserSuppliedBuffers(false)
   .build();

...全文
1379 1 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
weixin_38498942 2024-05-09
  • 打赏
  • 举报
回复

这里提供解决思路:首先尝试使用snpe-net-run运行模型,指定--use_dsp,同时指定--set_output_tensors,把你所有需要输出的tensor(即你代码里的m_outputLayers)全部指定上去。如果snpe-net-run可以正常运行(一般来说是不行的),那么尝试最简构建,只指定setOutputLayers和setRuntimeProcessorOrder,如果还不行则试试c-style的api。如果snpe-net-run还是报一样的问题,检查你prepare的时候是不是指定了--set_output_tensors,且把你所有需要输出的节点都指定进去了。原理上,运行时指定的output_tensors要和你prepare时候指定的保持一致,你可以通过snpe-dlc-info查看你prepare后的模型,如果正确的话,你应该可以在Output一栏里看到你所有需要输出的节点,如

img

Snapdragon Neural Processing Engine (SNPE) 是 Qualcomm 提供的一套完整的解决方案,旨在优化和加速神经网络模型在 Qualcomm 骁龙(Snapdragon)移动平台上的运行。SNPE 支持多种神经网络框架,如 TensorFlow、Caffe、ONNX 等,并提供了高效的推理引擎和工具链,帮助开发者在移动设备上实现高性能的人工智能应用。 Snapdragon Neural Processing Engine (SNPE) 是由高通公司(Qualcomm)开发的一套软件开发工具包,其目的在于为开发者提供一系列优化和加速神经网络模型在高通骁龙移动平台上的运行能力。随着人工智能技术在移动设备上的普及和重要性的日益增加,SNPE成为了推动移动AI应用发展的关键工具。 SNPE支持多种流行的深度学习框架,包括但不限于TensorFlow、Caffe以及ONNX(开放神经网络交换格式),这使得开发者能够利用他们已有的模型和知识,将这些模型转换并部署在骁龙处理器上。这样的支持为开发者提供极大的便利,因为它们不必从零开始构建模型,而是可以在现有的成果基础上进行优化和调整。 SNPE的核心组件之一是其高效的推理引擎,推理引擎是深度学习模型执行前向传播计算的部分,它负责处理输入数据并生成预测结果。在移动设备上运行复杂的神经网络模型时,高效的推理引擎是至关重要的,因为它能够确保应用运行流畅且电池消耗合理。 此外,SNPE还提供了一系列工具链,这些工具链包括模型转换工具、调试工具和性能分析工具,它们帮助开发者在模型转换、调试和优化等阶段中更有效地工作。例如,模型转换工具可以将特定框架的模型转换为SNPE可以识别和运行的格式,而性能分析工具则允许开发者了解模型在特定硬件上的运行效率,进而作出相应的调整。

3,302

社区成员

发帖
与我相关
我的任务
社区描述
本论坛以AI、WoS 、XR、IoT、Auto、生成式AI等核心板块组成,为开发者提供便捷及高效的学习和交流平台。 高通开发者专区主页:https://qualcomm.csdn.net/
人工智能物联网机器学习 技术论坛(原bbs) 北京·东城区
社区管理员
  • csdnsqst0050
  • chipseeker
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧