SNPE使用出现的问题.

比天空更遥远的是 2024-06-06 18:25:36

我们使用snpe工具转化完模型后, 发现运行时选择CPU,能正常推理,但是运行时选择GPU时,会在下图中74行报错,错误信息写在最后一行。

我现在的问题是:

1. 遇到这个CPU可以跑,GPU不能跑,一般是什么原因导致的?

2. 下图中56行,如果add多个运行时,比如 .add(CPU), .add(GPU32), 它的工作原理时什么, snpe会智能选择最优的device去做推理么?

 

err: error_code=401; error_message=Network creation has failed. error_code=401; error_message=Network creation has failed. QnnGraph_finalize failed: 6022; error_component=Dl Network; line_no=2299; thread_id=514216729856; error_component=Dl Network; line_no=278; thread_id=517320324344

[E] /Users/cc/cmuyuan/projects/weight/muvaiot-weight-gualcomm/main/keypoint/keypoint-test.in.cc:067,| Error, keypgint module load failed

 

...全文
683 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
  • 打赏
  • 举报
回复

我们可以从log中分析出来是当前的SNPE GPU runtime不支持TransformerEncoderLayer。一个是通过snpe UDO机制去重写该算子; 另一个方法是采用高通支持姿态模型。具体可以看下https://github.com/quic/ai-hub-models

1,101

社区成员

发帖
与我相关
我的任务
社区描述
本论坛以AI、WoS 、XR、IoT、Auto、生成式AI等核心板块组成,为开发者提供便捷及高效的学习和交流平台。 高通开发者专区主页:https://qualcomm.csdn.net/
人工智能物联网机器学习 技术论坛(原bbs) 北京·东城区
社区管理员
  • csdnsqst0050
  • chipseeker
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧