WoS平台可以使用微软的onnxruntime进行模型推理吗?能通过SNPE或QNN SDK使用NPU进行加速吗?

阿斯兰查拉 2024-10-28 10:13:03

WoS平台可以使用微软的onnxruntime进行模型推理吗?能通过SNPE或QNN SDK使用NPU进行加速吗?

...全文
850 1 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
weixin_38498942 2024-10-29
  • 打赏
  • 举报
回复

WoS平台是可以使用微软的onnxruntime来进行模型推理的,并且onnxruntime提供了C/C和python接口。通常情况下,使用onnxruntime进行的模型推理是在CPU上进行的。目前,onnxruntime不支持通过SNPE SDK使用底层硬件(通常为DSP/NPU等)进行加速,但支持通过QNN SDK使用底层硬件进行加速。
onnxruntime中有一个抽象模块(亦可称之为抽象层)叫ExecutionProvider,硬件平台要想加速模型的推理,就需要在硬件平台对应的Runtime SDK的基础上实现对应的ExecutionProvider。onnxruntime本身已在高通的QNN SDK的基础上实现了QNNExecutionProvider,通过它模型的推理就可以在相关的硬件上进行加速。
集成有QNNExecutionProvider的onnxruntime库既可以直接从官方网上下载——进入微软网站(ORT-Nightly - Azure Artifacts (visualstudio.com)并搜索关键字Microsoft.ML.OnnxRuntime.QNN,点击其进入下载页面下载即可,注意它是个NuGet包需要安装,并且其已经携带了相应版本的QNN SDK的库文件;另外,也可以自己下载onnxruntiem源码,并使用本机上已经安装了的QNN SDK进行编译,包括C/C++动态库的编译及相应python接口的编译。

3,447

社区成员

发帖
与我相关
我的任务
社区描述
本论坛以AI、WoS 、XR、IoT、Auto、生成式AI等核心板块组成,为开发者提供便捷及高效的学习和交流平台。 高通开发者专区主页:https://qualcomm.csdn.net/
人工智能物联网机器学习 技术论坛(原bbs) 北京·东城区
社区管理员
  • csdnsqst0050
  • chipseeker
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧