2,851
社区成员




QNN SDK提供python接口吗?如果想使用python语言在WoS平台上开发AI类应用,都有哪些途径呢?
QNN SDK是Qualcomm推出的用于加速模型在Qualcomm平台上推理的runtime库。其中主要包括用于模型转换、模型量化、模型调测等相关的工具,以及用于部署模型、运行模型的C/C++接口库,以及使用C/C++接口开发的示例应用(SampleApp),该示例应用类似与qnn-net-run.exe工具,可以用来跑模型。
2.26版的QNN SDK也提供了python接口,但是这块目前缺少相关的介绍文档以及参考示例,有待官方进一步完善。如果想使用python语言在WoS平台上开发AI类应用,有两个相对比较成熟的途径:
一是使用集成有QNNExecutionProvider的微软开发的onnxruntime库,AI类应用可以使用onnxruntime提供的python接口进行开发;
二是Qualcomm开源的、也是这里要重点推荐的AI Engine Direct Helper(也称QAI AppBuilder/QNN Helper等,https://github.com/quic/ai-engine-direct-helper)%EF%BC%8C%E5%AE%83%E6%98%AF%E5%9C%A8QNN SDK的基础上进行封装的、无需理解QNN SDK底层接口就能上手使用的、仅需要派生一个python类并实现模型推理的前处理和后处理就能把绝大多数模型跑起来并使用NPU进行加速的python模块。官网有详细的使用说明,并提供有一个完整的demo供参考。