7,845
社区成员
发帖
与我相关
我的任务
分享高通 QNN 提供 LiteRT delegate,是否所有 LiteRT 模型都可以直接在 Hexagon HTP 上加速,不需要转 DLC?存在哪些限制?
不需要转 DLC 格式,LiteRT delegate 可以直接把 LiteRT 模型交给 HTP 硬件加速。但是存在算子、数据类型限制:模型中 HTP 不支持的算子会自动回退到 CPU 执行,造成性能下降;部分复杂控制流算子、非标准数据类型无法委托到 NPU。 测试命令:
qnn-net-run --model model.tflite --backend libQnnHtp.so --input_list input.txt
适用场景:快速原型验证,保留原有 LiteRT 模型;量产项目推荐导出 ONNX 走 QNN 完整编译链路,获得更好图优化和性能收益。遇到大量算子 fallback,建议使用模型工具查看算子降级日志。 参考文档:高通 AI SDK LiteRT delegate 说明。