将 TensorFlow Lite 模型通过 QNN LiteRT delegate 跑在 Hexagon 上时，如何确认哪些算子真正跑到了 HTP？

[玛上8年]

将 TensorFlow Lite 模型通过 QNN LiteRT delegate 跑在 Hexagon 上时，如何确认哪些算子真正跑到了 HTP？ 
 

[weixin_38498942]

可以从运行日志、工具输出和实际性能三个层面交叉确认。先开启 QNN 运行时详细日志：
export QNN_LOG_LEVEL=4
然后运行推理，搜索日志中的 “HTP” “Op mapped” “fallback” “CPU” 等关键词；被委托到 HTP 的算子通常会显示在 Hexagon 后端初始化和图编译阶段。其次使用 qnn-model-analyzer 查看模型算子分配表，区分 HTP 算子与 CPU 回退算子。另外做对照实验：分别禁用 LiteRT delegate 和启用 delegate 跑同一模型，如果 latency 没有明显下降，大概率是算子覆盖不足或内存拷贝成为瓶颈。注意，LiteRT delegate 适合快速验证；量产性能优化建议切到 ONNX → QNN 完整编译链路。参考文档：高通 QNN LiteRT Delegate 开发者说明。

[weixin_38498942]

可以从运行日志、工具输出和实际性能三个层面交叉确认。先开启 QNN 运行时详细日志：
export QNN_LOG_LEVEL=4
然后运行推理，搜索日志中的 “HTP” “Op mapped” “fallback” “CPU” 等关键词；被委托到 HTP 的算子通常会显示在 Hexagon 后端初始化和图编译阶段。其次使用 qnn-model-analyzer 查看模型算子分配表，区分 HTP 算子与 CPU 回退算子。另外做对照实验：分别禁用 LiteRT delegate 和启用 delegate 跑同一模型，如果 latency 没有明显下降，大概率是算子覆盖不足或内存拷贝成为瓶颈。注意，LiteRT delegate 适合快速验证；量产性能优化建议切到 ONNX → QNN 完整编译链路。参考文档：高通 QNN LiteRT Delegate 开发者说明。