QNN 模型编译时开启 HTP 固定图优化后，推理性能提升有限，通常应该从哪些方向排查？

[我和我的勋章]

QNN 模型编译时开启 HTP 固定图优化后，推理性能提升有限，通常应该从哪些方向排查？ 
 

[weixin_38498942]

固定图优化性能不达预期，建议优先排查四个方向：算子覆盖、内存带宽、上下文二进制版本、运行时配置。首先看模型中是否有大量算子回退到 CPU，可在编译日志中开启详细级别查看 unsupported op /fallback 信息；HTP 不支持的 op 会破坏图融合和流水。其次检查输入输出张量是否频繁穿越 CPU/HTP 边界，多分支模型中可尝试减少频繁同步的中间张量。第三确认模型.so、libQnnHtp.so、设备固件版本一致，版本漂移会导致优化策略失效。第四关注 HTP 频率、DDR 带宽和 VTCM 占用，大模型第一层和最后一层往往受带宽限制。可先用：
qnn-model-analyzer --model your_model.so --output report.html
查看算子分配、内存占用和瓶颈分布。参考文档：高通 QNN 模型分析工具与性能调优指南。

[weixin_38498942]

固定图优化性能不达预期，建议优先排查四个方向：算子覆盖、内存带宽、上下文二进制版本、运行时配置。首先看模型中是否有大量算子回退到 CPU，可在编译日志中开启详细级别查看 unsupported op /fallback 信息；HTP 不支持的 op 会破坏图融合和流水。其次检查输入输出张量是否频繁穿越 CPU/HTP 边界，多分支模型中可尝试减少频繁同步的中间张量。第三确认模型.so、libQnnHtp.so、设备固件版本一致，版本漂移会导致优化策略失效。第四关注 HTP 频率、DDR 带宽和 VTCM 占用，大模型第一层和最后一层往往受带宽限制。可先用：
qnn-model-analyzer --model your_model.so --output report.html
查看算子分配、内存占用和瓶颈分布。参考文档：高通 QNN 模型分析工具与性能调优指南。