高通 QNN 模型转换完成后，部署推理发现模型无法充分利用 Hexagon NPU 算力，大量算子自动回落至 CPU 执行，如何完整排查算子回落问题？

[禁止崴脚]

高通 QNN 模型转换完成后，部署推理发现模型无法充分利用 Hexagon NPU 算力，大量算子自动回落至 CPU 执行，如何完整排查算子回落问题？
 

[weixin_38498942]

算子回落本质是 QNN 算子库不支持模型内特定算子、算子参数格式不兼容、动态维度配置冲突、数据类型不匹配；很多开发者仅关注转换无报错，忽略转换日志中的 fallback 警告，最终 NPU 利用率极低、推理耗时大幅上升。
标准化排查与优化方案
开启完整转换日志，定位回落算子
执行模型转换时增加日志输出参数，导出算子调度日志：

qnn-model-converter \
--input_model model.onnx \
--output_model qnn_model.bin \
--log_level detailed \
--log_file convert_log.txt

日志中关键词Fallback to CPU可直接定位不兼容算子名称、所在网络层。
分层解决算子兼容问题
方案 A：修改网络结构，将自定义算子替换为 QNN 原生支持标准算子；
方案 B：拆分复杂算子，把超大维度运算拆分为小块运算适配 NPU；
方案 C：调整模型输入输出维度，消除不合理动态 shape；
方案 D：升级 QNN SDK 版本，新版本会持续扩充算子支持列表。
推理阶段算力监控验证
使用 QNN 监控工具查看硬件调度情况，简易监控伪代码：
python
运行

# 推理前后采集硬件负载
npu_load_before = qnn_monitor.get_npu_utilization()
result = session.run(input_tensor)
npu_load_after = qnn_monitor.get_npu_utilization()
print(f"NPU平均利用率：{(npu_load_before + npu_load_after)/2}%")

避坑要点
INT4 量化场景下部分小众算子支持度更低，可先使用 FP16 验证算子是否能上 NPU，区分是算子本身不支持还是量化引发回落。
参考资料
高通官方文档《QNN Operator Support & Fallback Troubleshooting Guide》
CSDN 技术文章《端侧模型 QNN 部署 CPU 回落完整排查清单》