QNN 编译模型时开启 --enable_htp_fp16 后，精度和性能会如何变化？

[从来从来病床一张]

QNN 编译模型时开启 --enable_htp_fp16 后，精度和性能会如何变化？
 

[weixin_38498942]

开启 --enable_htp_fp16 后，HTP 会更多使用 FP16 路径进行计算，通常能获得比 INT8 更高的精度，尤其适合对量化敏感的模型，例如检测头、分割后处理、姿态估计和部分大模型分支。性能方面，FP16 的吞吐通常低于 INT8，因为数据位宽更大，DDR 带宽和计算单元压力更高；但如果模型对 INT8 量化敏感，强制 INT8 会导致精度回退，反而需要更复杂的后处理和更多重试。建议按下面顺序评估：

qnn-onnx-converter --model your_model.onnx --enable_htp_fp16 ...

跑通 FP16 模型，确认输出分布正常；
对比 FP16 与 INT8 的 mAP、IoU、关键点误差等业务指标；
再对比 latency、FPS、DDR 带宽；
选择 “精度可接受 + 性能达标” 的方案，而不是默认选最低位宽。 参考文档：高通 QNN HTP FP16 部署说明。

[weixin_38498942]

开启 --enable_htp_fp16 后，HTP 会更多使用 FP16 路径进行计算，通常能获得比 INT8 更高的精度，尤其适合对量化敏感的模型，例如检测头、分割后处理、姿态估计和部分大模型分支。性能方面，FP16 的吞吐通常低于 INT8，因为数据位宽更大，DDR 带宽和计算单元压力更高；但如果模型对 INT8 量化敏感，强制 INT8 会导致精度回退，反而需要更复杂的后处理和更多重试。建议按下面顺序评估：

qnn-onnx-converter --model your_model.onnx --enable_htp_fp16 ...

跑通 FP16 模型，确认输出分布正常；
对比 FP16 与 INT8 的 mAP、IoU、关键点误差等业务指标；
再对比 latency、FPS、DDR 带宽；
选择 “精度可接受 + 性能达标” 的方案，而不是默认选最低位宽。 参考文档：高通 QNN HTP FP16 部署说明。