边缘高通开发板，模型浮点版本 CPU 精度正常，量化后 NPU 推理精度掉点严重，该从哪几个维度定位问题？

[啦啦啦凯哥]

边缘高通开发板，模型浮点版本 CPU 精度正常，量化后 NPU 推理精度掉点严重，该从哪几个维度定位问题？ 

[weixin_38498942]

可以按下面顺序定位：
校准数据集：确认校准数据分布和真实业务一致，样本数量充足；如果是强动态范围模型，尝试切换 MSE 或者 Percentile 校准策略；
算子支持：模型内存在 HTP 不原生支持算子，被降级到 CPU 执行，异构推理带来精度偏差；可使用 Model Preparator 替换不支持算子；
预处理对齐：CPU 推理和 NPU 推理的归一化、通道顺序、均值标准差处理逻辑不一致，是高频踩坑点；
精度验证：分别跑浮点模型、量化模型在 CPU 后端、HTP 后端，对比输出张量，定位是量化导致，还是硬件后端差异。 命令行快速验证模型：
qnn-net-run --model model.so --backend libQnnHtp.so --input_list input.txt
参考文档：高通 AI 引擎 Direct 模型量化调试手册。

[weixin_38498942]

可以按下面顺序定位：
校准数据集：确认校准数据分布和真实业务一致，样本数量充足；如果是强动态范围模型，尝试切换 MSE 或者 Percentile 校准策略；
算子支持：模型内存在 HTP 不原生支持算子，被降级到 CPU 执行，异构推理带来精度偏差；可使用 Model Preparator 替换不支持算子；
预处理对齐：CPU 推理和 NPU 推理的归一化、通道顺序、均值标准差处理逻辑不一致，是高频踩坑点；
精度验证：分别跑浮点模型、量化模型在 CPU 后端、HTP 后端，对比输出张量，定位是量化导致，还是硬件后端差异。 命令行快速验证模型：
qnn-net-run --model model.so --backend libQnnHtp.so --input_list input.txt
参考文档：高通 AI 引擎 Direct 模型量化调试手册。