QNN 模型在模拟器上精度正常，但跑到设备上输出异常，应该怎么排查？

[生命中的小执念]

QNN 模型在模拟器上精度正常，但跑到设备上输出异常，应该怎么排查？
 

[weixin_38498942]

模拟器与设备结果不一致，建议按环境、输入、算子、量化、版本五个维度排查。第一，确认设备固件、QNN SDK、模型编译链版本一致；第二，确认输入数据完全一致，包括 shape、dtype、scale、offset 和预处理；第三，检查是否有算子在模拟器中走 CPU 参考实现，但在设备上走 HTP 实现；第四，检查量化参数是否在设备加载时被正确应用；第五，对比模拟器和设备每层输出，定位误差从哪一层开始放大。可参考下面的定位命令：
qnn-net-run --model your_model.so --input_list input.txt --log_level 4
如果只是设备上异常，优先怀疑版本、固件、算子实现和硬件调度问题；如果模拟器也异常，则优先怀疑模型转换和量化问题。参考文档：高通 QNN 模拟器与设备对齐调试说明。

[weixin_38498942]

模拟器与设备结果不一致，建议按环境、输入、算子、量化、版本五个维度排查。第一，确认设备固件、QNN SDK、模型编译链版本一致；第二，确认输入数据完全一致，包括 shape、dtype、scale、offset 和预处理；第三，检查是否有算子在模拟器中走 CPU 参考实现，但在设备上走 HTP 实现；第四，检查量化参数是否在设备加载时被正确应用；第五，对比模拟器和设备每层输出，定位误差从哪一层开始放大。可参考下面的定位命令：
qnn-net-run --model your_model.so --input_list input.txt --log_level 4
如果只是设备上异常，优先怀疑版本、固件、算子实现和硬件调度问题；如果模拟器也异常，则优先怀疑模型转换和量化问题。参考文档：高通 QNN 模拟器与设备对齐调试说明。