6.AI模型SNPE运行时量化效果正确，后量化效果错误:

[weixin_32298029]

- 背景

有一个人头检测模型，想要部署在QCS8250的dsp上，使用snpe(1.61.0版本)的工具进行转模型和量化

- 转模型与量化命令：

snpe-onnx-to-dlc -i det_head.onnx -o det_head.dlc

// 量化数据集是真实数据集处理过后的二进制文件

snpe-dlc-quantize --input_dlc det_head.dlc --input_list raw_list.txt --output_dlc det_head_quantized.dlc

 

- 测试结果如下：

 

 

问题

后量化跑DSP错误

[weixin_38498942]

关于后量化这个操作, 我们在量化的时候相当于跑一些正向的传播, 然后找到权重中重要的那部分, 并且在推理中使用.
所以在进行量化的时候的这一次正向的传播的入参, 必须和模型的推理时的输入完全一致, 这里有三个角度可以考虑:
1, 确定好是BGR还是RGB, 必须和模型一致.
2, 数据排布, 我们的模型输入, 可能是NCHW,NHWC 或者是其他类型, 量化的输入必须和推理的输入完全一致.
3, 是否做了归一化, 如果推理需要归一化, 量化的时候必须加上, 才能保证量化的准确性.