6.AI模型SNPE运行时量化效果正确,后量化效果错误:

weixin_32298029 2024-06-14 15:37:21

- 背景

有一个人头检测模型,想要部署在QCS8250的dsp上,使用snpe(1.61.0版本)的工具进行转模型和量化

- 转模型与量化命令:

snpe-onnx-to-dlc -i det_head.onnx -o det_head.dlc

// 量化数据集是真实数据集处理过后的二进制文件

snpe-dlc-quantize --input_dlc det_head.dlc --input_list raw_list.txt --output_dlc det_head_quantized.dlc

 

- 测试结果如下:

 

 

问题

后量化跑DSP错误

...全文
1345 1 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
weixin_38498942 2024-06-17
  • 打赏
  • 举报
回复

关于后量化这个操作, 我们在量化的时候相当于跑一些正向的传播, 然后找到权重中重要的那部分, 并且在推理中使用.
所以在进行量化的时候的这一次正向的传播的入参, 必须和模型的推理时的输入完全一致, 这里有三个角度可以考虑:
1, 确定好是BGR还是RGB, 必须和模型一致.
2, 数据排布, 我们的模型输入, 可能是NCHW,NHWC 或者是其他类型, 量化的输入必须和推理的输入完全一致.
3, 是否做了归一化, 如果推理需要归一化, 量化的时候必须加上, 才能保证量化的准确性.

3,302

社区成员

发帖
与我相关
我的任务
社区描述
本论坛以AI、WoS 、XR、IoT、Auto、生成式AI等核心板块组成,为开发者提供便捷及高效的学习和交流平台。 高通开发者专区主页:https://qualcomm.csdn.net/
人工智能物联网机器学习 技术论坛(原bbs) 北京·东城区
社区管理员
  • csdnsqst0050
  • chipseeker
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧