4,662
社区成员
发帖
与我相关
我的任务
分享当基于resblock的网络结构较深时，QNN量化模型无法使用DSP推理？ 正常吗？
测试版本2.22.6.240515
测试设备为：SM4350
比较经典的就是Resnet50就无法使用DSP推理了；
测试了很多基于resblock结构的分割模型，都遇到这个问题。
残差结构不应该是很正常的一种结果吗？
...全文
请发表友善的回复…
发表回复
weixin_38498942 08-06
- 打赏
- 举报
当基于ResBlock的网络结构较深时，QNN量化模型在DSP上无法使用是有可能的，这主要与模型结构和DSP的硬件限制有关。以下是可能的原因及解决方案：
原因分析
模型复杂度：深层ResBlock结构可能导致模型过于复杂，超出了DSP的计算能力和内存限制；DSP对某些特定的层或操作支持有限，复杂的ResBlock结构可能包含不被支持的操作
量化精度：QNN量化模型通常使用8位定点表示，这可能在某些复杂层中导致精度损失，影响DSP推理
硬件限制：DSP的硬件资源有限，深层网络可能需要更多的计算资源和内存，超出了DSP的承载能力
