我看到snpe-2.13的官方实例里使用了setCpuFixedPointMode这个接口,注释上描述如图所示。我疑惑的是,模型量化之后已经变成int8的了,如果这个接口设置成false的话,是如何以

维多利亚的拥抱 2024-05-14 14:01:58

我看到snpe-2.13的官方实例里使用了setCpuFixedPointMode这个接口,注释上描述如图所示。我疑惑的是,模型量化之后已经变成int8的了,如果这个接口设置成false的话,是如何以float的形式执行的呢,把整数当成浮点执行吗,会不会有错误?

...全文
1265 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
weixin_38498942 2024-05-14
  • 打赏
  • 举报
回复

您好,您可能对snpe量化的过程有一定的误解。量化之后的结果不能当作int8去理解,而是8位/16位定点数(fixed-point),这些定点数用zero point+scale可以还原回浮点的形式(参考https://blog.csdn.net/qq_42585108/article/details/121329524 ),也就是量化/反量化。snpe-dlc-quantize对量化的描述是Generate 8 or 16 bit TensorFlow style fixed point weight and activations encodings for a floating point SNPE model,这里的floating point SNPE model指的是浮点模型,也就是量化前的模型。通过snpe-dlc-info查看一个量化后的模型,如下图所示,可以看到,这一个layer的(是一个conv2d)的weight的类型是uFxp_8(8位长的unsigned fixed-point,8位无符号定点数),而所谓的fixed point weight and activations encodings指的就是bitwidth 8, min -9.781250000000, max 0.000000000000, scale 0.038357842714, offset -255.000000000000这些信息。其中offset就是所谓的zp,也就是说,虽然参数以8位定点数存放,但是可以通过这些信息还原回浮点数,只会有误差,不会有错误的。

img

Snapdragon Neural Processing Engine (SNPE) 是 Qualcomm 提供的一套完整的解决方案,旨在优化和加速神经网络模型在 Qualcomm 骁龙(Snapdragon)移动平台上的运行。SNPE 支持多种神经网络框架,如 TensorFlow、Caffe、ONNX 等,并提供了高效的推理引擎和工具链,帮助开发者在移动设备上实现高性能的人工智能应用。 Snapdragon Neural Processing Engine (SNPE) 是由高通公司(Qualcomm)开发的一套软件开发工具包,其目的在于为开发者提供一系列优化和加速神经网络模型在高通骁龙移动平台上的运行能力。随着人工智能技术在移动设备上的普及和重要性的日益增加,SNPE成为了推动移动AI应用发展的关键工具。 SNPE支持多种流行的深度学习框架,包括但不限于TensorFlow、Caffe以及ONNX(开放神经网络交换格式),这使得开发者能够利用他们已有的模型和知识,将这些模型转换并部署在骁龙处理器上。这样的支持为开发者提供极大的便利,因为它们不必从零开始构建模型,而是可以在现有的成果基础上进行优化和调整。 SNPE的核心组件之一是其高效的推理引擎,推理引擎是深度学习模型执行前向传播计算的部分,它负责处理输入数据并生成预测结果。在移动设备上运行复杂的神经网络模型时,高效的推理引擎是至关重要的,因为它能够确保应用运行流畅且电池消耗合理。 此外,SNPE还提供了一系列工具链,这些工具链包括模型转换工具、调试工具和性能分析工具,它们帮助开发者在模型转换、调试和优化等阶段中更有效地工作。例如,模型转换工具可以将特定框架的模型转换为SNPE可以识别和运行的格式,而性能分析工具则允许开发者了解模型在特定硬件上的运行效率,进而作出相应的调整。

2,850

社区成员

发帖
与我相关
我的任务
社区描述
本论坛以AI、WoS 、XR、IoT、Auto、生成式AI等核心板块组成,为开发者提供便捷及高效的学习和交流平台。 高通开发者专区主页:https://qualcomm.csdn.net/
人工智能物联网机器学习 技术论坛(原bbs) 北京·东城区
社区管理员
  • csdnsqst0050
  • chipseeker
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧