神经网络为什么要量化？

玛上8年 2023-06-08 10:03:46

神经网络为什么要量化？

...全文
1771 1 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
weixin_38498942 2023-06-08
  • 打赏
  • 举报
 回复

  1. 提高计算速度&降低功耗。将32位浮点数计算转换成8位定点计算，在一些支持SIMD的平台上能大大提速，例如高通的DSP支持一条指令同时计算128字节的向量。

  2. 减少存储消耗。将神经网络每层的32位浮点数权重，转换为8位定点+最小最大值的存储方式，模型的大小能减少为原来的约25%。

神经网络量化（一）
随着深度学习作为一种通用工具在电子设备中注入智能的流行度不断上升，对小型、低延迟和高能效的神经网络解决方案的需求也在增加。如今，神经网络可以在许多电子设备和服务中找到，包括智能手机、智能眼镜、家用电器、无人机、机器人和自动驾驶汽车。这些设备通常对神经网络的执行时间有严格的限制，或对长时间性能有严格的功耗要求。减少神经网络的计算时间和能耗的最具影响力的方法之一是量化。在神经网络量化中，权重和激活张量以比通常训练时的16或32位精度更低的位精度存储。
神经网络的量化
量化是降低权重、偏差和激活精度的过程，从而消耗更少的内存。换句话说，量化的过程就将神经网络参数的32位浮点数表示，转换为更小的表示形式，例如8位整数。例如，从 32 位变为 8 位将使模型大小减少 4 倍，因此量化的一个明显好处是显着减少内存。图 2 显示了一个示例。量化的另一个好处是它可以降低网络延迟并提高能效。由于可以使用整数而不是浮点数据类型执行操作，因此网络速度得到了提高。这些整数运算在大多数处理器内核（包括微控制器）上需要较少的计算。
神经网络量化：实用工具和库
1.背景介绍 神经网络量化是一种将神经网络模型转换为可以在生产环境中运行的过程。这个过程涉及到将模型的参数、操作符和计算图进行优化、压缩和转换，以便在特定的硬件平台上运行。这篇文章将介绍神经网络量化的核心概念、算法原理、实例代码和未来趋势。 1.1 神经网络模型的复杂性 神经网络模型的复杂性主要体现在以下几个方面： 参数数量：深度学习模型的参数数量可能非常大，例如GPT-3的参数数量达到...
深度学习中神经网络模型的量化
1，什么是量化 2，为什么要量化 3，神经网络模型的量化 神经网络模型在训练时都是浮点运算的，得到的模型参数也是浮点的。通常模型参数较多，在inference时也有非常多的乘累加运算。如果处理器的算力有限，在inference时用浮点运算将导致CPU load很高，极大影响性能。而且通常一个参数用浮点数表示占四个字节，而如果用8比特量化的话，一个参数只占一个字节，memory得到了极大的节约，在memory紧张的处理器上尤为重要。所以通常都要对神经网络模型进行量化，来降低CPU load和..
定点 浮点 神经网络 量化_神经网络模型量化论文小结
神经网络模型量化论文小结发布时间：2018-07-22 13:25,浏览次数：278现在“边缘计算”越来越重要，真正能落地的算法才是有竞争力的算法。随着卷积神经网络模型堆叠的层数越来越多，网络模型的权重参数数量也随之增长，专用硬件平台可以很好的解决计算与存储的双重需求，但目前还不成熟，存在些亟待解决的问题，没能大规模商用。对模型进行参数量化的主要目的是减小模型存储体积，加速运算，能够将算法应用在通...
高通开发者论坛

3,202

社区成员

5,792

社区内容

发帖
与我相关
我的任务
社区描述
本论坛以AI、WoS 、XR、IoT、Auto、生成式AI等核心板块组成，为开发者提供便捷及高效的学习和交流平台。 高通开发者专区主页：https://qualcomm.csdn.net/
人工智能物联网机器学习 技术论坛（原bbs） 北京·东城区
社区管理员
  • csdnsqst0050
  • chipseeker
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章