后训练量化的主要优化方法？

百香可尔必思 2021-07-29 13:36:42

后训练量化的主要优化方法？

...全文

1960 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 2021-07-29

打赏
举报

回复

交替优化（Alternating Optimization）、黄金分割搜索（Golden Section Search）、栅格搜索（Grid Search）

探讨AIMET训练后量化方法

原文链接：https://www.yuque.com/yahei/hey-yahei/quantization-post_training 欢迎转载&引用，但烦请注明出处~ 按照是否需要训练划分，量化通常可以分为从头训练（train from scratch）、重训练（retrain）、后训练（post-training）三种，本文主要介绍几种后训练量化的方案，并以线性均匀分布的定点量化为例。 **后训练量化指的是，对预训练后的网络选择合适的量化操作和校准操作，以实现量化损失的最小化，该过程不需要训

1 量化方法在tensorflow官网中有两种类型的量化方法：量化感知训练（Quantization aware training）训练后量化（Post-training quantization）这两种方法一种是在训练中量化，一种是训练后量化。 1.1 优缺点比较：训练后：集成到tensorflow lite转换器中，迭代快、容易使用，但是模型精度损失较大。训练过程中：基于Keras搭建。相对难以使用，需要更长的时间来重新训练模型，但对模型精度的保持比较好。 2 训练后量化因为训练后

目前神经网络在许多前沿领域的应用取得了较大进展，但经常会带来很高的计算成本，对内存带宽和算力要求高。另外降低神经网络的功率和时延在现代网络集成到边缘设备时也极其关键，在这些场景中模型推理具有严格的功率和计算要求。神经网络量化是解决上述问题有效方法之一，但是模型量化技术的应用会给模型带来额外噪音，从而导致精度下降，因此工程师对模型量化过程的理解有益于提高部署模型的精度。本文...

量化通过将模型参数从高位浮点数转换为低位整数或低精度浮点数，降低模型的内存占用和计算复杂度。常用的量化方法有后训练量化和量化感知训练，前者简单但可能带来精度损失，后者更复杂但可以保持较高精度。

高通开发者论坛

4,654

社区成员

5,842

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章