后训练量化的主要优化方法？

百香可尔必思 2021-07-29 13:36:42

后训练量化的主要优化方法？

...全文

1910 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 2021-07-29

打赏
举报

回复

交替优化（Alternating Optimization）、黄金分割搜索（Golden Section Search）、栅格搜索（Grid Search）

探讨AIMET训练后量化方法

原文链接：https://www.yuque.com/yahei/hey-yahei/quantization-post_training 欢迎转载&引用，但烦请注明出处~ 按照是否需要训练划分，量化通常可以分为从头训练（train from scratch）、重训练（retrain）、后训练（post-training）三种，本文主要介绍几种后训练量化的方案，并以线性均匀分布的定点量化为例。 **后训练量化指的是，对预训练后的网络选择合适的量化操作和校准操作，以实现量化损失的最小化，该过程不需要训

1 量化方法在tensorflow官网中有两种类型的量化方法：量化感知训练（Quantization aware training）训练后量化（Post-training quantization）这两种方法一种是在训练中量化，一种是训练后量化。 1.1 优缺点比较：训练后：集成到tensorflow lite转换器中，迭代快、容易使用，但是模型精度损失较大。训练过程中：基于Keras搭建。相对难以使用，需要更长的时间来重新训练模型，但对模型精度的保持比较好。 2 训练后量化因为训练后

目前神经网络在许多前沿领域的应用取得了较大进展，但经常会带来很高的计算成本，对内存带宽和算力要求高。另外降低神经网络的功率和时延在现代网络集成到边缘设备时也极其关键，在这些场景中模型推理具有严格的功率和计算要求。神经网络量化是解决上述问题有效方法之一，但是模型量化技术的应用会给模型带来额外噪音，从而导致精度下降，因此工程师对模型量化过程的理解有益于提高部署模型的精度。本文...

在PyTorch中，量化（Quantization）是一种用于减少模型大小和提高推理速度的优化技术，主要适用于边缘设备（如移动端、嵌入式设备）和服务器推理。量化通过将浮点数（FP32）转换为较低精度的数据类型（如INT8），从而减少计算需求并加快推理。如果不想重新训练模型，推荐使用动态量化（适用于RNN）。如果可以运行标定数据，推荐使用静态量化（适用于CNN）。如果需要最高精度量化，推荐使用量化感知训练（QAT）。如果使用Transformer/BERT，推荐使用FX量化。

高通开发者论坛

2,853

社区成员

5,760

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章