最近在做量化实现，发现实现之后其实并没有怎么降低latency？？

chen-712 2021-06-23 14:28:42

最近在做量化实现，发现实现之后其实并没有怎么降低latency？？

...全文

1015 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 2021-06-24

打赏
举报

回复

量化能变快需要充分利用相应的低比特指令，量化≠更快，想变快一方面需要硬件指令支持，另一方面需要精心优化，这部分可以参考一些开源的推理库比如tnn ncnn mnn tengine，里面基本都有高效的8bit卷积实现。

模型量化作为一种能够有效减少模型大小，加速深度学习推理的优化技术，已经得到了学术界和工业界的广泛研究和应用。模型量化有 8/4/2/1 bit等，本文主要讨论目前相对比较成熟的 8-bit 低精度推理。通过这篇文章你可以学习到以下内容：1）量化算法介绍及其特点分析，让你知其然并知其所以然； 2）Pytorch 量化实战，让你不再纸上谈兵；3）模型精度及性能的调优经验分享，让你面对问题不再束手无策...

前言因为前段时间在写Intel Intrinsics，看到latency和Throughput（CPI）一直不太理解。直到今天刚好看到了《计算机体系结构——量化研究方法》中关于MIPS中多功能单元（长延迟）流水线的介绍，才发现两者好像有一定的关系。因此本篇博客主要是我对MIPS中多功能单元（长延迟）流水线中的latency和Initiation interval的理解，以及简单谈一谈它们与指令latency、Throughput的关系。正文《计算机体系结构——量化研究方法》中的MIPS多功能单元流水

量化是将数值 x 映射到 y 的过程，其中 x 的定义域是一个大集合(通常是连续的)，而 y 的定义域是一个小集合（通常是可数的）。8-bit 低精度推理，是将一个原本 FP32 的浮点张量转化成一个 int8/uint8 张量来处理。先看一下浮点数和 8-bit 整数的完整表示范围。模型量化会带来如下两方面的好处：减少内存带宽和存储空间深度学习模型主要是记录每个 layer（比如卷积层/全连接层）的 weights 和 bias, FP32 模型中，每个 weight /bias

模型量化（Model Quantization）通过某种方法。比如说原来的模型里面的权重（weight）都是float32，通过模型量化，将模型变成权重（weight）都是int8的定点模型IEEE标准中的FP16格式如下：取值范围是5.96× 10−8 ~ 65504，而FP32则是1.4×10-45 ~ 3.4×1038。从FP16的范围可以看出，用FP16代替原FP32神经网络计算的最大问题就是精度损失。

1. 前言这些年来，深度学习在众多领域亮眼的表现使其成为了当今机器学习的主流方法。但其巨大的计算量仍为人诟病。尤其是近几年，随着端设备算力增强，业界涌现出越来越多基于深度神经网络的智能应用。为了弥补算力需求与供给的巨大鸿沟，近几年来模型压缩成为了业界的热点之一。模型压缩又可细分为多个子方向。之前在浅谈端上智能之计算优化中有过一些简单的论述，同时在闲话模型压缩之网络剪枝（Network Pruning）篇中更加具体地整理了些关于网络剪枝（network pruning）的东西，今天就再将目光放到另一类方法上

Qualcomm 开发者论坛

955

社区成员

5,251

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习企业社区北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章