深度学习的剪枝后量化能够保证稀疏度不变吗？

HUHU546 2021-12-30 11:48:43

深度学习的剪枝后量化能够保证稀疏度不变吗？

...全文

1782 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 2021-12-30

打赏
举报

回复

主要看选取的量化方式，Scalar Quantization可以保证稀疏度不变，Vector Quantization、Product Quantization不能保证稀疏度不变。

模型剪枝2023最新论文

第一部分讲解基础结构及模型压缩，第二部分讲解实战。目录

基于EMOA的多目标ResNet修剪用于遥感场景分类

为什么要做量化？在实际应用中，尤其是在部署到资源有限的环境（如移动设备、边缘计算设备或特定的服务器硬件）时，模型的大小和计算速度至关重要。量化技术能够在保证模型性能基本不变的情况下，大幅度降低内存占用和计算资源的需求。W8A8量化 vs 稀疏量化：W8A8量化主要是将所有的权重和激活数据都用8位表示，是一种标准的量化方式。稀疏量化除了低位数表示外，还通过剪枝使得很多权重变为0，从而进一步压缩模型，并能在某些硬件上获得更快的推理速度。昇腾服务器：模型量化、W8A8量化、稀疏量化（量化是什么？

1 剪枝剪枝是一项古老的技术，从上个世纪传承至今，在学术界和工业界相关的研究工作都是很活跃的。剪枝根据不同的粒度有很多种，小到一个卷积参数，大到一个网络层。剪枝到底对性能会有什么影响呢？在稀疏性分别为0%，50%，75%，87.5%时，模型中非零参数分别是原始模型的1，0.5，0.25，0.128倍（也就是模型的参数少了，是原来的12.8%，剪枝了不少，压缩了），即实现了1，2，4，8倍的...

高通开发者论坛

2,851

社区成员

5,758

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章