模型量化基本原理？？

吉吉国民 2021-08-26 14:13:17

模型量化基本原理？？

...全文

1844 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 2021-08-26

打赏
举报

回复

模型量化桥接了定点与浮点，建立了一种有效的数据映射关系，使得以较小的精度损失代价获得了较好的收益，要弄懂模型量化的原理就是要弄懂这种数据映射关系。

模型量化即以较低的推理精度损失将连续取值的浮点型模型权重进行裁剪和取舍，它是以更少位数的数据类型用于近似表示32位有限范围浮点型数据的过程，而模型的输入输出依然是浮点型，从而达到减少模型尺寸大小、减少模型内存消耗及加快模型推理速度等目标。比如int8量化，就是让原来32bit存储的数字映射到8bit存储。int8范围是[-128,127]， uint8范围是[0,255]。

目录1、模型量化是什么？2、为什么需要做模型量化？3、模型量化动机是什么？4、模型量化分类4.1 线性量化4.1.1 对称量化4.1.2 非对称量化4.2 逐层量化、逐组量化和逐通道量化4.3 在线量化和离线量化4.4 比特量化4.5 权重量化和权重激活量化5、模型量化原理详解5.1 原理详解5.2 具体案例6、模型量化实现步骤7、Pytorch模型量化详解7.1 简介7.2 pytorch量化工...

引言一、量化基本概念 1、简介 2、模型量化的粒度 3、模型量化对象 4、静态量化与动态量化 5、离线量化与在线量化 6、线性量化与非线性量化 7、量化数据类型 8、量化分类二、模型量化方法精要 1、RTN 2、LLM-QAT 3、QLoRA 4、LLM.int8() 5、GPTQ 6、SmoothQuant 7、AWQ 8、SpQR 9、ZeroQuant 10、ZeroQuant-V2 11、ZeroQuant-FP 12、FP6-LLM（W6A16） 13、KIVI 14、IntactKV 15、

量化是一种将较大尺寸的模型（如 LLM 或任何深度学习模型）压缩为较小尺寸的方法。量化主要涉及对模型的权重参数和激活值进行量化。让我们通过一个简单的模型大小计算来验证这个说法。左侧：基础模型大小计算（单位：GB），右侧：量化后的模型大小计算（单位：GB）在上图中，**基础模型 Llama 3 8B 的大小为 32 GB。经过 Int8 量化后，大小减少到 8GB（减少了 75%）。使用 Int4 量化后，大小进一步减少到 4GB（减少约 90%）。**这使模型大小大幅减少。

前言模型在端侧运行时，会追求模型保持原有精度的同时，让模型的运行速度更快。基本方向为模型压缩和加速，着力于减少网络参数量、降低计算复杂度。可通过以下方式实现：针对网络结构本身进行改进，常用的3x3的卷积的叠加代替大卷积；average-pooling 代替 full-connection layers；MobileNets中使用的 depth-wise convolution 代替传统的卷积方式；等。剪枝：除去神经网络结构中不重要的部分量化：调整网络结构中的权重和激活值的表达精度。

高通开发者论坛

2,853

社区成员

5,760

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章