请问什么是DFQ量化？

weixin_32225865 2023-06-08 10:03:21

请问什么是DFQ量化？

...全文

1847 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 2023-06-08

打赏
举报

回复

DFQ是一种解决权重范围中的偏差和不均衡的自动化方法，由高通AI研究院2019年提出，被ICCV 2019接收为Oral论文 [2]。该方法无需训练，不需要额外数据，且能在不过多损失准确率的情况下实现 8-bit 量化。

DFQ方法不依赖于训练数据、微调或超参数设置，而是用一种自动化的方式使32-bit设置下训练得到的深度学习模型在8-bit 硬件上运行。"

0154_极智AI_解读高通DFQ量化算法实现

DFQ PyTorch实现提供提出的一些想法。结果 Int8 **：伪量化； 8位权重，8位激活，16位偏置Int8 *：伪量化； 8位权重，8位激活，8位偏置Int8'：伪量化； 8位权重（对称），8位激活（对称），32位偏置Int8：使用Int8推断； 8位权重（对称），8位激活（对称），32位偏置关于分类任务经过和测试 ImageNet验证集（Acc。） MobileNetV2 ResNet-18 型号/精度 FP32 Int8 ** 整数8 * Int8' 诠释8 （FP32-69.19）原来的 71.81 0.102 0.1 0.062 0.082 + ReLU 71.78 0.102 0.096 0.094 0.082 + ReLU + LE 71.78 70.32 68.78 67.5 65.21 + ReLU +

20210605-东方证券-宏观固收量化研究系列之（四）：DFQ市场化国债&国开利率曲线.pdf

0009_极智AI_解读深度学习PTQ后量化算法系列-个人笔记

东方证券_0902_东方证券因子选股系列研究之四十四：A股因子风险模型（DFQ-）.pdf

高通开发者论坛

3,202

社区成员

5,792

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章