什么是微尺度 (MX) 格式的仅权重量化？

weixin_32413931 2024-04-18 15:01:21

什么是微尺度 (MX) 格式的仅权重量化？

...全文
1500 1 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
weixin_38498942 2024-04-18
  • 打赏
  • 举报
 回复

微尺度 (MX) 格式的仅权重量化是指将权重从FP32或FP16格式压缩为MxFP6格式。这种压缩可以节省61%的权重大小，从而减轻DRAM容量的压力。

一文学懂快浮点数据格式
块浮点（BFP）和微指数缩放（MX）是两种高效的数据表示方法，特别适用于深度学习场景。BFP通过让一组数值共享同一指数位，显著减少了存储需求（示例显示可节省78%比特数）。MX则进一步优化，引入细粒度微指数调整机制，通过两级缩放策略（全局FP32预缩放+本地2幂次调整）提升数值精度。实验表明，MX格式在保持模型准确性的同时，能将4个浮点数（如[0.125,0.25,0.5,1.0]）压缩为共享指数+尾数的紧凑形式，硬件实现时还能自动处理动态范围大的数据（如[0.125,8.0]），使计算效率提升3-5倍。这
datawhale 2411组队学习：模型压缩4 模型量化理论（数据类型、int8量化方法、PTQ和QWT）
介绍了不同的数据类型计算方式和表示范围、浮点数精度误差及避免方式。int8量化的两种方法——零点量化和线性量化。最后介绍了训练后量化和量化感知训练。
QuantX：一种针对生成式AI工作负载的硬件感知量化框架
我们介绍了QuantX：一套为大型语言模型（LLM）和视觉语言模型（VLM）量身定制的量化方案。该框架能够将模型量化至3位分辨率，同时性能损失最小。QuantX中的量化策略考虑了特定硬件的约束条件，从而在推理过程中实现高效的反量化，确保运行时速度、内存需求和模型准确性之间的灵活权衡。我们的结果显示，QuantX在多个终端用户任务中，对于量化至3位的LlaVa-v1.6模型，其性能仅比未量化的模型低6%以内，并且优于最近发布的最先进的量化技术。
ICLR 2019论文解读：量化神经网络
https://www.toutiao.com/a6701879235964830212/ 今年五月举办 ICLR 2019 会议共接收论文 502 篇，本文将解读其中两篇有关量化神经网络的研究。 UNDERSTANDING STRAIGHT-THROUGH ESTIMATOR IN TRAINING ACTIVATION QUANTIZED NEURAL NETS https:/...
Datawhale模型减肥秘籍Tasking之模型量化
学习模型量化的相关内容
高通开发者论坛

3,302

社区成员

5,796

社区内容

发帖
与我相关
我的任务
社区描述
本论坛以AI、WoS 、XR、IoT、Auto、生成式AI等核心板块组成，为开发者提供便捷及高效的学习和交流平台。 高通开发者专区主页：https://qualcomm.csdn.net/
人工智能物联网机器学习 技术论坛（原bbs） 北京·东城区
社区管理员
  • csdnsqst0050
  • chipseeker
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章