AIMET的github上,Supported Features里提到了Quantization-aware Training,关于这一部分有具体的介绍吗?他和pytorch的QAT相比有什么区别/优

阿尔多利亚 2024-05-14 14:01:27

AIMET的github上,Supported Features里提到了Quantization-aware Training,关于这一部分有具体的介绍吗?他和pytorch的QAT相比有什么区别/优势吗?

...全文
1340 1 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
weixin_38498942 2024-05-14
  • 打赏
  • 举报
回复

关于AIMET里的QAT可以参考高通AIMET白皮书(https://arxiv.org/pdf/2201.08442 )的第五节,里面介绍了AIMET的量化感知训练的流程和原理。AIMET的QAT和pytorch的QAT本质上都在做一件事,就是在训练过程中加入了模拟量化,目的都是让训练出的模型收到PTQ的影响尽可能小。二者区别在于,仅针对高通平台的设备,相较于pytorch的QAT而言,高通的QAT模拟量化的方式和高通转模型时量化的方式一致,这就意味着QAT出来的模型在高通平台,PTQ可以无损,而pytorch实现的QAT受限于量化方式和机制的不同,在后量化时可能会有误差。

3,303

社区成员

发帖
与我相关
我的任务
社区描述
本论坛以AI、WoS 、XR、IoT、Auto、生成式AI等核心板块组成,为开发者提供便捷及高效的学习和交流平台。 高通开发者专区主页:https://qualcomm.csdn.net/
人工智能物联网机器学习 技术论坛(原bbs) 北京·东城区
社区管理员
  • csdnsqst0050
  • chipseeker
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧