3,303
社区成员




AIMET的github上,Supported Features里提到了Quantization-aware Training,关于这一部分有具体的介绍吗?他和pytorch的QAT相比有什么区别/优势吗?
关于AIMET里的QAT可以参考高通AIMET白皮书(https://arxiv.org/pdf/2201.08442 )的第五节,里面介绍了AIMET的量化感知训练的流程和原理。AIMET的QAT和pytorch的QAT本质上都在做一件事,就是在训练过程中加入了模拟量化,目的都是让训练出的模型收到PTQ的影响尽可能小。二者区别在于,仅针对高通平台的设备,相较于pytorch的QAT而言,高通的QAT模拟量化的方式和高通转模型时量化的方式一致,这就意味着QAT出来的模型在高通平台,PTQ可以无损,而pytorch实现的QAT受限于量化方式和机制的不同,在后量化时可能会有误差。