AIMET训练后量化后如何保存量化？

风淡云清不如你 2022-06-08 14:36:43

AIMET训练后量化后如何保存量化？

...全文

2037 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 2022-06-09

打赏
举报

回复

请参考此示例在 quantsim https://github.com/quic/aimet/blob/develop/TrainingExtensions/torch/test/python/test_quantizer.py#L961 之后导出您的模型。您可以使用 bc_quantizer.export() 导出模型，如下所示：https://github.com/quic/aimet/blob/develop/TrainingExtensions/torch/test/python/test_quantizer.py#L981%E3%80%82

AI模型效率工具包（AIMET）是一个为经过训练的神经网络模型提供高级模型量化和压缩技术的库。它提供的功能已被证明可改善深度学习神经网络模型的运行时性能，同时具有较低的计算和内存需求，并且对任务准确性的影响最小。 AIMET设计用于和模型。我们还托管-一组针对8位推理进行了优化的流行神经网络模型。我们还为用户提供了使用AIMET量化浮点模型的方法。目录为什么选择AIMET？支持高级量化技术：使用整数运行时的推理比使用浮点运行时的推理要快得多。例如，模型在Qualcomm Hexagon DSP上的运行速度比在Qualcomm Kyro CPU上的运行速度快5到15倍。此外，8位精度模型的占用空间比32位精度模型小4倍。但是，在对ML模型进行量化时，保持模型的准确性通常具有挑战性。 AIMET使用无数据量化等新颖技术解决了这一问题，该技术可在几种流行模型上提供最新的INT8结果

用于AI模型效率工具包的Model Zoo 我们提供了流行的神经网络模型的集合，并比较了它们的浮点数和量化性能。结果表明，与浮点模型相比，量化模型可以提供良好的准确性。连同结果一起，我们还为用户提供了使用量化浮点模型的方法。目录介绍量化推理比浮点推理要快得多，并且可以使模型在移动设备和边缘设备上以省电的方式运行。我们使用AIMET（一个包含最先进的量化技术的库）对和PyTorch框架中可用的各种模型进行量化。以下各节提供了型号列表。使用AIMET中可用的训练后量化（PTQ）或感知量化训练（QAT）技术对原始FP32源模型进行量化。为每个模型提供了用于评估的示例脚本。当需要PTQ时，评估脚本会在评估之前执行PTQ。无论在哪里使用QAT，都将提供经过微调的模型检查点。 Tensorflow模型模型动物园网络模型来源[1] 浮点（FP32）模型[2] 量化

增量网络量化对于增量网络量化的Caffe实现，我们修改了原始的caffe，安装遵循。默认源代码是5位仅加权量化，您可以通过更改参数“ partition”（/ src / caffe / blob.cpp）来控制量化步长。 INQ用法 0.您必须对caffe培训有所了解 1.使用Imagenet训练5位Alexnet： python run.py 请从手动下载经过浮点运算的ImageNet预训练的AlexNet / VGG模型和二次幂模型，并将其放入$ / models / bvlc_alexnet /中。 2.在连续的分区步骤中，输出日志分别保存为run1_log.out，run2_log.out，run3_log.out，...。引用INQ 如果您发现INQ在您的研究中很有用，请考虑引用： @inproceedings{zhou2017, title={Incre

探讨AIMET训练后量化方法

AIMET工具模型量化介绍（4）AIMET 后训练量化技术概述使用流程常见问题参考 AIMET 后训练量化技术概述来自于大量试验数据，由于近似噪声，一些 ML 模型在量化硬件上运行时显示出推理精度降低。 AIMET 提供后训练量化技术，帮助调整模型中的参数，使模型变得更加量化友好。 AIMET 后量化技术旨在应用于预训练的 ML 模型。这些技术在 ICCV 2019 上的“通过权重均衡和偏置校正的无数据量化”论文中进行了解释 -https://arxiv.org/abs/1906.04721 使

高通开发者论坛

2,853

社区成员

5,758

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章