Qualcomm模型量化压缩的工具AIMET介绍

chipseeker 2023-12-13 13:52:15

边缘侧，模型在部署前都会做量化、压缩等一系列性能优化的举措，而且各家都有自己的工具，NV有TensorRT工具链，Intel有OpenVino工具链,而Qualcomm的这个工具就是AIMET.

AIMET的介绍网址英文： AI Model Efficiency Toolkit (quic.github.io)

下面是有关的AIMET中文介绍文档

1）动手学AIMET(1)- 什么是AIMET？-CSDN.NET

2）动手学AIMET(2)- 白皮书量化基础简读 - 知乎 (zhihu.com)

更全面的理解和学习请参考以下论文：

Neural Network Quantization with AI Model Efficiency Toolkit (AIMET): https://arxiv.org/pdf/2201.08442.pdf

...全文

1777 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

Ricky技术随想 2024-01-02

打赏
举报

回复

AIMET 在模型压缩提升性能的同时保持精度

AI模型效率工具包（AIMET）是一个为经过训练的神经网络模型提供高级模型量化和压缩技术的库。它提供的功能已被证明可改善深度学习神经网络模型的运行时性能，同时具有较低的计算和内存需求，并且对任务准确性的影响最小。 AIMET设计用于和模型。我们还托管-一组针对8位推理进行了优化的流行神经网络模型。我们还为用户提供了使用AIMET量化浮点模型的方法。目录为什么选择AIMET？支持高级量化技术：使用整数运行时的推理比使用浮点运行时的推理要快得多。例如，模型在Qualcomm Hexagon DSP上的运行速度比在Qualcomm Kyro CPU上的运行速度快5到15倍。此外，8位精度模型的占用空间比32位精度模型小4倍。但是，在对ML模型进行量化时，保持模型的准确性通常具有挑战性。 AIMET使用无数据量化等新颖技术解决了这一问题，该技术可在几种流行模型上提供最新的INT8结果

随着深度学习作为一种通用工具将智能注入电子设备的流行度增加，对小型、低延迟和高能效神经网络解决方案的需求也日益增加。如今，神经网络可以在许多电子设备和服务中找到，从智能手机、智能眼镜和家用电器到无人机、机器人和自动驾驶汽车。这些设备通常对神经网络执行的时间有严格的限制，或对长时间性能有严格的功耗要求。减少神经网络的计算时间和资源消耗的最有效方式之一是量化。在神经网络量化中，权重和激活张量的存储精度低于通常训练时的16或32位精度。

AIMET是一个使用户能够压缩和量化模型的软件工具包。AIMET提供了用于训练模型的优化设计，从而可以对得到的压缩和/或量化模型进行进一步训练（也称为微调），以恢复任何精度损失。AIMET目前支持TensorFlow和PyTorch模型。AIMET架构见下图：使用AIMET时工作流程的高级视图，见下图。如上图，用户将从TensorFlow或PyTorch的已训练模型开始。这个经过训练的模型被传递给AIMET，使用API进行压缩和量化。

AIMET工具压缩介绍（1）AI 模型效率工具包用户指南概述特点AIMET模型压缩概述用例压缩比选择模型压缩获得更好压缩结果的可选技术Rank Rounding每层微调 AI 模型效率工具包用户指南概述 AI 模型效率工具包 (AIMET) 是一个软件工具包，使用户能够压缩和量化模型。 AIMET 提供了旨在用于训练模型的优化，因此可以进一步训练（也称为微调）生成的压缩和/或量化模型，以恢复任何精度损失。 AIMET 目前支持 TensorFlow 和 PyTorch 模型。上图显示了使用 AIMET

高通AIMET [1] 是一个开源程式库，用于优化已训练的神经网络模型。开发者可以将 AIMET 的压缩和量化算法整合到 PyTorch 和 TensorFlow 的模型构建流程中，用于自动化后训练优化及模型微调，从而省去手动优化神经网络的繁琐过程。

高通开发者论坛

2,852

社区成员

5,758

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章