Qualcomm AIMET优化后的AI模型库

chipseeker 2023-12-15 10:36:53

边缘侧的AI模型为了得到更高的性能，一般都会做量化和压缩等优化，Qualcomm不仅提供了AIMET这个的工具开源工具，而且也开放出一系列AIMET优化过的常用的AI 模型库，这个模型库包括38个Pytorch/12个Tensorflow的模型，基本覆盖Image classification，object detection，Pose Estimation，super resolution，semenic segmentation ,NLP, LLM 等

具体的模型介绍参见：GitHub - quic/aimet-model-zoo

...全文

1700 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

AI模型效率工具包（AIMET）是一个为经过训练的神经网络模型提供高级模型量化和压缩技术的库。它提供的功能已被证明可改善深度学习神经网络模型的运行时性能，同时具有较低的计算和内存需求，并且对任务准确性的影响最小。 AIMET设计用于和模型。我们还托管-一组针对8位推理进行了优化的流行神经网络模型。我们还为用户提供了使用AIMET量化浮点模型的方法。目录为什么选择AIMET？支持高级量化技术：使用整数运行时的推理比使用浮点运行时的推理要快得多。例如，模型在Qualcomm Hexagon DSP上的运行速度比在Qualcomm Kyro CPU上的运行速度快5到15倍。此外，8位精度模型的占用空间比32位精度模型小4倍。但是，在对ML模型进行量化时，保持模型的准确性通常具有挑战性。 AIMET使用无数据量化等新颖技术解决了这一问题，该技术可在几种流行模型上提供最新的INT8结果

非常好的人工智能前沿报告，讲清楚了近年颇受关注的各个前沿方向，很有启发性。全英文材料。

高通AIMET [1] 是一个开源程式库，用于优化已训练的神经网络模型。开发者可以将 AIMET 的压缩和量化算法整合到 PyTorch 和 TensorFlow 的模型构建流程中，用于自动化后训练优化及模型微调，从而省去手动优化神经网络的繁琐过程。

随着深度学习作为一种通用工具将智能注入电子设备的流行度增加，对小型、低延迟和高能效神经网络解决方案的需求也日益增加。如今，神经网络可以在许多电子设备和服务中找到，从智能手机、智能眼镜和家用电器到无人机、机器人和自动驾驶汽车。这些设备通常对神经网络执行的时间有严格的限制，或对长时间性能有严格的功耗要求。减少神经网络的计算时间和资源消耗的最有效方式之一是量化。在神经网络量化中，权重和激活张量的存储精度低于通常训练时的16或32位精度。

AIMET工具压缩介绍（1）AI 模型效率工具包用户指南概述特点AIMET模型压缩概述用例压缩比选择模型压缩获得更好压缩结果的可选技术Rank Rounding每层微调 AI 模型效率工具包用户指南概述 AI 模型效率工具包 (AIMET) 是一个软件工具包，使用户能够压缩和量化模型。 AIMET 提供了旨在用于训练模型的优化，因此可以进一步训练（也称为微调）生成的压缩和/或量化模型，以恢复任何精度损失。 AIMET 目前支持 TensorFlow 和 PyTorch 模型。上图显示了使用 AIMET

高通开发者论坛

2,852

社区成员

5,758

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章