我想知道AIMET量化修剪模型的最佳策略是什么?或者也许执行模型压缩和量化的正确程序将创建具有最佳精度的模型(是否可以使用 AIMET API 修剪量化模型?)

Java才是王道 2022-06-08 14:36:19

我想知道AIMET量化修剪模型的最佳策略是什么?或者也许执行模型压缩和量化的正确程序将创建具有最佳精度的模型(是否可以使用 AIMET API 修剪量化模型?)

...全文
2009 1 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
weixin_38498942 2022-06-09
  • 打赏
  • 举报
回复

您应该在剪枝后首先对模型进行微调,在剪枝移除过滤器后模型会发生什么情况,其中特征图被移除以及模型被破坏,您需要对它们进行微调 10-15 个时期,它可以更新量化所需的统计信息。 使用张量分解“svd here”,您可以增加模型的深度,这就是您的推理时间增加的原因,解决这个问题的方法看起来更深入到您要为其部署模型的硬件,并且您可以简单地通过以下方式改进推理时间了解从计算图生成的 IR 是如何编译的,并且很容易解决。

2,853

社区成员

发帖
与我相关
我的任务
社区描述
本论坛以AI、WoS 、XR、IoT、Auto、生成式AI等核心板块组成,为开发者提供便捷及高效的学习和交流平台。 高通开发者专区主页:https://qualcomm.csdn.net/
人工智能物联网机器学习 技术论坛(原bbs) 北京·东城区
社区管理员
  • csdnsqst0050
  • chipseeker
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧