我正在使用 QuantSim API 从 pytorch 转换模型。当我导出模型时,我看到量化工件文件(例如正在生成的编码)。然而,有很多警告表明某些 pytorch 层未映射到 AIMET。

旺仔QQq糖 2024-03-21 11:59:32

我正在使用 QuantSim API 从 pytorch 转换模型。当我导出模型时,我看到量化工件文件(例如正在生成的编码)。然而,有很多警告表明某些 pytorch 层未映射到 AIMET。我们是否有一个 API 可以让我们检查给定的模型哪些层可以/不能量化?

 

...全文
1469 1 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
weixin_38498942 2024-03-21
  • 打赏
  • 举报
回复

我建议尝试使用最新版本的 AIMET - 例如发布版本 1.16.1 · quic/aimet · GitHub 1
我们最近更改了 PyTorch 层名称映射到 ONNX 的方式,这可能对您的场景有所帮助。
除此之外,当 sim 是 QuantizationSimModel 类的实例时,您可以只执行“print(sim)”。这将为您提供一个很好的报告,显示哪些层分配了量化包装器以及启用/禁用了哪些量化器等。

3,353

社区成员

发帖
与我相关
我的任务
社区描述
本论坛以AI、WoS 、XR、IoT、Auto、生成式AI等核心板块组成,为开发者提供便捷及高效的学习和交流平台。 高通开发者专区主页:https://qualcomm.csdn.net/
人工智能物联网机器学习 技术论坛(原bbs) 北京·东城区
社区管理员
  • csdnsqst0050
  • chipseeker
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧