AIMET导出encodiing,量化效果很差

chenfeng0232 2025-03-14 22:25:12

您好，请问一下，我在用aimet的gptq,导出qwen系列的encoding,在模型转换后，在高通芯片DSP运行，效果很差，输出都是乱码，请问用aimet进行量化，是否能够用于大语言模型。针对用AIMET量化，请问在针对大模型量化时，有什么好实现方式吗？

...全文

454 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_48317853 03-21

打赏
举报

回复

aimet可以用在LLM上，高通官网有个notebook，里面就是用aimet进行量化的，但是效果确实不太好，但是也能正常吐字。

weixin_38498942 03-19

打赏
举报

回复

AIMET的主要作用是用于量化感知训练, 相当于你有对应的语料对模型进行重新的训练, 如果准确性下降了, 看一下训练的结果是否已经收敛了.

PowerDesigner导出word通用模版，导出表清单和表列清单

Java POI 导入导出Excel简单实例源代码该源代码的jar包，参见以下博文附录截图 Java POI导出EXCEL经典实现 Java导出Excel弹出下载框 http://blog.csdn.net/evangel_z/article/details/7332535 web页面导出Excel文档，路径：http://localhost:8080/poi/export

它仅需要少量未标记的数据样本（例如：在视觉任务中使用了500-2,000个样本），无需超参数调整或端到端微调，并且可以应用于任何神经网络的全连接和卷积层。• 在分析性偏差校正（perform_only_empirical_bias_corr = False）的情况下，AIMET会自动检测给定模型中具有关联批归一化统计的候选卷积层，以执行偏差校正。它返回一个更新后的模型，其中包含优化后的权重，并将相应的量化编码保存在一个JSON输出文件中，该文件的路径由encoding_path参数指定。

1. 依赖项 import io import numpy as np from torch import nn import torch.utils.model_zoo as model_zoo import torch.onnx 2. 模型结构 # Super Resolution model definition in PyTorch import torch.nn as nn import torch.nn.init as init class SuperResolutionNet(nn.M

AIMET工具压缩介绍（1）AI 模型效率工具包用户指南概述特点AIMET模型压缩概述用例压缩比选择模型压缩获得更好压缩结果的可选技术Rank Rounding每层微调 AI 模型效率工具包用户指南概述 AI 模型效率工具包 (AIMET) 是一个软件工具包，使用户能够压缩和量化模型。 AIMET 提供了旨在用于训练模型的优化，因此可以进一步训练（也称为微调）生成的压缩和/或量化模型，以恢复任何精度损失。 AIMET 目前支持 TensorFlow 和 PyTorch 模型。上图显示了使用 AIMET

高通开发者论坛

3,773

社区成员

5,831

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章