高通AI PC端侧运行生成式AI模型，INT4量化后出现文本生成乱码，该如何修复？

[病娇！]

高通AI PC端侧运行生成式AI模型，INT4量化后出现文本生成乱码，该如何修复？
 

[weixin_38498942]

该问题多由量化精度丢失、KV Cache参数配置不匹配导致。可在QNN量化流程中开启关键层精度保护，对嵌入层、归一化层保留FP16精度；同步调整KV Cache缓存大小与推理步长，关闭激进压缩策略；重新校准量化数据集，避免权重分布偏移，即可解决生成文本乱码、语句不通顺的问题。