高通平台部署生成式 AI 模型时，如何降低重复生成和无意义输出？

[梦中做梦]

高通平台部署生成式 AI 模型时，如何降低重复生成和无意义输出？
 

[weixin_38498942]

重复生成和无意义输出通常与 Prompt 不够明确、参数设置不合理、上下文不足有关。

1. Prompt 明确约束
   例如要求输出简短、结构化：
   请用三句话回答以下问题，不要重复表达。
2. 控制生成参数
   设置最大 Token 数：

model.generate(prompt, max_tokens=512)

3. 增加停止词
   遇到特定内容时提前结束生成：
   stop_words = ["。。。", "重复", "无意义"]
4. 后处理去重
   检测重复片段：

def remove_repeat(text):
    sentences = text.split("。")
    unique = []
    seen = set()
    for s in sentences:
        if s not in seen:
            seen.add(s)
            unique.append(s)
    return "。".join(unique)

5. 使用检索增强
   让模型基于真实资料生成，减少幻觉和无意义内容。

[weixin_38498942]

量化时需要 “校准数据集”（代表性样本）来统计每一层激活值的实际动态范围（min/max），据此确定量化参数（scale/zero point）。校准数据不足，意味着模型无法准确估计真实数值范围，转换工具因此报警告。