骁龙 AI PC 上本地大模型生成结果不稳定，可能有哪些原因？

[比天空更遥远的是]

骁龙 AI PC 上本地大模型生成结果不稳定，可能有哪些原因？
 

[weixin_38498942]

生成结果不稳定通常和随机性、上下文长度、系统负载、模型量化状态有关。

1. 随机性参数
   如果开启采样，每次结果可能不同：
   model.generate(prompt, temperature=0.7)
   需要稳定结果时，可以降低温度：
   model.generate(prompt, temperature=0.2)
2. 上下文过长
   长上下文可能让模型注意力分散，建议压缩文档。
3. 系统负载高
   后台软件占用内存或 CPU，会影响推理稳定性。
4. 量化精度损失
   INT8 或低比特量化可能导致部分复杂任务表现波动。