骁龙 AI PC 上本地大模型回复很慢，可能有哪些原因？

[再快的86都追不上叔叔的奔驰]

骁龙 AI PC 上本地大模型回复很慢，可能有哪些原因？
 

[weixin_38498942]

回复慢通常不是单一原因，建议从模型大小、硬件加速、系统负载、推理参数四个方向排查。

1. 模型过大或量化不足
   优先使用更小参数量和更低位宽模型：

ollama pull model-name:1.5b-q4_K_M

2. 硬件加速未生效
   确认模型是否真正使用 NPU/GPU 路径，而不是全部运行在 CPU。
3. 系统负载过高
   关闭不必要软件，释放内存：

top

4. Prompt 过长
   长上下文会增加首次推理时间。可以先压缩文档：

prompt = prompt[:4096]

5. 生成参数过大
   限制最大 Token：

model.generate(prompt, max_tokens=512)