高通 AI PC 部署本地大模型时，提示 “NPU 资源不足” 或 “模型加载失败”，该如何排查？

[百香可尔必思]

高通 AI PC 部署本地大模型时，提示 “NPU 资源不足” 或 “模型加载失败”，该如何排查？
 

[weixin_38498942]

这个问题通常不是单一原因，可能涉及内存、NPU 算力、模型结构、QNN 版本、进程占用和系统资源限制。

1. 先查看系统资源占用
   在加载模型前，先检查 NPU、CPU、内存和 Swap 状态。
   Windows/AI PC 端可以重点看：
   内存是否接近满载
   NPU 是否被其他进程占用
   虚拟内存是否不足
   模型文件是否完整
   QNN SDK 是否正确识别 Hexagon NPU
2. 检查模型是否过大
   如果模型直接超出端侧 NPU 承载能力，建议先做轻量化处理：
   INT4 量化
   模型剪枝
   减少层数
   限制最大上下文长度
   使用端侧优化版模型结构
3. 开启模型分片加载
   大模型不要一次性全部加载进内存，可以采用分层加载策略。
   参考思路：

   def load_model_in_chunks(model_path, chunk_size=512):
    model_chunks = []
    with open(model_path, "rb") as f:
        while chunk := f.read(chunk_size):
            model_chunks.append(chunk)
    return model_chunks
   

   更正式的工程化处理可以使用 QNN 的模型分片加载接口，避免一次性占用过多连续内存。
4. 检查 NPU 是否被占用
   如果其他程序已经占用 NPU，新模型可能无法加载。可以查看当前 NPU 使用进程：

   qnn-monitor --npu-usage
   

5. 重建推理会话
   如果资源显示正常但仍然加载失败，可能是会话异常。
   参考伪代码：
   ```python
   def rebuild_inference_session():
   try:

    session = qnn.create_session()
    session.load_model("qnn_model.bin")
    return session
   

   except NPUResourceError:

    qnn.release_resources()
    session = qnn.create_session()
    session.load_model("qnn_model.bin")
    return session
   

```