我这边有个模型结构是自己改过的，不是常见的主流架构，这种自定义结构的模型在骁龙 NPU 上部署难度大吗？

[2501_94733202]

有点担心在 NPU 上落地会不会受限。想确认一下，如果用到了非标准算子，是否支持自定义算子？只要模型本身能在 PyTorch、TensorFlow 或 ONNX Runtime 里正常跑，是不是基本就有机会转到 NPU 上执行？

[weixin_38498942]

是的，支持自定义算子。目前主流NPU推理框架（如华为昇腾、寒武纪、地平线等）都提供了自定义算子开发能力，允许用户将PyTorch、TensorFlow或ONNX Runtime中的非标准算子转换为NPU可执行的算子。

转换可行性：如果模型能在PyTorch、TensorFlow或ONNX Runtime中正常运行，确实有很大机会转换到NPU上执行。但需要注意以下几点：

1. 算子支持度：需要检查NPU框架是否支持模型中的所有算子，不支持的算子需要自定义实现

2. 精度对齐：NPU的量化精度和计算精度可能与CPU/GPU存在差异，需要验证精度损失是否可接受

3. 性能优化：自定义算子需要针对NPU架构进行性能调优，才能发挥NPU的算力优势

4. 框架适配：需要将模型转换为NPU框架支持的格式（如ONNX、OM等），并进行图优化

建议先使用NPU厂商提供的模型转换工具进行初步评估，再针对不支持的算子进行自定义开发。

[极市平台]

我们的 QAIRT 是支持自定义算子的，正如第一个问题中提到的，只要模型能够通过TensorFlow，PyTorch 或 ONNX Runtime推理，基本都能转换到 NPU 上来运行。