模型转换的完整pipeline是怎样的?从训练到部署中间有哪些坑要注意？

[nomomoly]

模型转换的完整pipeline是怎样的?从训练到部署中间有哪些坑要注意？

[weixin_38498942]

完整pipeline（以PyTorch为例）

1. 训练导出：PyTorch/TF 训练→导出 ONNX（指定适配 Opset，固定输入 shape）；
2. 转浮点 DLC：qairt-converter 将 ONNX 转为浮点 DLC（QNN 图格式）；
3. 量化校准：qairt-quantizer 做 INT4/FP16 量化（配校准数据防掉点）；
4. 生成执行格式：qnn-context-binary-generator 转量化 DLC 为 Context-Binary（NPU 可执行）；
5. 端侧部署：集成 QAIRT API，推送到骁龙设备 NPU/HTP 推理。

   核心坑与规避

6. 算子回退：先查 QNN 算子支持清单，自定义算子需适配；用 qnn-context-binary-utility --check 扫描。
7. 量化掉点：用真实校准数据，选 KL 散度而非 Min - Max 统计，必要时做 QAT 。
8. 输入不兼容：固定 batch/shape，导出 ONNX 时禁用动态维度。
9. 性能差：优先 INT4，关闭算子回退，核对 SoC（骁龙 8 Gen2+）与 NPU 算力。
10. 部署异常：用 qnn-net-run --profile 测延迟/功耗，adb logcat 排查初始化失败。