QAIRT 支持主流框架：TF/PyTorch 模型能“开箱即用”吗？还要不要转换？

[weixin_46424698]

我理解 QAIRT 宣称支持主流 AI 框架，但在实际工程里我们经常遇到“框架支持”与“端侧可部署”之间仍有不少差距。
想确认一下：如果我们手上是 TensorFlow / PyTorch 训练出来的模型，是否真的可以开箱即用直接上端侧运行？

还是说通常仍需要经过导出与转换（例如导出到 ONNX / TFLite / 其他中间格式）、以及后续的 图优化、量化/校准、算子替换、编译 才能跑到 NPU/HTP 上？

另外，在“看起来能跑”与“能高效跑在 NPU 上”之间，最关键的限制一般是什么（算子覆盖、动态 shape、控制流、内存/带宽、精度策略等）？

[weixin_38498942]

1. 开箱即用：不可以。TF/PyTorch模型无法直接上端侧，必须经「导出（ONNX/TFLite）→QAIRT转换（转DLC格式）→图优化/量化校准→编译」全流程，仅完成格式转换是基础，还需适配HTP/NPU硬件特性。
2. 核心流程：TF/PyTorch → 导出ONNX（固定shape、替换非标算子）→ QAIRT Converter转DLC → QAIRT Quantizer量化校准 → 编译适配HTP/NPU → 端侧部署。
3. 高效跑NPU关键限制：①算子覆盖（非标/新版算子易回退CPU）＞②动态shape（完全不支持，需静态固定）＞③内存/带宽（大模型分片/量化策略影响吞吐）＞④精度策略（不合理量化致性能/精度失衡），控制流（如if/loop）也易导致部分逻辑回退CPU。

总结

• TF/PyTorch模型需经多步转换适配，无“开箱即用”可能；
• 格式转换是前提，算子/shape适配是高效跑NPU的核心；
• 非标算子、动态shape是端侧部署最易卡壳的两大问题。