使用 Qualcomm AI Stack 做端侧部署时，如果模型精度出现下降，该从哪些环节排查？

[Llehevo]

想问下大佬们，我在使用 Qualcomm AI Stack 做端侧部署时，如果模型精度出现下降，该从哪些环节排查？

还有量化、算子兼容性、编译参数之间有什么调优建议？

[weixin_38498942]

精度下降排查环节

1. 量化环节：核查校准数据集是否覆盖真实场景分布（避免分布偏移）、量化算法（优先KL散度而非Min-Max）、是否开启量化感知训练（QAT）补偿精度；
2. 算子层面：用qnn-context-binary-utility检测CPU回退算子（自定义/高维算子易致精度丢失），替换为QAIRT原生支持算子；
3. 编译/转换环节：核对ONNX导出时Opset版本（推荐17+）、是否固定输入shape（动态维度易引发精度漂移）、DLC转换时是否开启精度校验；
4. 部署环节：对比PC/端侧逐层输出，定位精度丢失的具体网络层（如LLM的注意力层、SD的UNet层）。

调优建议

1. 量化：LLM/多模态优先INT4+FP16混合精度（关键层FP16保精度，非关键层INT4提速度），SD用感知量化（保留纹理相关通道精度）；
2. 算子兼容：优先选用QAIRT算子白名单内算子，自定义算子先做精度对标，复杂算子拆分为基础算子组合；
3. 编译参数：开启算子融合（--enable-operator-fusion）、内存对齐优化（--memory-layout-optimization），关闭非必要的调试日志编译选项。

总结

1. 精度排查核心：先定位量化/算子/编译哪一环导致精度丢失，再针对性补偿；
2. 调优关键：混合精度量化+原生算子+编译优化三结合，平衡精度与性能；
3. 快速验证：用qairt-diag对比PC/端侧输出，定位精度丢失的具体层。