在高通边缘设备做模型训练后量化 PTQ，校准数据集不足会出现什么现象，该怎么选择校准数据？

[一声所向]

在高通边缘设备做模型训练后量化 PTQ，校准数据集不足会出现什么现象，该怎么选择校准数据？

[weixin_38498942]

校准数据集过少或和真实业务分布差异大，会出现量化后模型精度明显下跌、推理结果漂移，部分算子激活值溢出，在 NPU 上推理正常但输出和 CPU 浮点版本差异巨大。 校准数据要求：不需要标签，但样本必须和线上真实输入分布一致，图像任务要保持同样分辨率、归一化方式；一般推荐 100~500 个代表性样本，优先覆盖场景极值样本（暗光、远景、遮挡）。 量化工具调用示例（QNN）：
qnn-model-lib-generator --model model.onnx --quantization_calibration_data ./calib_data --backend htp
量化支持 KL、MSE、SQNR 等校准算法，可通过对比浮点 / 量化模型输出差异，逐步增加校准样本或切换量化算法。 参考文档：高通 QNN 量化开发指南。

[weixin_38498942]

校准数据集过少或和真实业务分布差异大，会出现量化后模型精度明显下跌、推理结果漂移，部分算子激活值溢出，在 NPU 上推理正常但输出和 CPU 浮点版本差异巨大。 校准数据要求：不需要标签，但样本必须和线上真实输入分布一致，图像任务要保持同样分辨率、归一化方式；一般推荐 100~500 个代表性样本，优先覆盖场景极值样本（暗光、远景、遮挡）。 量化工具调用示例（QNN）：
qnn-model-lib-generator --model model.onnx --quantization_calibration_data ./calib_data --backend htp
量化支持 KL、MSE、SQNR 等校准算法，可通过对比浮点 / 量化模型输出差异，逐步增加校准样本或切换量化算法。 参考文档：高通 QNN 量化开发指南。