在 QAI AppBuilder 上部署 DDColor 时，常见的性能瓶颈在哪里？有哪些优先级最高的优化手段？

[infinityxin]

我们团队在QAI AppBuilder平台(高通骁龙8 Gen2芯片)上部署DDColor模型做老照片上色服务,处理1024x1024的图片要3-4秒,CPU占用率飙到90%以上,远达不到预期。我想问在QAI AppBuilder上部署DDColor时,常见的性能瓶颈具体在哪里?是模型推理计算慢、内存带宽不够、还是图片前后处理(解码、resize、normalize)的开销大?针对这些瓶颈,有哪些优先级最高的优化手段?比如模型量化(INT8/FP16)对DDColor这种图像生成模型的效果影响大不大?PyTorch模型转ONNX或TFLite能带来多大性能提升?QAI平台有没有专用的加速库或SDK需要用?有在类似平台部署过图像生成模型的朋友能分享下优化经验吗?

[极市平台]

在 QAI AppBuilder 上部署 DDColor 时，主要的性能瓶颈出现在 CPU 的前处理与后处理环节。前处理中包含大量 OpenCV 操作，例如颜色空间转换、图像缩放、通道拆分合并等，这些操作都在CPU上执行,对于高分辨率的图像,会消耗大量的计算资源,成为显著的性能瓶颈。后处理同样包含了大量的CPU计算，例如图像缩放、颜色空间转换、数据类型转换与反归一化，这些都对 CPU 压力较大。
优先优化方向包括：

1. 将部分前后处理迁移至 NPU/GPU ：通过将前后处理的计算（如缩放、颜色空间转换）集成到模型计算图中，可以利用NPU或GPU的并行计算能力，减少CPU的负担,并避免不必要的数据拷贝；

2. 用硬件加速替代常规 OpenCV 操作；

3. 整体采用异步处理：将整个图像处理流程（包括前后处理和模型推理）放到一个独立的后台线程中执行，避免阻塞UI线程，从而提升应用的响应速度和用户体验。