使用 QNN 做视频流部署时，如何降低连续帧之间的推理抖动？

[强袭自由高达]

使用 QNN 做视频流部署时，如何降低连续帧之间的推理抖动？ 
 

[weixin_38498942]

视频流场景下的抖动通常来自资源竞争、内存分配、缓存未命中、动态形状和系统调度。建议从稳定内存、稳定任务优先级、稳定模型配置三个方向优化。第一，提前分配输入输出张量内存并复用，避免逐帧 malloc/free；第二，固定模型输入 shape，减少动态 shape 带来的图重构；第三，为推理任务设置合理优先级，避免被 UI 或低优先级任务频繁抢占；第四，减少连续帧之间的额外日志和调试输出；第五，分析单帧延迟分布，看是偶发长尾还是持续不稳定。可参考下面的稳定化思路：

// 预分配并复用输入输出缓冲区
qnnAllocateBuffers(inputBuffer, outputBuffer, tensorSize);
while (streamRunning) {
    fillInputBuffer(inputBuffer, frameData);
    qnnExecuteAsync(inputBuffer, outputBuffer);
}

参考文档：高通 QNN 视频流部署性能稳定性指南。

[weixin_38498942]

视频流场景下的抖动通常来自资源竞争、内存分配、缓存未命中、动态形状和系统调度。建议从稳定内存、稳定任务优先级、稳定模型配置三个方向优化。第一，提前分配输入输出张量内存并复用，避免逐帧 malloc/free；第二，固定模型输入 shape，减少动态 shape 带来的图重构；第三，为推理任务设置合理优先级，避免被 UI 或低优先级任务频繁抢占；第四，减少连续帧之间的额外日志和调试输出；第五，分析单帧延迟分布，看是偶发长尾还是持续不稳定。可参考下面的稳定化思路：

// 预分配并复用输入输出缓冲区
qnnAllocateBuffers(inputBuffer, outputBuffer, tensorSize);
while (streamRunning) {
    fillInputBuffer(inputBuffer, frameData);
    qnnExecuteAsync(inputBuffer, outputBuffer);
}

参考文档：高通 QNN 视频流部署性能稳定性指南。