AI Edge Box 上多路视频流并发推理时，如何控制每路视频的推理间隔？

[百万吨重拳]

AI Edge Box 上多路视频流并发推理时，如何控制每路视频的推理间隔？
 

[weixin_38498942]

多路并发时不能每帧都推理，否则容易造成 NPU 拥堵和整体延迟上升。

1. 按帧率控制推理间隔
   例如每 5 帧推理一次：

int frame_count = 0;
while (read_frame()) {
    frame_count++;
    if (frame_count % 5 == 0) {
        run_inference();
    }
}

2. 按时间间隔控制
   例如每 200ms 推理一次：

auto last_infer = now();
while (read_frame()) {
    if (ms_diff(last_infer, now()) >= 200) {
        run_inference();
        last_infer = now();
    }
}

3. 不同通道设置不同优先级
   关键通道更高频，普通通道更低频。
4. 队列积压保护
   如果队列过长，及时丢弃旧帧：

while (queue_size() > 10) {
    pop_oldest_frame();
}