使用高通QNN进行模型批量推理,出现批次大小不固定导致推理报错,该如何适配动态batch?
在模型转换阶段开启QNN动态维度配置,解除固定batch限制;导出ONNX模型时设置动态batch维度参数,避免维度固化;推理代码中增加维度自适应补全逻辑,对不足批次的数据做零填充;同时开启QNN动态内存分配,适配实时变化的批量数据,解决动态批次推理报错问题。
7,644
社区成员
6,338
社区内容
加载中
试试用AI创作助手写篇文章吧