将TensorFlow Lite模型部署到高通端侧设备,出现推理速度远低于预期,该怎么优化?
先将TensorFlow Lite模型转换为QNN模型,充分利用高通Hexagon NPU加速;优化模型输入尺寸,裁剪冗余通道,减少推理计算量;开启Adreno GPU并行加速,将图像预处理、矩阵运算等任务卸载到GPU;关闭模型调试模式,启用高通端侧推理优化补丁,提升模型运行效率。
7,639
社区成员
6,288
社区内容
加载中
试试用AI创作助手写篇文章吧