将TensorFlow Lite模型部署到高通端侧设备,出现推理速度远低于预期,该怎么优化?

比天空更遥远的是 2026-05-14 11:11:59

将TensorFlow Lite模型部署到高通端侧设备,出现推理速度远低于预期,该怎么优化?
 

...全文
26 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
weixin_38498942 05-14 13:36
  • 打赏
  • 举报
回复

先将TensorFlow Lite模型转换为QNN模型,充分利用高通Hexagon NPU加速;优化模型输入尺寸,裁剪冗余通道,减少推理计算量;开启Adreno GPU并行加速,将图像预处理、矩阵运算等任务卸载到GPU;关闭模型调试模式,启用高通端侧推理优化补丁,提升模型运行效率。

7,639

社区成员

发帖
与我相关
我的任务
社区描述
本论坛以AI、WoS 、XR、IoT、Auto、生成式AI等核心板块组成,为开发者提供便捷及高效的学习和交流平台。 高通开发者专区主页:https://qualcomm.csdn.net/
人工智能物联网机器学习 技术论坛(原bbs) 北京·东城区
社区管理员
  • csdnsqst0050
  • chipseeker
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧