高通IoT设备长时间待机后,首次AI识别推理耗时明显变长,是什么原因如何优化?
主要是设备待机后NPU进入深度休眠、模型缓存被系统回收,首次推理触发模型重载与硬件唤醒导致耗时增加。可通过开启模型常驻内存、保留NPU轻量待机状态,避免硬件完全休眠;添加开机预推理预热机制,缓存模型推理上下文,大幅缩短待机后首次推理耗时。
7,644
社区成员
6,338
社区内容
加载中
试试用AI创作助手写篇文章吧