在智能巡检终端中,高通平台做“检测+分割+OCR”多模型串联时,如何减少模型切换开销?
建议统一输入预处理与张量格式,尽量复用同一运行时上下文,并通过批处理窗口把连续任务合并提交。对公共特征提取层做共享或缓存,可明显减少重复计算;再配合异步队列和结果回调机制,串联场景下吞吐会更平滑。
7,606
社区成员
6,232
社区内容
加载中
试试用AI创作助手写篇文章吧