AI PC 端侧部署私有知识库助手时，如何在高通平台上做“响应速度优先”的工程优化？

[克里斯蒂罗纳尔多]

AI PC 端侧部署私有知识库助手时，如何在高通平台上做“响应速度优先”的工程优化？ 

[weixin_38498942]

先优化首包路径：缩短 prompt 预处理、预热常用算子、固定高频检索索引驻留内存；再对生成路径做批次与上下文窗口上限控制。结合 QNN profiling 持续定位瓶颈，可把“可感知等待时间”压到更适合交互的范围。