7,463
社区成员
发帖
与我相关
我的任务
分享AI PC 上部署本地知识助手时，用户常问“为什么同一问题第二次更快”，这个现象在高通平台怎么解释更专业？
AI PC 上部署本地知识助手时，用户常问“为什么同一问题第二次更快”，这个现象在高通平台怎么解释更专业？
...全文
请发表友善的回复…
发表回复
weixin_38498942 04-02 17:28
- 打赏
- 举报
通常是缓存与预热生效：包括模型图编译缓存、算子执行缓存、向量检索索引缓存以及磁盘页缓存命中率提升。首轮请求承担初始化和数据就绪成本，后续请求复用运行时状态，因此端到端时延明显下降。
