做端侧文案生成时,用户反馈“前几秒不卡、后面越来越慢”,在高通生成式 AI 部署里通常怎么定位?

李牧游子 2026-04-02 16:07:29

做端侧文案生成时,用户反馈“前几秒不卡、后面越来越慢”,在高通生成式 AI 部署里通常怎么定位?  

...全文
27 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
weixin_38498942 04-02 17:30
  • 打赏
  • 举报
回复

这类问题常与上下文长度增长导致的注意力计算增加、KV cache 管理不当、以及温控降频有关。建议监控 token 吞吐随序列长度变化曲线,并检查缓存复用命中率与热状态;必要时用滑动窗口和分段总结限制上下文膨胀。

7,463

社区成员

发帖
与我相关
我的任务
社区描述
本论坛以AI、WoS 、XR、IoT、Auto、生成式AI等核心板块组成,为开发者提供便捷及高效的学习和交流平台。 高通开发者专区主页:https://qualcomm.csdn.net/
人工智能物联网机器学习 技术论坛(原bbs) 北京·东城区
社区管理员
  • csdnsqst0050
  • chipseeker
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧