在端侧RAG问答中，高通平台如何优化“向量检索+重排序+生成”链路的总时延？

对象没了再创建一个 2026-04-09 10:33:14

在端侧RAG问答中，高通平台如何优化“向量检索+重排序+生成”链路的总时延？  

...全文
19 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
weixin_38498942 04-09 14:00
  • 打赏
  • 举报
 回复

可将向量库分层（热点常驻内存、冷数据按需加载），先粗召回再轻量重排，最后将压缩后的上下文送入生成模型。对每一段设置独立超时和候选上限，避免某一环节拖慢全链路，整体问答响应会更可控。

超级新物种 ！生成式 AI 手机产业深度分析 2024
5G 的高速数据传输能力使得手机可以更快地上传和下载数据，这对依赖云侧大模型的 AI 应用尤为重要。用户可以更快地调用云端的 AI大模型，运算结果也可以快速返回给用户，保证了合理的时延。软件生态的需求端侧部署 AI 大模型仅有硬件上的支持是远远不够的，需要软件生态的配合，帮助大模型更好适应当下智能手机硬件的实际情况，并向开发者和手机厂商提供完备的开发环境，帮助快速实现生成式 AI 应用开发和部署，促进产业健康良性发展。
大模型应用理论与实践（第三部分 Agent智能体架构设计与实战）
智能体是Coze平台的核心载体，每个Bot都是一个独立的AI助手。其行为模式和质量主要由人设（Prompt）决定。一个优秀的人设Prompt需要精确定义其角色、目标、约束和技能。实战样例：小红书文案助手创建一个名为“爆款文案大师”的智能体，其核心人设Prompt可以这样编写：“你是一个资深小红书文案专家，擅长撰写吸引眼球、充满emoji表情、节奏轻快的种草文案。文案结构通常为：吸引人的标题、个人体验分享、产品亮点、使用场景和热门话题标签。
AI大模型调研报告实战指南：从选型到落地的关键考量
基于火山引擎豆包大模型，从零搭建一个实时语音通话应用。它不是简单的问答，而是需要你亲手打通 ASR（语音识别）→ LLM（大脑思考）→ TTS（语音合成）的完整 WebSocket 链路。对于想要掌握 AI 原生应用架构的同学来说，这是个绝佳的练手项目。架构理解：掌握实时语音应用的完整技术链路（ASR→LLM→TTS）技能提升：学会申请、配置与调用火山引擎AI服务定制能力：通过代码修改自定义角色性格与音色，实现“从使用到创造”从0到1构建生产级别应用，脱离Demo，点击打开。
【信息科学与工程学】【智能交通】第六篇 车路云场景
此实现提供了完整的NL2SQL解决方案，从自然语言解析到SQL生成、优化和执行，最后将结果转化为易读格式。系统通过多级模式对齐、智能SQL生成和全面的错误处理，实现了高效可靠的自然语言到PostgreSQL查询的转换。
51c大模型~合集66
本文介绍了一种新颖的文本到 3D 场景生成策略 DreamScene。通过生成模式采样和相机采样策略，将物体和环境整合在一起，解决了目前文本到 3D 场景生成方法中存在的低效、不一致和可编辑性有限等问题。广泛的实验证明，DreamScene 是三维场景生成领域的一项里程碑式成就，在众多领域，如游戏、影视和房屋设计中有着巨大的应用潜力。
高通开发者论坛

7,577

社区成员

6,231

社区内容

发帖
与我相关
我的任务
社区描述
本论坛以AI、WoS 、XR、IoT、Auto、生成式AI等核心板块组成，为开发者提供便捷及高效的学习和交流平台。 高通开发者专区主页：https://qualcomm.csdn.net/
人工智能物联网机器学习 技术论坛（原bbs） 北京·东城区
社区管理员
  • csdnsqst0050
  • chipseeker
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章