双11狂欢大促

盲盒赢 定制羽绒服

开启惊喜盲盒,抽取你的专属好礼

— 惊喜奖品抢先看 —

从 Token 效率到 Agent 生产力,龙蜥社区在 CNCC 2026 分享推理优化思路

OpenAnolis小助手 OpenAnolis小助手 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区

10 月 22 日至 24 日,2026 中国计算机大会(CNCC 2026)在四川成都举办。龙蜥社区理事长、阿里云智能集团研发副总裁马涛参加沐曦股份主办的“Token 经济下的开源 AI Infra 机遇和挑战”分论坛,发表《从Token 效率到 Agent 生产力》演讲,与来自开源社区、高校和产业界的嘉宾共同探讨 AI 基础设施优化与开源协作。

(图/龙蜥社区理事长、阿里云智能集团研发副总裁马涛)

当 AI 应用走向实际部署,算力已经就位,却不意味着能够立即转化为高效、稳定的服务。模型能否及时就绪、缓存能否有效复用、请求能否合理调度,都会影响服务成本与使用体验。如何用好已有资源,是提升 AI 应用效率绕不开的工程问题,也是本次论坛以及龙蜥社区关注的重要议题。

围绕这一问题,马涛从模型权重分发、初始化恢复、KV Cache 复用等环节出发,分享面向智能体时代的推理优化思路。他认为,减少重复加载与计算,让已有资源更快转化为可用服务,并将系统经验沉淀为可复用的社区能力,可以显著提升 Token 使用效率。

本次演讲将这些优化思路将关注点从算力资源本身,延伸到资源如何被组织、复用并服务于应用。权重分发、初始化恢复与缓存复用并非孤立的技术细节,而是把算力转化为服务能力的重要环节。减少其中的重复工作,也为智能体应用的高效运行提供了支撑。

这些思路也与龙蜥在 AI 推理基础设施上的实践形成呼应。在系统底座层面,龙蜥社区发行的 Anolis OS 支持 x86、ARM、RISC-V、龙芯等计算架构,为不同平台的软件运行与适配提供支撑。社区通过 SIG 兴趣小组组织技术共建,覆盖内核、云原生、编译器、AI Infra 等方向,为共享工程经验提供实践载体。

在能力复用层面,龙蜥社区已上线 SkillHub,汇聚开发者贡献的技能近 200 个,覆盖 AI 推理、异构算力、安全、运维等领域,并在 2026 云栖大会期间发布推荐系统,围绕技能可靠性、执行效益、静态质量与动态安全等进行评估,帮助用户发现和选用优质技能。这一实践与演讲所强调的经验沉淀、能力复用相呼应,让开源协作进一步连接具体的工程经验与开发者需求。

从 Token 效率到 Agent 生产力,龙蜥社区关注的不仅是技术效率的提升,更是面向智能体时代的系统能力与生态建设。未来,龙蜥将以 AI 原生操作系统为方向,深化“AI × OS × 云”融合,携手产业伙伴与开发者,在开放共建中沉淀可复用、可组合的系统能力,推动算力、软件与应用协同创新,让 AI 基础设施成为连接技术突破与产业价值的坚实底座,共同拓展智能体时代的创新空间。

(图/现场嘉宾合影)

—— 完 ——

...全文

相关推荐

汽车研发与智能制造中的AI Agent:组成结构、Skill开发与落地实践

AI Agent作为大语言模型与工具调用能力的结合体,其核心在于通过Skill技能封装、Memory记忆管理和MCP工具协议实现与外部系统的标准化交互。在汽车研发与智能制造场景中,Agent需要满足可追溯性、确定性边界和数据敏感性等工业级约束,因此其组成结构中的权限审计层和规划调度模块尤为关键。从技术价值看,这种架构能显著提升试验数据分析、工艺文件生成和质检判定等环节的效率与一致性。典型应用场景包括仿真前处理、设备运维和需求法规解析等。本文围绕汽车研发与智能制造这一深水区场景,系统拆解AI Agent的组成

爱小宝要久久

AI Agent工业落地指南:从LLM边界到汽车研发与智能制造实践

AI Agent正从概念演示走向工业深水区,但很多人对LLM、AI模型与Agent的能力边界仍存在混淆。大语言模型擅长语义理解与生成,却无法独立执行任务;AI模型是感知与判断的专用工具;而Agent通过感知、规划、行动与记忆四层架构,将模型能力编排为可闭环的业务流程。在汽车研发与智能制造场景中,Agent可承担仿真报告分析、设计变更影响推演、意图式排产、多模态设备点检等任务,本质上是在扩大人的检索与决策半径,而非替代人的责任。工业级落地需关注Skill、Memory、MCP与Harness等工程化要素,遵循

偏执梦想家

AI Agent走入工业深水区:从汽车研发到PLC编程的落地实践

大语言模型(LLM)作为AI领域的基础能力,正在从文本交互走向物理世界的执行层。当企业数字化进入深水区,AI Agent以感知、记忆、工具调用与多智能体协同为核心,成为连接认知与行动的关键载体。本文聚焦汽车研发与智能制造场景,解析AI Agent如何与PLC编程、BOM查询、仿真验证等工业流程深度融合,探讨基于DeepSeek等开源模型的私有化部署路径,以及LangChain、Spring AI等技术栈的选型实践。同时,针对数据碎片化、权限管控和工程师信任等落地难题,给出可复用的排查经验,为走向工业智能化的

摆摊卖爱情

AI Agent如何切入汽车研发与智能制造:从CAD/CAE到产线落地的工程实践

AI Agent作为具备规划、记忆与工具调用能力的智能体,正从通用助手向垂直工业场景迁移。其核心原理在于通过大语言模型驱动任务拆解与动态调度,结合多模态感知与外部工具API,实现跨系统自动化。在汽车研发与智能制造中,AI Agent能有效应对工具链碎片化、知识沉淀难、变更频繁等痛点,应用于CAD参数化建模、CAE仿真流程自动化、PLM数据管理、产线动态调度、质量根因分析及设备预测性维护等场景。本文聚焦AI Agent在工业深水区的落地方法,涵盖框架选型、记忆机制、多模态处理与实操踩坑经验,为工程师提供从单点

小脑斧嗷呜嗷呜

LLM与智能体如何落地芯片设计:从验证自动化到Agent可靠工程

大语言模型(LLM)与AI Agent正成为半导体行业关注的焦点。其核心原理在于利用注意力机制处理长文本关联,并通过智能体实现多步骤工具调用与自主容错控制。在芯片设计与验证流程中,这类技术最大的价值不是直接生成可流片RTL,而是将日志分析、断言生成、文档问答等高频低风险任务自动化,显著降低验证工程师的重复劳动。从回归日志归类到SVA断言辅助,再到RAG驱动的设计知识问答,落地路径逐步清晰。从数字IC验证的工程视角,可清晰看到LLM与智能体在EDA流程中的切入方式与避坑要点。

崔怂包
评论
收藏 已收藏
分享
返回顶部