从“跑得动“到“干得成“：端侧智能体的工程化拐点与高通技术路线拆解

qq_20072939 2026-09-03 09:45:38

一、一个被算力表格掩盖的真问题

过去两年，端侧 AI 社区里最常见的一类内容，是 "我在某某平台上把某某模型跑起来了"。YOLO、Qwen、DeepSeek、SD3.5—— 一张截图、一串 tokens/s，配上一句 "完全离线，隐私安全"。

这类工作有价值，但它只回答了一个问题：跑得动吗。

而到了 2026 年，产业界真正要回答的问题已经换了：它能不能替我把事情做完。

高通 CEO 安蒙在 COMPUTEX 2026 的主旨演讲直接命名为《The Year of Agents》，随后的 6 月 24 日投资者日，又把手机、PC、汽车、物联网、数据中心整条业务线统一挂到 "智能体 AI" 这根主轴上。这不是一次营销措辞的更新，而是一次负载模型的更换：从 "用户问一句、模型答一句" 的对话式推理，换成 "规划 — 调用工具 — 观察结果 — 再规划" 的多步自主执行。

负载模型一换，端侧的工程约束几乎全部重写，TOPS 也不再是最有解释力的那个数字。本文想做的，就是把这套新约束拆开，看清高通这条技术路线到底在解决什么，以及开发者的评测方法和架构直觉该往哪里调。

二、Agent 把端侧从 "可选项" 变成 "必选项"：先算一笔 token 账

先看高通在 COMPUTEX 上给出的量级判断。

安蒙的递进是：对话式 AI 约每任务 1 万 tokens，推理式 AI 约 10 万 tokens，Agentic AI 约 100 万 tokens—— 约 100 倍的跃升，预计发生在两代产品之内。

配套的总量判断是：2026 年全球每 10 秒的 token 需求约 317 亿，到 2030 年将达约 1.27 万亿，增长约 40 倍。

口径提醒：以上两组数字均为高通在 keynote 上给出的预估量级，不是实测统计值，引用时请按预估口径理解。

高通自己给这套判断下的结论是：世界需要的，是在每一个层级都为每瓦性能和每 token 总成本做优化的平台。

把这几条串起来，结论就很硬了：端侧推理不再是 "为了隐私和离线体验" 的加分项，而是 Agent 经济性成立的前提。一个每天替你跑几十次多步任务的智能体，如果每一步的 planning、reflection、工具参数生成都走云端，账单会先于体验崩掉。

这也解释了高通为什么把数据中心业务（新品牌 "高通飞龙 DragonFly"）和端侧放在同一场发布会上讲。它主张的不是 "端侧取代云端"，而是分布式 Agentic AI：把一次任务的推理链路按特性切开 —— 延迟敏感、隐私敏感、高频短程的部分留在端上，长程复杂推理回落云端。

对开发者的直接影响是：端云切分点的设计，正在从架构细节升级为产品核心竞争力。这件事没有通用答案，必须结合具体场景的调用频次、上下文长度和失败代价来定，而这恰恰是社区共创最有产出空间的地方。

三、高通路线图的底层逻辑：一条计算连续体，一套推理栈

理解高通的技术路线，抓住一个词就够了：计算连续体（Compute Continuum）。

从功耗 2 毫瓦级的耳塞，到可穿戴、手机、PC、汽车、工业边缘，再到数据中心，高通试图在整条频谱上铺同一套推理能力，用同一套软件栈贯穿。看几个点位就能感受到密度：

最低端点位：MWC 2026 发布的骁龙可穿戴平台至尊版，首次在可穿戴产品线引入专用 NPU，可在终端侧直接运行最高 20 亿参数模型；配合内嵌式 eNPU、Hexagon NPU 与传感器中枢协同，首 token 生成时间缩短至 0.2 秒、最高每秒 10 tokens，同时以极低功耗支撑关键词侦测、动作识别这类常开感知任务。

工业边缘点位：跃龙 Dragonwing IQ-9075。八核 Kryo Gen 6 CPU、Adreno GPU、双 Hexagon Tensor Processor，NPU 架构含 HVX（向量扩展）与 HMX（矩阵扩展）协处理器，提供最高 100 dense TOPS / 200 sparse TOPS。EVK 配 36GB LPDDR5、128GB UFS，支持 12 路 4K 视频输入，其中 4 路并发做视觉分析。

关于生成速度，公开数据存在一处值得注意的分歧：高通 EVK 产品简介给出 130 亿参数模型约 12 tokens/s；而基于同一颗 IQ-9075、同为 36GB 内存的第三方整机（瑞莎 Fogwise AIRbox Q900）公布的是 LLaMA-7B 首 token 约 0.6 秒、约 12 tokens/s。7B 与 13B 落在同一档速度并不符合直觉，说明两组数据的测试条件（量化配置、上下文长度、是否计入 prefill）并不一致 —— 这正是第六节要说的事：脱离条件的 tokens/s 不具备可比性。

功耗方面，流传较广的说法是低负载约 3.8W、CPU/GPU/NPU 全开约 19W，但笔者未找到高通官方出处，引用请谨慎。

云端点位：2026 年投资者日发布的 Dragonfly（高通飞龙）数据中心组合中，C1000 是基于 Oryon 核的 CPU 系列，单器件 250 核以上，分为三种配置 —— 面向代理编排、多步推理、工具调用等负载的 agentic CPU，面向虚拟化容器负载的通用 CPU，以及用于在解耦算力之间编排流量的 AI head node CPU。加速器线则建立在高通称为 High Bandwidth Compute（HBC）的近存计算架构上：把计算芯粒与 LPDDR 存储堆栈集成，以更低的每 token 能耗突破内存墙，而不依赖外部 HBM。

这里有个值得开发者注意的技术信号：从可穿戴到数据中心，高通押注的差异化都不是峰值算力，而是 "单位能耗下的有效推理" 和 "内存容量 / 带宽的经济性"。数据中心侧选 LPDDR 堆栈而不是 HBM，和端侧强调 mW 级常开感知，本质是同一个判断 ——Agent 时代的瓶颈是内存和能效，不是纯算力。

这个判断如果成立，端侧工程选型的排序也该跟着变。

四、端侧 Agent 的四个真实工程瓶颈

以下四个点，是当前端侧 Agent 落地中最容易被低估、也最值得社区共创去啃的地方。

4.1 首 token 与吞吐：prefill 和 decode 卡在完全不同的地方

大模型推理的两个阶段，瓶颈性质是相反的：

Prefill（预填充）：把整段输入一次性算出 KV Cache。这是大矩阵乘，算力密集，吃的是 HMX 这类矩阵扩展单元的峰值。
Decode（逐 token 生成）：每生成一个 token 都要把全部权重从内存过一遍。这是内存带宽密集，吃的是 LPDDR 带宽和位宽。

对话场景里输入短、输出长，decode 占主导，所以大家习惯用 tokens/s 报成绩。但 Agent 场景是反过来的。

一次 Agent 调用的输入通常是：系统提示词 + 工具 schema（十几个工具的 JSON 定义轻松上千 token）+ 历史对话 + 上一步工具返回的观测结果。输入动辄几千 token，输出往往只是一个几十 token 的工具调用 —— 输入长、输出短，prefill 成为主导项。

更关键的是乘数效应。一次完整的 Agent 任务不是一次模型调用，而是 "规划→调用→观察→再规划" 的循环，一个中等复杂度任务跑 8~15 轮很正常。取一个便于计算的示例值：假设单轮 TTFT 为 600ms（仅为说明量级的假设值，不代表任何平台的实测结果），光是首 token 延迟就累积 5~9 秒，用户还一个字都没看到。

由此得出一条实践结论：

评测端侧 Agent 平台，TTFT × 平均调用轮次，比 tokens/s 更有决定性。优化重点应压在 prefill 上 —— 包括 KV Cache 复用（系统提示词和工具 schema 是固定前缀，完全可以做前缀缓存）、上下文裁剪策略，以及把工具定义从 JSON Schema 压缩成更短的表示。

这些优化大多在模型之外，是纯工程活儿，也是最容易做出可复现社区贡献的地方。

4.2 Agent 不是单模型推理，是多模型并发调度

Demo 里通常只有一个模型。真实的端侧 Agent 至少需要以下几类模型并存。

需要说明：下表是跨平台的角色划分，不是某一颗芯片的内部结构 —— 具体归属要看目标 SoC 实际有哪些单元。例如内嵌式 eNPU 是骁龙可穿戴平台至尊版这类产品的特性，跃龙 IQ-9075 上没有这一单元，其常开感知需要用别的方式承接。

表格

角色	典型模型	特性	建议归属
常开感知	KWS / 动作识别 / VAD	极低功耗、毫秒级	eNPU / 传感器中枢
视觉理解	VLM、检测分割	高吞吐、可批处理	NPU + ISP/VPU 流水线
意图路由	0.5B~2B 小模型	需常驻、低延迟	NPU 常驻分区
规划推理	7B~13B LLM	大权重、按需唤醒	NPU 主分区
语音出入	ASR / TTS	流式、低延迟	GPU / DSP

问题来了：NPU 上大模型的切换成本，是端侧 Agent 里最被忽视的一项延迟。

一个 7B 模型做 W4A16 量化后权重约 4GB。如果它不常驻内存，需要从 UFS 加载，即便按 UFS 3.1 的顺序读带宽算，也是秒级的开销。用户说完一句话，模型还在加载 —— 这个体验断点比推理慢 20% 严重得多。

所以在跃龙 IQ-9075 这类平台上做架构设计，第一个要算的不是 TOPS，而是常驻内存预算表：哪些模型必须常驻、总占用多少、留给系统和应用多少、峰值时会不会触发 OOM 或大规模页回收。36GB LPDDR5 听起来很宽裕，但如果你同时要跑 4 路 4K 视觉分析 + 13B 规划模型 + 语音链路，这个预算会比想象中紧。

配套的实践建议：用分层唤醒替代常驻大模型—— 小模型常驻做意图判断和简单工具调用，只有判定为复杂任务时才唤醒大模型。

另一个值得验证、但不建议直接照搬的方向是推测解码（speculative decoding）：小模型起草、大模型验证，以此摊薄 decode 阶段的带宽压力。原理上它对得上端侧的带宽瓶颈，但它要求两个模型同时驻留、并逐 token 做验证调度，这条路径在 NPU 上的支持成熟度因平台和 runtime 版本而异。动手前先确认目标平台的运行时是否具备这条路径，否则调度开销很容易把收益吃光。

4.3 从 "会说" 到 "会做"：执行层才是端侧真正的护城河

有一个在中文技术媒体上流传的例子很有代表性（转述自高通 2026 投资者日，笔者未在官方公开材料中找到对应表述，此处仅作场景说明）：一辆车开进停车场，自己扫码完成了缴费。这是一个完整的 agent 行为。

这个例子的技术含量不在语言模型，在执行。"扫码 — 识别 — 调用支付 — 确认结果" 这条链路涉及摄像头、ISP、安全域、网络、支付凭据，每一环都在 OS 层和硬件层，不在模型层。

这正是端侧相对云端 Agent 的结构性优势：云端 Agent 只能通过 API 触碰世界，端侧 Agent 直接坐在传感器和执行器上。摄像头原始流、IMU、CAN-FD 总线、GPIO、麦克风阵列 —— 这些东西根本不适合传上云。

也正因如此，端侧 Agent 的开发重心会从 "调模型" 大幅偏向 "做系统"：权限模型、进程隔离、IPC、失败回滚、ROS2 节点编排、实时性保障。

这里就能理解 Qualcomm Linux 2.0 为什么重要。它在 2026 年 6 月 30 日正式全面上线，核心变化有三条：统一代码基线（多 SoC 共用一套发行版）、上游优先（upstream first、不 fork）、开放开发（从内部开发迁到 GitHub 全开放，并给出规律的版本节奏）；基线也从 Yocto 5.0 升级到 Yocto 6.0。

对做 Agent 执行层的团队，这意味着 BSP 层的适配成本和长期维护成本被显著压低 —— 你在 IQ8 上写的执行层代码，迁到 IQ9 或 IQ10 时不用重来一遍。执行层的可移植性，正在成为端侧 Agent 能否规模化的分水岭。

4.4 量化损失在 Agent 负载上会被放大

这一节是从量化误差的传播机制做的推演，尚缺一手实测支撑，先作为待验证假说提出，也是我最希望社区能补上数据的一条。

聊天任务对量化的容忍度很高：W4 量化后模型可能只是措辞变差一点，用户几乎无感。但 Agent 任务不一样 —— 它的输出要被程序解析。

一个工具调用的输出必须是结构合法的 JSON、字段名准确、参数类型正确、枚举值在范围内。这是一个离散的、全有或全无的判定：少一个括号、把数字写成字符串、幻觉出一个不存在的参数名，这一步就直接失败；而 Agent 循环里任何一步断了，整条任务链就断了。

由此可以提出一个假说：格式遵循能力在低比特量化下的退化很可能不是线性的—— 主观感受上模型聊天仍然正常，但工具调用的结构合规率已经明显下滑。

这个假说容易证伪，成本也不高：准备 50 条固定的工具调用样例，在 W8A8 与 W4A16 两组配置下各跑一遍，对比合格率即可。如果有社区成员愿意在跃龙或骁龙平台上做这组对比并公开数据，会比本文的任何推演都有价值。

所以：

不要用 perplexity 或对话主观感受来验收 Agent 用途的量化模型。
应该用一套固定的工具调用测试集，直接测三个硬指标：JSON 合法率、字段准确率、参数取值合法率。

工程手段上，AIMET 提供的高阶量化与压缩算法（跨层均衡、自适应舍入、混合精度配置等）在这里的用法应该是有针对性的 —— 对负责生成结构化输出的部分保留更高精度，对纯知识层做更激进的压缩，而不是全模型一把 W4 拉到底。至于 W4A16（权重 4bit、激活 16bit）与 W8A8 怎么选：从原理上，W4A16 更贴合 decode 阶段 "瓶颈在权重带宽而不在激活" 的特征；但 Hexagon 上 INT8 通路的硬件加速链路最为成熟，低比特权重能否兑现收益，取决于 runtime 的支持程度以及反量化开销是否被带宽节省覆盖。这是一个必须在目标 SoC 上实测对比后才能下的结论，不宜直接套用。

五、工具链映射：从模型部署到 Agent 工程

高通的开发者工具链其实已覆盖 Agent 落地的大部分环节，但社区内容目前明显偏重 "部署" 一段。做个映射：

表格

工程阶段	关键问题	对应工具
选型	这个模型在目标 SoC 上跑多快	Qualcomm AI Hub（模型选择、SoC 适配、真机测试；自带模型上传等具体能力以官网当前说明为准）
压缩	精度 / 体积 / 结构化输出合规性怎么平衡	AIMET
转换与运行	统一的推理接口，跨 Android/Linux/WoS	QAIRT（AI Runtime）、AI Engine Direct / QNN SDK
应用封装	把模型变成可调用的服务	QAI AppBuilder、高通 AI 推理套件
系统集成	执行层、外设、实时性	Qualcomm Linux 2.0、IM SDK、Hexagon SDK、ROS2
调优	到底卡在哪	Snapdragon Profiler

一条明确的社区共创空缺：这张表的下半部分（应用封装 → 系统集成 → 调优）目前的公开实操内容远少于上半部分。谁能把 "一个多轮工具调用的 Agent，在跃龙平台上从模型到执行到长稳的完整链路" 写透，谁就填上了当前生态里最缺的一块。

六、给共创者的一套评测方法：请把 TOPS 从第一行拿走

如果这篇分析只留下一件可以立刻用的东西，我希望是这张表 —— 我认为端侧 Agent 平台评测应该采用的指标集：

端到端任务完成率（不是模型准确率）。给 30~50 个真实多步任务，看有多少能完整跑完。这是唯一直接对应产品价值的指标。
TTFT × 平均调用轮次。见 4.1，这才是用户感知到的等待时间。
单位任务能耗（mWh /task）。这是高通平台真正的差异化维度，也是移动和机器人场景的生死线。跑 100 次任务测总能耗，比报一个瞬时功耗有意义得多。
常驻内存峰值与模型切换延迟。见 4.2。
工具调用格式合规率。见 4.4，量化验收的必测项。
30 分钟持续负载下的性能保持率。Demo 跑 30 秒都好看，工业和机器人场景要的是 7×24。观察降频曲线，配合 cgroup 资源隔离和调频策略调优。
不同端云切分比例下的成本 - 延迟曲线。把 0%/30%/50%/70% 几个切分点都测一遍，画出曲线，找到你这个场景的拐点。

这套指标的共同点是：它们都无法靠一张规格表回答，必须真机实测。而这恰好是开发者社区相对于厂商白皮书最不可替代的价值。

七、下一站：Physical AI

如果说 2026 上半年的关键词是 "智能体接管数字生活"，那么高通在中国开发者生态上的动作已经明确指向下半场：让智能体走进物理世界。

2026 高通具身智能与机器人开发者大赛、Physical AI 开发者实战营、城市创享工坊，串起来的技术主线是一致的：端侧模型部署 → AI Agent 开发 → 灵巧手 / 机械臂交互控制。社区里 VLA（视觉 - 语言 - 动作）模型结合 LeRobot 框架做机械臂抓取的实践正在快速增多。

从技术约束看，Physical AI 与端侧 Agent 高度重叠且约束更紧 —— 前面讲的四个瓶颈基本都在，此外还叠加了实时性硬约束和安全约束。数字世界的 Agent 调错一个工具，重试就行；物理世界的 Agent 执行错一个动作，可能就是设备损坏或安全事故。

（严格说两者不是包含关系：VLA 的高频控制回路和 LLM 的工具调用回路，在时间尺度与失败模式上是两套东西，不宜简单套用同一套工程直觉。）

所以我个人的判断是：现在在端侧 Agent 上打磨出来的工程能力 —— 延迟预算管理、内存预算管理、量化验收方法、执行层可移植性 —— 会在 Physical AI 上加倍兑现。这不是两条赛道，是同一条路的两段。

对共创菁英社的开发者来说，这意味着现在投入的每一份实测数据、每一次踩坑记录，都不是一次性的内容产出，而是在为下一个阶段积累复利。

附：信息来源

本文数据按来源可靠性分三档标注，建议读者结合原文与自己的实测交叉验证。

一手 / 官方来源

高通 CEO 安蒙 COMPUTEX 2026 开幕主旨演讲《The Year of Agents》（2026 年 6 月 1 日）及高通官方博客对该演讲的总结
高通 2026 投资者日（2026 年 6 月 24 日）公开内容，含数据中心品牌 Dragonfly（高通飞龙）、C1000 CPU 与 HBC 近存计算架构
高通 MWC 2026 发布内容，含骁龙可穿戴平台至尊版
Qualcomm Dragonwing IQ-9075 官方文档与 EVK 产品简介
Qualcomm Linux 2.0 发布公告（2026 年 6 月 30 日全面上线）
高通开发者专区（CSDN）与高通开发者共创菁英社公开技术资源

第三方公开数据