AI-Harness：面向骁龙 WoS 的端云混合大模型调用框架

nononoa_zoro 2026-10-14 10:20:16

【开源】AI-Harness:面向骁龙 WoS 的端云混合大模型调用框架(基于 OpenClaw)

一、为什么做 AI-Harness

在骁龙 WoS PC(Windows on Snapdragon)上跑 AI Agent,我们遇到了几个绕不开的问题:

本地模型上下文窗口小,系统提示词一塞就没空间干活
如何保证隐私数据留在本地？
简单任务和复杂任务用同一个模型,既浪费又慢
复合需求需要多个 Agent 协作,怎么拆、怎么串?
如何让AI Agent集成Qualcomm GenieX推理引擎，快速使用Qualcomm的NPU和GPU部署端侧模型？

AI-Harness 基于 OpenClaw，以插件形式逐个解决这些问题，支持本地(端侧)模型与云端服务的无缝混合调用。

仓库地址:https://github.com/qualcomm/AI-Harness

二、插件一览

能力	插件	一句话说明
隐私保护	guardclaw	多检查点敏感内容检测，高敏感消息操作交给隔离的本地 Guard Agent
上下文压缩	context-trim	为小上下文本地模型替换精简版系统提示词
智能路由	dragon-router	按隐私级别 + 任务复杂度，在多档模型间路由
任务编排	dragon-task-orchestrator	拆解复合请求,分派给合适的 Agent,汇总成一次回复
端侧推理	geniex / geniex-manager	集成高通GenieX，让模型跑在 Hexagon NPU / Adreno GPU / CPU

三、context-trim

给小模型"减负"。端侧模型的上下文常常只有几K到十几K。OpenClaw 默认的系统提示词很完整，需要至少16K上下文的大模型。

context-trim 会在检测到低上下文(16K 以下)的本地/边缘模型时，把系统提示词替换为紧凑的minimal版本，把更多 token 预算留给真正的任务。如果需要注入额外的系统提示词，可以在配置文件中注入。

四、dragon-router

隐私 + 复杂度双维度路由

每条用户 prompt 先由本地模型判定隐私级别，再按任务复杂度选模型:

用户 prompt
   │
   ▼ 本地模型判隐私级别 (S1/S2/S3)
   │
   ├─ S1 非敏感 ──→ 判复杂度(5 档) → 映射到 5 个 LLM 之一 → 直连
   ├─ S2 中等敏感 ─→ 可逆脱敏(占位符↔原值) → 选 LLM → 云端 → 响应反脱敏 → 返回用户
   └─ S3 高度敏感 ─→ 隔离子会话 + 固定本地模型，无云端出口

几个设计要点:

S2 可逆脱敏：敏感信息替换成占位符再上云，返回后还原，云端看不到原值。
S3 彻底隔离：在独立的子 session 中用本地模型跑完，原始 prompt 和回复从不进入主会话历史，因此不可能在后续的云端请求中被"带出去"。
简单任务用小模型、难任务用大模型，在成本与效果之间取得平衡。

五、dragon-task-orchestrator

把复合需求拆开做。一句话里常常包含好几件事。这个插件在运行时：

Decompose：拆成子任务(含验收标准、交接契约)
Route：每个子任务独立分类，派给匹配的 Agent
Execute in layers：按依赖关系拓扑分层，同层并发
Verify：独立的 verifier 校验验收标准，失败可重试
Summarize：汇总成一条面向用户的回复

支持三种会话模式:off(默认,不影响现有行为)、dynamic(动态拆解)、pipeline(用户自定义的固定流水线)。还有共享产物目录、失败占位符传递等机制,保证上下游之间信息不丢。

六、GenieX 集成

让模型真正运行在Hexagon NPU和Aderon GPU上。

集成了高通的端侧推理运行时 GenieX，分为两个插件:

geniex：Provider,负责模型发现与按请求注入算力配置。GenieX 暴露 OpenAI 兼容接口,无需自定义协议。
geniex-manager：负责 geniex serve 进程生命周期、模型下载和芯片配置。

特点:

自动启用：检测到骁龙设备且 geniex 在 PATH 中时自动开启，其他平台零开销。
按模型指定算力：每个模型可单独配置 cpu / gpu / npu，无需重启服务即可切换。
投机解码：支持配置 draft 模型。

七、guardclaw

隐私的最后一道防线。guardclaw 在多个检查点(S1/S2/S3)检测敏感内容，把 S3 级操作路由给使用本地模型的隔离 Guard Agent，保证私密数据不出本机。

八、快速上手

git clone https://github.com/qualcomm/AI-Harness.git
cd AI-Harness
pnpm install
pnpm build
pnpm ui:build
pnpm openclaw onboard                 # 配置向导
pnpm openclaw gateway run --verbose   # 启动 gateway

所有插件默认关闭，按需启用，互不影响。