在终端侧跑 AI 推理时，高通是怎么在性能和功耗之间取舍的？

[榴莲猪肚鸡]

在终端侧跑 AI 推理时，高通是怎么在性能和功耗之间取舍的？

[weixin_38498942]

高通在终端侧AI推理的性能-功耗平衡，核心是全栈异构协同+场景化动态调度，核心策略可精简为三点：

1. 硬件专用化打底：以Hexagon NPU为能效核心，集成标量/向量/张量加速器，支持INT2~FP16多精度推理；搭配CPU/GPU/传感中枢异构分工，轻负载用微功耗模块，重负载多引擎协同，避免算力浪费。
2. 软件精细化提效：通过SNPE/Nexa SDK智能分配算子，结合量化/剪枝/蒸馏优化模型；动态调节电压频率，在满足体验延迟的前提下，把功耗压到最低。
3. 场景化按需取舍：轻任务（语音唤醒）功耗优先，用NPU低功耗模式；中任务（图像识别）性能功耗平衡，INT8量化降本增效；重任务（LLM推理）性能优先但控功耗，多引擎协同+上限管理，避免过热降频。

本质是不追求峰值算力，而是让算力与场景需求精准匹配，实现“体验不打折，续航不缩水”的终端AI落地目标。

[weixin_38498942]

高通终端侧AI推理的性能-功耗取舍，核心是异构协同+场景化调度+全栈优化，具体可精简为三点：

1. 硬件分层分工：以低功耗Hexagon NPU为核心，搭配CPU/GPU/传感中枢异构协作，轻负载用微功耗模块，重负载多引擎联动；支持INT2~FP16多精度，按需选低精度（如INT4/INT8）大幅降功耗。
2. 软件智能调度：通过SNPE/Nexa SDK自动分配算子到最优硬件，结合量化、剪枝精简模型；动态调节电压频率，在满足延迟要求的前提下，把功耗压到最低。
3. 场景按需取舍：轻任务（语音唤醒）功耗优先，中任务（图像识别）性能功耗平衡，重任务（LLM推理）性能优先但控功耗上限，避免过热降频。

本质是算力与场景需求精准匹配，而非简单二选一。