在 Snapdragon 上做 Adreno GPU 推理时，和 Hexagon NPU 相比，一般哪些算子或模型更适合用 GPU？

紫鹅蛋 2026-03-05 15:54:24

在 Snapdragon 上做 Adreno GPU 推理时，和 Hexagon NPU 相比，一般哪些算子或模型更适合用 GPU？

...全文

15 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38498942 20小时前

打赏
举报

回复

Adreno GPU 更适合大矩阵运算、卷积较多的 CNN 以及 FP16 推理；Hexagon NPU 在 INT8 量化模型和功耗敏感场景表现更好。若模型混合了密集卷积和大 batch，可尝试 GPU；若强调功耗和 INT8，优先用 NPU。可用 SNPE 的 runtime 选择参数对比 GPU 与 NPU 的延迟和功耗。

在移动影像系统中，AI 图像算法的实时部署依赖于 NPU/DSP 等专用异构计算单元的高效调度。为充分发挥芯片能力，不同平台推出了各自的推理框架，如高通的 SNPE、联发科的 APU Toolchain，以及 Apple 的 Neural Engine 管理体系。本文结合多款 SoC 芯片的实战部署经验，系统解析上述三种主流推理框架的核心架构、部署流程、模型适配路径与工程调优策略，帮助开发者理解异构计算背后的图像推理机制，提升图像模型在端侧落地的性能与稳定性。

经过多年的研发，Hexagon NPU 已发展以应对快速变化的 AI 需求。2007 年，首款 Hexagon DSP 在 Snapdragon® 平台上发布——DSP 控制和标量架构成为我们未来 NPU 代际发展的基础。2015 年，Snapdragon 820 处理器发布，首次集成了 Qualcomm AI Engine，以支持图像、音频和传感器操作。2018 年，我们在 Snapdragon 855 中为 Hexagon NPU 添加了 Hexagon 张量加速器。

DirectML作为Windows Copilot Runtime的一个关键基础组件，简化了开发人员如何通过一个跨硬件的DirectX API来扩展其AI创新，该API提供安全、一致和高性能，适用于各种硬件架构。通过此开发者预览版本，DirectML针对新的Snapdragon X系列设备的NPU，并运行为NPU加速优化的机器学习模型。Qualcomm Hexagon NPU在DirectML中的支持仍在进行中，我们渴望听取您的反馈，并从您的经验中学习。这些是错误消息，将在未来的版本中修复。

在骁龙8Gen3芯片上部署Llama.cpp的工业级优化方案通过模型量化、异构计算调度和内存优化，将7B模型的推理延迟从4200ms降至980ms。关键优化包括采用Q4_K_M量化（模型体积从13.2GB压缩至4.8GB）、CPU/GPU/NPU协同计算（Hexagon V73M NPU达45 TOPS算力）及显存动态管理。实测显示内存占用降低48.2%，能耗下降62.5%，实现边缘设备高效推理。该方案需注意64位架构兼容性和OpenCL驱动适配问题。

NPU 是专门为低功耗加速 AI 推理而从零开始构建的，它随着新 AI 应用场景、模型和需求的发展而演变。NPU 的设计受整个 SoC 系统设计、内存访问模式和其他处理器架构在运行 AI 工作负载时的瓶颈分析的强烈影响。这些 AI 工作负载主要由计算神经网络层组成，包含标量、向量和张量数学运算，随后进行非线性激活函数。2015 年早期的 NPU 设计用于基于简单卷积神经网络（CNN）的音频和语音 AI 应用场景，主要需要标量和向量数学。

高通开发者论坛

7,148

社区成员

6,170

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章