高通边缘设备上，Hexagon 推理时 CPU 占用很高，正常吗？

newObject()112 2026-11-11 15:49:55

高通边缘设备上，Hexagon 推理时 CPU 占用很高，正常吗？

...全文

13 回复打赏收藏举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

超轻量级98点人脸关键点检测模型_基于PyTorch的高效人脸特征点定位算法_适用于移动端实时人脸分析_支持安卓高通855平台200FPS高性能推理_包含505KB超小模型体积_.zip

AI大模型时代的核心挑战往往不在算法代码，而在底层算力支撑。理解AI计算为何依赖专用硬件，需要从神经网络的基本运算说起。矩阵乘法是AI计算的核心，其高度并行的特性决定了堆核心数、提升吞吐量比单核性能更重要；同时，内存带宽和数据搬运效率往往成为真正的瓶颈，Roofline模型揭示了这一点。通用CPU因复杂控制逻辑和冯·诺依曼架构限制，在处理规整的乘加运算时效率低下。GPU凭借大规模并行设计，配合Tensor Core等专用单元，成为训练主力的关键；NPU/TPU则进一步简化通用性，通过脉动阵列、高带宽内存和低

端侧AI推理正在成为AI工程化的重要方向，如何将训练好的深度学习模型高效部署到移动设备上，是许多开发者面临的现实挑战。模型转换是第一步，通常需要经过中间格式的桥接，ONNX凭借其开放性和框架兼容性成为事实标准。然而，仅完成格式转换并不够，量化技术通过降低数值精度来压缩模型体积、提升推理速度，同时降低功耗，这在高性能NPU上尤为关键。在骁龙平台，高通QNN SDK提供了从ONNX到DLC的完整转换工具链，支持8bit量化、混合精度及硬件运行时适配，能够将模型高效映射到Hexagon NPU等计算单元。本文以P

边缘计算作为云计算的延伸，正在重塑AI落地的路径。当实时响应、数据隐私和带宽成本成为刚需，将推理能力下沉到设备端已成必然。支撑这一转变的，是专门为神经网络设计的领域专用架构（DSA）芯片，它们以远超GPU的能效比，在有限功耗下完成目标检测、图像分类等任务。理解TOPS的真实含义、INT8量化的精度取舍、数据搬运对性能的制约，是选对芯片的前提。而真正决定项目成败的，往往是模型转换工具链的成熟度，以及算子支持、内存规划这些工程细节。从智能摄像头到车载平台，从经典CNN到端侧大模型，边缘AI部署正面临新一轮挑战。

YOLO26是Ultralytics于2026年发布的一款专为边缘和低功耗设备设计的端到端YOLO系列模型。其核心设计原则包括简化、部署效率和训练创新。YOLO26通过去NMS、去掉DFL、引入ProgLoss + STAL和MuSGD等关键创新点，显著提升了小目标检测效果和训练稳定性。网络结构仍采用经典的Backbone + PAN/FPN风格Neck + 三尺度Detect Head，但通过端到端设计和双头训练单头推理策略，简化了部署流程。官方性能数据显示，YOLO26在COCO数据集上表现优异，且端到端部署可带来约43%的CPU推理加速。支持多种导出格式，包括ONNX、TensorRT、CoreML等，适用于不同硬件平台。YOLO26的目标是成为更轻、更快、更易部署的检测系统，特别适合边缘和低功耗场景。

高通开发者论坛

7,994

社区成员

6,535

社区内容

发帖

与我相关

我的任务

物联网人工智能开源企业社区北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章