如何查看 NPU 的占用率？

带你打比赛 2026-03-12 17:23:20

如何查看 NPU 的占用率？

...全文

11 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

极市平台 03-12 17:34

打赏
举报

回复

目前 Demo 代码未提供直接输出占用率的 API。可以直接打开 Windows 任务管理器 -> 性能 -> NPU 选项卡进行实时监测。

使用python多线程异步提高模型部署到rk3588NPU使用率_python源码+项目使用说明.zip 【项目资源说明】使用多线程异步操作rknn模型, 提高rk3588/rk3588s的NPU使用率, 进而提高推理帧数(rk3568之类修改后应该也能使用, 但是作者本人并没有rk3568开发板......) 此分支使用模型yolov5s_relu_tk2_RK3588_i8.rknn, 将yolov5s模型的激活函数silu修改为为relu,在损失一点精度的情况下获得较大性能提升,详情见于rknn_model_zoo 部署应用修改main.py下的modelPath为你自己的模型所在路径修改main.py下的cap为你想要运行的视频/摄像头修改main.py下的TPEs为你想要的线程数, 具体可参考下表修改func.py为你自己需要的推理函数, 具体可查看myFunc函数多线程模型帧率测试使用performance.sh进行CPU/NPU定频尽量减少误差测试模型为yolov5s_relu_tk2_RK3588_i8.rknn 【备注】更多详细介绍请看说明和代码！

本文介绍了在RK3588平台上查看GPU和NPU占用率的方法。通过简单的命令行操作，用户可以分别使用`cat /sys/class/devfreq/fb000000.gpu/load`和`cat /sys/class/devfreq/fdab0000.npu/load`命令来获取GPU和NPU的实时负载信息。这些信息对于系统性能监控和优化具有重要意义，特别是在需要高效利用硬件资源的场景下。

简介使用多线程异步操作rknn模型, 提高rk3588/rk3588s的NPU使用率, 进而提高推理帧数，不过实际在使用摄像头做实时目标检测的时候帧率在25左右，所以后面打算主要使用rknpu2做板端部署，预计会快很多，有待验证更新说明无使用说明演示运行rkcat.sh可以查看当前温度与NPU占用运行rk3588可以GPU，NPU,CPU的温度和npu的使用率部署应用修改main.py下的modelPath为你自己的模型所在路径修改main.py下的cap为你想要运行的视频/摄像头修改main.py下的TPEs为你想要的线程数, 具体可参考下表，也可以在运行代码的修改func.py为你自己需要的推理函数, 具体可查看myFunc函数开六个线程推理本地视频能达到75帧左右，受限于摄像头最高帧率为25帧，暂时没测试到实时目标检测能处理的最高帧率补充多线程下CPU, NPU占用较高, 核心温度相应增高, 请做好散热。使用摄像头做实时目标检测的时候会出现帧率下降很多的情况，我使用1080p usb的摄像头推理的帧率在25fps左右

文章介绍了基于RK3588芯片的多路摄像头目标检测系统开发过程。作者针对公司提出的多板卡或鱼眼相机方案提出不同见解，利用RK3588支持多路摄像头取流且算力强大的特点（3核NPU，可处理YOLOn模型int8量化达100+帧），自主开发了多路视频流算力盒子。实测双摄像头运行时资源占用率低，处理效果和延迟表现优异，验证了单RK3588芯片即可满足四路30帧摄像头实时处理需求。

本文详细介绍了香橙派rk3588在rknn多线程推理中的应用，实现了逐帧检测5路1080P@30的视频流处理。核心场景包括拉取RTSP流、多线程推理逐帧检测及RTSP流服务输出。功能模块拆解为拉流、解码、预处理、推理、后处理、画面拼接、编码和RTSP流服务。测试环境显示，系统在CPU、内存、NPU和RGA资源占用方面表现优异，峰值CPU占用127%，内存占用7%，NPU核心利用率在75%-79%之间。关键优化点包括预处理与后处理的RGA硬件加速、多线程推理的NPU多核利用以及资源分配的RGA2与RGA3负载分离。

高通开发者论坛

7,152

社区成员

6,191

社区内容

发帖

与我相关

我的任务

人工智能物联网机器学习技术论坛（原bbs）北京·东城区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章