做性能分析时，可视化工具能否看到每一层在 NPU 上的耗时和内存占用？

nomomoly 2025-12-24 17:05:25

做性能分析时，可视化工具能否看到每一层在 NPU 上的耗时和内存占用？

...全文
12 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
weixin_38498942 1小时前
  • 打赏
  • 举报
 回复

可以。QAIRT 用 qnn-net-run --profile 生成 NPU 性能数据，再通过 qnn-profile-viewer（配 HTP 插件）或 QAIRT Visualizer 可视化，能看每一层/算子的 NPU 耗时、内存占用、访存带宽，还可导出时序图与统计报告定位瓶颈。

使用自研算子插桩调试加速 NPU 性能 Profiling：架构实现与平台实战路径全解析
在异构 AI 芯片加速场景下，传统的 profiling 手段已难以满足对低延迟、高吞吐模型在 NPU 上的精细化性能剖析需求。为解决该问题，本文围绕“自研算子插桩”技术，系统讲解如何构建一套轻量级、可移植、高精度的算子级 profiling 调试体系，深度解析其在主流 NPU 架构（如华为 Ascend、瑞芯微 RK3588、地平线旭日 V 系列等）上的落地路径。全文以实战为主，包含代码片段、系统调度链集成与 trace 可视化策略，帮助读者构建面向 NPU 的高性能诊断能力体系。
基于昇腾 NPU 的 Gemma 2 推理实测：性能评测、脚本实现与可视化分析
基于昇腾 NPU 的 Gemma 2 推理实测：性能评测、脚本实现与可视化分析
昇腾 Profiling 性能调优工具 Ascend PyTorch Adaptor 使用
AscendPyTorchProfiler是针对PyTorch框架开发的性能数据采集和解析工具，通过在PyTorch训练脚本中插入AscendPyTorchProfiler接口，执行训练的同时采集性能数据，完成训练后直接输出可视化的性能数据文件，提升了性能分析效率。AscendPyTorchProfiler接口可全面采集PyTorch训练场景下的性能数据，主要包括PyTorch层算子信息、CANN层算子信息、底层NPU算子信息、以及算子内存占用。
【JupyterLab集成】GPU性能监控可视化组件
8. 代码（有一些接口函数名称不正确，需要确认依赖库的版本）昇腾MindX DL的模型资源监控插件。昇腾MindX DL的模型资源监控插件。整个机器的GPU资源。
RKNN-Toolkit模型转换并在Rockchip NPU推理并进行性能评估
Linux x86_64 上的 RKNN-Toolkit 自带了一个 RK1808 的模拟器，可以用来仿真模型在 RK1808 上运行时的行为。模型，用户可以在 https://github.com/rockchip-linux/rknn-toolkit 获取工具的完整。成功转换生成 RKNN 模型之后，用户可以先通过 RKNN-Toolkit 连接 RK1808 等开发板进行联。在使用 RKNN SDK 之前，用户首先需要使用 RKNN-Toolkit 工具将用户的模型转换为 RKNN。
高通开发者论坛

6,429

社区成员

6,049

社区内容

发帖
与我相关
我的任务
社区描述
本论坛以AI、WoS 、XR、IoT、Auto、生成式AI等核心板块组成，为开发者提供便捷及高效的学习和交流平台。 高通开发者专区主页：https://qualcomm.csdn.net/
人工智能物联网机器学习 技术论坛（原bbs） 北京·东城区
社区管理员
  • csdnsqst0050
  • chipseeker
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章