请问MUSA有没有类似于NVML的获取显存使用量、GPU温度的API？

weixin_50801427 2025-07-11 17:35:49

今天刚刚接触MTT和MUSA相关软件栈。感觉musify非常新颖。

但我不知道MUSA有没有做兼容NVML的API？

...全文

109 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_50801427 07-14

打赏
举报

回复

我在“https://docs.mthreads.com/gmc/gmc-doc-online/api/%E2%80%9D 找到了名为MTML的GPU管理库。

但是在autoDL的官方镜像“PyTorch 2.2.0 Python 3.10(ubuntu22.04) MUSA 3.1.0”中并没有找到mtml.h这个文件。

请问是我使用的镜像有问题吗？

1.引言近几年来，AI技术和GPU等算力硬件相辅相成相互促进地迅猛发展。如今AI技术的应用已经在生活中随处可见，让人们开始意识到元宇宙的概念不是遥不可及。元宇宙这个大目标框架下，AI技术还有非常广阔的发展空间。为了支撑该技术，以GPU为首的算力底座硬件也在不断更新。摩尔线程GPU（Moore Threads GPU,简称MTGPU）作为全功能GPU，拥有图形显示和计算这构筑元宇宙的两大功能，为了实现这一点摩尔线程设计出元宇宙统一系统架构（Metaverse Unified System Ar

通过使用musify工具，用户可以快速将原有的CUDA代码无缝迁移到MUSA软件栈，大大提升了用户在MUSA软件栈上开发的效率。musify工具是一个文本替换工具，用于将用户代码中CUDA相关的接口转换为MUSA的对应接口，然后使用MUSA软件栈下的mcc编译器编译成为摩尔线程GPU的可执行文件。另外MUSA的一大优势是CUDA兼容，通过musify工具，我们可以快速将官方代码移植至MUSA软件栈，用户可以根据文档自行升级vLLM版本并适配MUSA软件栈。或者添加判断条件，当后端设置为MUSA时，调用。

当国产GPU的硬件潜力通过显存访问重构完全释放，MUSA架构正展现出惊人的性能跃升。本文揭示的优化方案已在自动驾驶感知系统中验证——单卡处理延迟从42ms降至18ms，满足L4级实时需求。在算力自主化的征程中，每一字节显存的高效利用，都是中国半导体产业打破性能壁垒的关键一步。随着MUSA 2.0架构的到来，我们终将见证国产GPU在性能与生态的双重超越。

GPU架构与CPU不同，专注于高并行计算，适合处理大量简单、重复的任务。其核心设计目标是最大化吞吐量，而非单任务的低延迟。主流GPU厂商（如NVIDIA、AMD、Intel）架构虽有差异，但基本原理一致，以下以通用架构说明。GPU通过高度并行的计算单元、高带宽显存和专用加速单元（如RT Core、Tensor Core），高效处理图形渲染和通用计算任务。其架构围绕SIMT模型和渲染管线设计，优化吞吐量和数据并行。

随着大模型的兴起，许多知名的开源模型（例如gpt，chatglm，llama，mistral等）都将预训练好的model放到了huggingface上，然后通过几行很简单的代码就能调用并进行训练或推理任务。需要注意的是，由于MUSA里随机数的生成机制与CUDA不同，模型里dropout层的输出有较大差异。其中--nproc_per_node表示训练的gpu卡数，--model_name_or_path表示想要训练哪种模型，–-batch_size指的单卡batch_size。占用显存/总显存(GB)

174

社区成员

90

社区内容

发帖

与我相关

我的任务

企业社区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章