请问vllm-musa支不支持本地安装？

老表您好嘢 2026-09-08 11:24:24

请问vllm-musa支不支持本地安装？如果支持在哪里下载安装包？

...全文
67 回复 打赏 收藏 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
基于 MUSA 的大语言模型推理和服务框架vLLM
通过使用musify工具，用户可以快速将原有的CUDA代码无缝迁移到MUSA软件栈，大大提升了用户在MUSA软件栈上开发的效率。musify工具是一个文本替换工具，用于将用户代码中CUDA相关的接口转换为MUSA的对应接口，然后使用MUSA软件栈下的mcc编译器编译成为摩尔线程GPU的可执行文件。另外MUSA的一大优势是CUDA兼容，通过musify工具，我们可以快速将官方代码移植至MUSA软件栈，用户可以根据文档自行升级vLLM版本并适配MUSA软件栈。或者添加判断条件，当后端设置为MUSA时，调用。
MinerU 如何在摩尔线程 MooreThreads MUSA 上构建镜像并启动 MinerU 容器
MinerU 把 PDF、DOCX、PPTX、XLSX 等文档解析为可供 LLM 和 Agentic 工作流使用的 Markdown/JSON。在摩尔线程 MooreThreads 加速卡（MUSA 平台）上，MinerU 提供了专门的 Docker 部署路径：基于 MUSA 版 vLLM 基础镜像构建 MinerU 镜像，再通过 `docker run` 启动容器，容器内即可运行 `mineru
MinerU 摩尔线程（MooreThreads）MUSA 加速卡部署指南：Docker 镜像构建、关键环境变量与 vLLM 引擎适配
本文基于 MinerU 仓库中 [docs/zh/usage/acceleration_cards/MooreThreads.md](https://link.gitcode.com/i/67573352f062d3888ccd1a20e0bc17d2) 整理并扩充，面向希望在摩尔线程 MTT S4000（MUSA）加速卡上部署 MinerU 的读者。文章完整覆盖官方指南给出的镜像构建与容器启动流
LMCache 引擎集成指南：vLLM 缓存中间件接入与 SGLang on MUSA 实战
本文以 LMCache 官方开发者指南 [docs/source/developer_guide/integration.rst](https://link.gitcode.com/i/84cd3eeee037035ff4718dea1ecd0281) 为核心，系统讲解 LMCache 作为缓存中间件如何嵌入 LLM 推理引擎与存储系统之间，实现 KV Cache 的透明复用、TTFT 大幅降低与
沐曦曦云C500在CubeStudio上的大模型全链路适配实践
GPU算力是大模型训练与推理的基石，但国产GPU的生态适配往往成为落地关键。沐曦曦云C500凭借96GB HBM2e显存和MUSA自研架构，为AI基础设施提供了高性价比选择，然而从CUDA生态迁移至MUSA需要重新理解驱动、框架与推理引擎的协同原理。本文从技术价值出发，阐述如何借助CubeStudio平台实现GPU资源池化与容器化环境，将开发、训练、推理、服务全链路打通。针对LLM微调、分布式训练、vLLM推理加速及AI网关接入等高频场景，给出可落地的工程实践与排障经验，帮助团队在国产GPU上高效部署大模型
摩尔线程

297

社区成员

159

社区内容

发帖
与我相关
我的任务
社区描述
摩尔线程成立于 2020 年 10 月，以全功能 GPU 为核心，致力于向全球提供加速计算的基础设施和一站式解决方案，为各行各业的数智化转型提供强大的 AI 计算支持。 我们的目标是成为具备国际竞争力的 GPU 领军企业，为融合人工智能和数字孪生的数智世界打造先进的加速计算平台。我们的愿景是为美好世界加速。
企业社区
社区管理员
  • 摩尔线程开发者
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章