生产环境模型推理也是用torch_musa吗？有没类似TensorRT的推理框架？

theflying 2024-12-17 12:03:51

官方GitHub上看了一圈，很多模型推理例子都是基于torch_musa的，应该不适合在生产环境部署，并且如果是其他格式（如onnx）模型，可能就用不了了，不知道你们有没有类似TensorRT的推理框架？

...全文

869 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

布衣之怒 02-04

打赏
举报

回复

我也想知道这个问题，总不能用muBlas自己写吧

通过使用musify工具，用户可以快速将原有的CUDA代码无缝迁移到MUSA软件栈，大大提升了用户在MUSA软件栈上开发的效率。musify工具是一个文本替换工具，用于将用户代码中CUDA相关的接口转换为MUSA的对应接口，然后使用MUSA软件栈下的mcc编译器编译成为摩尔线程GPU的可执行文件。另外MUSA的一大优势是CUDA兼容，通过musify工具，我们可以快速将官方代码移植至MUSA软件栈，用户可以根据文档自行升级vLLM版本并适配MUSA软件栈。或者添加判断条件，当后端设置为MUSA时，调用。

随着大模型的兴起，许多知名的开源模型（例如gpt，chatglm，llama，mistral等）都将预训练好的model放到了huggingface上，然后通过几行很简单的代码就能调用并进行训练或推理任务。需要注意的是，由于MUSA里随机数的生成机制与CUDA不同，模型里dropout层的输出有较大差异。其中--nproc_per_node表示训练的gpu卡数，--model_name_or_path表示想要训练哪种模型，–-batch_size指的单卡batch_size。占用显存/总显存(GB)

摩尔线程表示，正努力围绕自主研发的统一系统架构GPU、MUSA软件平台，构建完善好用的MUSA应用生态。vLLM是一个高效且易用的大模型推理和服务框架，支持创新的PagedAttention内存管理、连续批处理请求、CUDA/HIP图的快速模型执行、CUDA核心优化、分布式推理支持等，可显著提高大语言模型（LLM）的推理性能。值得一提的是，得益于摩尔线程MUSA架构的先进性、软件栈对CUDA的优良兼容性，通过MUSIFY代码自动转换工具，用户可以快捷地将原有的CUDA代码迁移到MUSA平台，实现替代。

随着 DeepSeek R1 和 Qwen2.5-Max 的发布，国内大模型推理需求激增，性能提升的主战场将从训练转移到推理。由于无论是训练还是推理，如何提升性能都是业内讨论最多的话题之一。为什么是性能呢？在大模型消耗计算资源多、客户端内容流式生成的场景下，性能显得尤为重要。推理性能的提升涉及底层硬件、模型层，以及其他各个软件中间件层的相互协同，因此了解大模型技术架构的全局视角，有助于我们对推理性能的优化方案进行评估和选型。

Safetensors 是一种用于安全地存储张量的新格式，非常简单，但速度仍然很快（零拷贝）。它是pickle格式的替代品，因为，pickle格式不安全，可能包含可以执行的恶意代码。本文简要介绍了模型权重存储新格式 Safetensors，它具备安全、加载速度快等多个优点；并且可以在 HuggingFace 上面看到越来越多的模型使用Safetensors格式进行存储。

110

社区成员

59

社区内容

发帖

与我相关

我的任务

企业社区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章