摩尔线程的gpu支持tvm么

m0_62481656 2025-08-05 08:40:54

如题

...全文

21 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

GPU编程正迎来黄金时代，CUDA凭借其并行计算优势成为AI、HPC等领域的核心工具。文章从CPU与GPU架构差异切入，解析CUDA的核心价值：通过网格-块-线程三级模型实现高效并行计算，并拥有完整工具链支持。深入探讨了CUDA开发的三大挑战：线程网络组织、复杂内存层级管理（寄存器/共享内存/全局内存）以及Warp调度机制。最后指出真正的优化需要系统性认知，提出"性能调优四象限"方法论，强调从算法设计到内存访问模式的整体优化思路，而非单纯技巧堆叠。

0x0. 前言之前以MLIR的Toy Tutorials教程为切入点了解了MLIR，然后又对MLIR的ODS要点以及Interfaces等知识进行了详解。在继续学习MLIR的相关知识前，我想对MLIR做一个总结。而要了解MLIR的全貌，阅读MLIR论文是一个不错的方式。但论文对一些要点只是简单提出，所以我这篇文章将在用沐神阅读论文的方法阅读MLIR论文的基础上对MLIR的要点在Toy Tutotials中进行对应和指路，并尝试用一些图表来建立起MLIR编译器的整体架构。最后有一段小的个人思考。沐神的论文

深度学习的应用飞速在发展，但是在硬件方面因为摩尔定律的失效导致通用的处理器无法满足深度学习模型的需求，因此需要专用的硬件来加速深度学习计算。本文详细阐述了过去有关深度学习中编译器以及协同设计的工作。最后，作者针对典型的深度学习协同设计系统提出了一种特定领域的编译框架——Buddy Compiler。作为一个编译器框架，buddy Compiler基于MLIR和RISC-V致力于构建一个可扩展和灵活的硬件-软件协同设计的生态系统。在神经网络的历史上，软件和硬件彼此相互推动，在过去的十年中，协同设计越来越重要。

0x0. 前言本文是对 https://arxiv.org/abs/2108.13191 这篇论文进行解读，学习一下MLIR如何生成高效的GPU代码。本文的阅读顺序分别为：

链接-上图展示了vLLM的整体架构。vLLM采用集中式调度器来协调分布式GPU工作程序的执行。KV缓存管理器通过PagedAttention以分页方式有效地管理KV缓存。具体来说，KV缓存管理器通过集中式调度器发送的指令来管理GPU工作程序上的物理KV缓存链接-TensorRT-LLM为用户提供了一个易于使用的PythonAPI，用来定义大型语言模型（LLM）并构建包含最先进优化的TensorRT引擎，从而在NVIDIA GPU上高效地执行推理。

180

社区成员

94

社区内容

发帖

与我相关

我的任务

企业社区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章