1
社区成员
发帖
与我相关
我的任务
分享| 课时名称 | 课时知识点 |
|---|---|
| 12.8AI-Infra-中 | 课程咨询:easystudy101
课程答疑:easystudy101
十二、大模型全栈
1、大模型全栈(RDMA,InfiniBand,RoCE,Slurm,Kubernetes,Kubeflow,Volcano,Lustre,Megatron-LM,vLLM)
2、大模型通信原语&并行计算(AllReduce,ReduceScatter,AllGather,AlltoAll,DP TP PP EP CP) 3、大模型通信原语手推Ring-AllReduce 4、手推稠密大模型张量并行TP 5、手推MOE大模型专家并行EP 6、大模型训练Megatron-LM 7、大模型推理 |