章程瑞东、姜慧强-如何在高度并行化的设备上利用大模型的稀疏性进行优化

[m0_74120090]

课时名称	课时知识点
章程瑞东、姜慧强-如何在高度并行化的设备上利用大模型的稀疏性进行优化	章程瑞东、姜慧强 微软亚洲研究院研发工程师 演讲主题 如何在高度并行化的设备上利用大模型的稀疏性进行优化 漫长的训练与推理过程及其带来的高昂算力成本是当前大语言模型推广所面临的主要挑战之一。大量研究显示，大语言模型的计算负荷呈现出高度稀疏化的特点，这为降低算力成本提供了一定契机。然而，以 GPU 为代表的并行计算基础设施在执行稀疏计算时存在明显的效率问题，如何在并行计算设备上实现高效的稀疏计算是一个普遍存在的难题，稀疏计算的需求对传统的算子编程范式和模型编译系统也提出了新的挑战。