李龙飞-性能驱动的大模型架构探索——网络架构及推理架构

[m0_74120090]

课时名称	课时知识点
李龙飞-性能驱动的大模型架构探索——网络架构及推理架构	蚂蚁资深算法专家 近几年，大语言模型在能力上得到了巨大的提升，但在应用过程中始终面临一个重要问题—成本，因此如何以更低的成本进行服务是一个重要的方向。为了解决这个问题，蚂蚁在推理架构设计开发和网络架构探索上都做了一些尝试，在推理架构上结合具体业务，重新设计了kvcache和调度策略，开发了Flood框架，在离线推理中有不错的表现。在网络架构上，我们在MoE，线性模型等方向进行了探索，积累的一些经验。我们会在这两个方向上进行一些分享。