基础模型的根基

[m0_74120090]

课时名称	课时知识点
基础模型的根基	颜水成 新加坡工程院院士、IEEE Fellow、昆仑万维荣誉顾问 演讲主题 基础模型的根基 在本次分享中，我将基础模型的研究分为三个方面，分别对应三种误差，即近似误差、估计误差和优化误差。在近似误差方面，我将分享最近在模型架构方面取得的两个新进展：MoE++ 和 MoH。关于估计误差，我将分享我们在数据整理如何帮助奖励模型训练方面取得的进展。在优化误差方面，我将分享我们的新优化器 Adan 以及如何优化超级参数的工作。同时，我还将分享我们的两个新产品：SkyMusic 和 SkyReels。