基础模型的根基

m0_74120090 2024-11-20 14:51:27

课时名称

课时知识点

基础模型的根基

颜水成新加坡工程院院士、IEEE Fellow、昆仑万维荣誉顾问

演讲主题基础模型的根基在本次分享中，我将基础模型的研究分为三个方面，分别对应三种误差，即近似误差、估计误差和优化误差。在近似误差方面，我将分享最近在模型架构方面取得的两个新进展：MoE++ 和 MoH。关于估计误差，我将分享我们在数据整理如何帮助奖励模型训练方面取得的进展。在优化误差方面，我将分享我们的新优化器 Adan 以及如何优化超级参数的工作。同时，我还将分享我们的两个新产品：SkyMusic 和 SkyReels。

...全文

103 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

本文介绍了如何在星图GPU平台上自动化部署Qwen2.5-0.5B-Instruct镜像，为构建多模态AI应用提供高效的文本理解基础。该轻量级模型具备出色的指令遵循和结构化输出能力，可快速集成到智能对话、内容生成等场景中，显著提升开发效率。

到此层次就比较清晰了，我们来做个总结：从深度学习发展的递进关系看：机器学习-》神经网络-》深度学习。目前大部分力量都倾注于深度学习。多层感知机（MLP，Multi-Layer Perceptron）卷积神经网络（CNN，Convolutional Neural Network）循环神经网络（RNN，Recurrent Neural Network）图神经网络（GNN，Graph Neural Network）自注意力机制（Self-Attention） Transformer。

编者按：如今根基模型（Foundation Models）的应用和相关创新正在快速涌现，但仍有很大的提升空间，目前还无法充分发挥根基模型的潜能、将其高效快速地应用于企业级AI应用中。根基模型的加速应用和落地，带动了基础设施和工具领域的创新。本期IDP Inspiration，我们为大家带来的是创投机构Madrona对于根基模型的发展研判，和大家一同从投资人的视角探寻根基模型发展带来的AI Infra新机遇。以下是译文，Enjoy!

今天我们说“大模型”，在中文语境里，很多时候会把“大语言模型”里的“语言”两个字省掉。但事实上，完整地说，大语言模型是建立在文本数据上的基础模型。我们作为在中文环境里读书的人都知道，中国古代的典籍，最初是没有标点符号的，甚至也没有今天意义上的空格。用今天的观点看，在文本。我们今天讲模型、讲大语言模型，但“基础模型”这个概念，是到2021 年才被这样明确提出的。它的重要性在于，它让我们意识到：数据不是简单地喂给模型的材料，而是模型能力形成的根基。今天的大语言模型，把人类对文本的处理带到了一个前所未有的高度。

如果不理解偏差-方差权衡（Bias-Variance Tradeoff）、正则化等概念，你将无法理解为何需要“指令微调（Instruction Tuning）”和“人类反馈强化学习（RLHF）”来对齐模型行为，提升泛化到真实用户指令的能力。不理解它们的作用，你的调参就变成了“玄学炼丹”。比如，最新的Mamba（状态空间模型）的提出，就融合了控制论和经典系统模型的思想。四个维度，层层深入地为你揭开这层迷雾，论证为何在“傻瓜式”API的背后，深厚的机器学习根基反而成为了区分“调参侠”与“架构师”的关键鸿沟。

CSDN技术会议的课程社区_NO_2

1

社区成员

204

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章