05 LLM 模型结构和模型训练介绍

亚马逊云科技培训课程 2024-05-17 09:20:38

课时名称	课时知识点
05 LLM 模型结构和模型训练介绍	本课程将以全局视角讲解 LLM 的核心技术 Transformer 和注意力机制，优化大模型的方法包括预训练，Fine Tuning，FFT，PEFT，LoRA等，同时会阐述 LLM 的局限性和什么是“负责任”的 AI。

...全文

13966 回复打赏收藏举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

深度学习领域所谓的“模型”，是一个复杂的数学公式构成的计算步骤。ini代码解读复制代码y = ax + b该方程意味着给出常数a、b后，可以通过给出的x求出具体的y。ini 代码解读复制代码#a=1 b=1 x=1这个根据x求出y的过程就是模型的推理过程。在LLM中，x一般是一个句子，如“帮我计算23+20的结果”，y一般是：“等于43”。基于上面的方程，如果追加一个要求，希望a=1,b=1,x=3的时候y=10呢？这显然是不可能的，因为按照上面的式子，y应该是4。ini代码解读。

在查看 https://arxiv.org/abs/2407.10671中讨论的预训练和后训练方法之前，我们先简要总结一些核心规格。Qwen 2 模型有5种类型。有4个常规（密集）LLM，参数量分别为5亿、15亿、70亿和720亿。此外，还有一个57亿参数的专家混合模型，其中有14亿参数同时被激活。（由于架构细节不是这次的重点，我不会深入讨论专家混合模型；简而言之，这类似于Mistral AI的Mixtral，只是它有更多的活跃专家。

一、介绍今天我们来聊一聊，LLM应该算是目前当之无愧的最有影响力的AI技术。尽管它只是一个语言模型，但它具备理解和生成人类语言的能力，非常厉害！它可以革新各个行业，包括自然语言处理、机器翻译、内容创作和客户服务等，成为未来商业环境的重要组成部分。我相信很多人在领略了GPT等大语言模型的魅力之后，都希望迫不及待的考虑能将模型能力集成到自己的产品中去，提升产品竞争力，由于LLM天然具备强大的语义理解能力，使得我们原来在用尝试用NLP去解决一些比较困难的问题突然变得迎刃而解，非常简单，甚至超出你的想象。

深度学习领域所谓的“模型”，是一个复杂的数学公式构成的计算步骤。y = ax + b复制代码该方程意味着给出常数 a、b 后，可以通过给出的 x 求出具体的 y。复制代码这个根据 x 求出 y 的过程就是模型的推理过程。在 LLM 中，x 一般是一个句子，如“帮我计算 23+20 的结果”，y 一般是：“等于 43”。基于上面的方程，如果追加一个要求，希望 a=1,b=1,x=3 的时候 y=10 呢？这显然是不可能的，因为按照上面的式子，y 应该是 4。y=σ(ax+b)复制代码。

大型语言模型（LLM）的发展已经取得了长足的进步，从早期的GPT模型到我们今天拥有的复杂的开放权重LLM。最初，LLM的训练过程仅集中于预训练，但后来扩展到包括预训练和后训练。后训练通常包括监督指令微调和对齐，这些是由ChatGPT普及的。

亚马逊云科技的课程社区_NO_8

4

社区成员

11

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章