为什么Transformer模型使用layer Norm，而不是使用batch Norm？

人工智能研究所 2023-01-13 03:43:29

课时名称	课时知识点
为什么Transformer模型使用layer Norm，而不是使用batch Norm？	介绍Transformer模型使用的layer Norm，数据归一化处理

...全文

49 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

在深度学习的Transformer架构中，有一个有趣的细节是它使用了Layer Normalization（）而非Batch Normalization（这两种归一化方法在不同的神经网络架构中都发挥着重要的作用，但为什么Transformer选择了LayerNorm呢？让我们来一探究竟。

这意味着,不仅自变量 X 的分布要相同,协变量的分布也应该相同。但是,如果训练数据和测试数据的协变量分布不同,就会出现协变量偏移。所以,协变量偏移强调的是除了主要自变量 X 以外的其他影响因素(即协变量)的分布变化。它提醒我们,在训练和应用机器学习模型时,不能只关注主要自变量,还需要考虑其他相关因素的分布是否一致。NLP任务中经常需要对单个样本做推理,而BatchNorm在推理阶段使用的是训练集的均值和方差,和单个样本的分布可能有偏差。的影响,但是除了 X 以外,还有其他变量也会影响 Y。

Normalization技术旨在应对内部协变量偏移问题，它的核心在于将数据调整到一个统一的标准，以便进行有效的比较和处理。为了实现这一目标，***我们需要确保参与归一化的数据点在本质上是可比的。***(记住这句话就可以了)

点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达要知道近年来特别出现了很多Transformer面试题（毕竟当前AI顶流）。这里Amusi特别分享15道Transformer高频面试题（求职群里有数百道Transformer题目，还有答案），希望对你有所帮助。介绍Transformer和ViT介绍Transformer的QKV介绍Layer NormalizationTrans...

动画详解Transformer模型以及变

4

社区成员

94

社区内容

发帖

与我相关

我的任务

transformernlp 个人社区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章