动画详解Transformer模型以及变形模型

Transformer模型的位置编码是为了在输入序列中引入位置信息。由于Transformer模型只使用了注意力机制，没有使用循环神经网络或卷积神经网络，因此无法通过位置顺序来获取序列中的位置信息。位置编码是一个矩阵，其维度与输入序列的维度相同。位

2024-02-26 08:20:47 236 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

绝对位置编码【三角/递归/相乘】-＞相对位置编码【XLNET/T5/DEBERTA】-＞旋转位置编码(ROPE/XPOS/FOPE)-＞复杂位置编码【CNN/RNN/复数/融合】本文分成三类讲解： 1、绝对位置编码-BERT（学习位置编码） 2、正弦位置编码 3、相对位置编码-NEZHA 4、（处理超文本-层次位置编码）对每一种都进行的讲解，并在代码中详细加了注释！ 1、绝对位置编码-BERT BERT使用的是训练出来的绝对位置编码，这种编码方式简单直接，效果也不错。这种方法和生成词向量的方法相似，先初始化位置编码，再放到预训练过程中，训练出每个位置的位置向量。关于该方法的代码如下，用Keras写的，参考苏剑林老师的bert4keras中的代码 from keras.la. 阅读详情

Transformer模型的位置编码是为了在输入序列中引入位置信息。由于Transformer模型只使用了注意力机制，没有使用循环神经网络或卷积神经网络，因此无法通过位置顺序来获取序列中的位置信息。位置编码是一个矩阵，其维度与输入序列的维度相同。位置编码的每个元素都是一个向量，表示输入序列中每个位置的位置信息。这些向量被加到输入序列的词嵌入向量中，以便在输入序列中引入位置信息。位置编码使用了三角函数的正弦和余弦函数来编码位置信息。具体来说，对于每个位置和每个维度，位置编码矩阵中的元素由以下公式计算得到： PE(pos, 2i) = sin(pos / 10000^(2i/d_model)) PE(pos, 2i+1) = cos(pos / 10000^(2i/d_model)) 其中，pos表示位置，i表示维度，d_model表示输入序列的维度。位置编码的作用是为了在输入序列中引入位置信息，使得Transformer模型能够区分不同位置的词嵌入。通过位置编码，Transformer模型可以更好地处理序列中的位置信息，从而更好地捕捉序列的结构和依赖关系。如果不使用位置编码，Transformer模型将无法区分不同位置的词嵌入，从而无法准确地捕捉序列的结构和依赖关系。需要位置编码的原因在于，自然语言中的单词通常会出现在上下文中，并且单词之间的顺序很重要。因此，模型需要一种方法来捕捉序列中元素的顺序信息。位置编码提供了这种信息，因为它可以将每个元素的位置转换为一个实数值，这个值可以表示该元素在序列中的位置。如果不使用位置编码，模型将无法理解序列中元素的顺序信息，因为它们只依赖于元素的词嵌入表示和注意力权重。这意味着模型可能无法正确地解码序列或生成正确的语法结构。位置编码的形式: 1. 固定位置编码：将每个位置编码为一个固定的实数值，例如 [0, 1, 2, ..., seq_length-1]。这种方法简单易实现，但可能会忽略序列中元素的实际位置信息。 2. 正弦和余弦位置编码：将每个位置编码为其在序列中的位置的正弦或余弦值。这种方法可以捕捉到序列中元素的相对位置信息，但可能会引入较大的噪声和不稳定性 3. 线性插值位置编码：将每个位置编码为其在序列中的位置的线性插值值 4. 可以学习的位置编码，在模型初始化时随机初始化一个位置编码，然后随着模型的训练而自主学习。

...全文