8-加入位置编码特征

迪哥有点愁了 2023-01-12 22:45:17

课时名称	课时知识点
8-加入位置编码特征	8-加入位置编码特征

...全文

113 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

本文分成三类讲解： 1、绝对位置编码-BERT（学习位置编码） 2、正弦位置编码 3、相对位置编码-NEZHA 4、（处理超文本-层次位置编码）对每一种都进行的讲解，并在代码中详细加了注释！ 1、绝对位置编码-BERT BERT使用的是训练出来的绝对位置编码，这种编码方式简单直接，效果也不错。这种方法和生成词向量的方法相似，先初始化位置编码，再放到预训练过程中，训练出每个位置的位置向量。关于该方法的代码如下，用Keras写的，参考苏剑林老师的bert4keras中的代码 from keras.la.

关于位置编码和RoPE为彻底解决这个位置编码/RoPE的问题，我把另外两篇文章中关于这部分的内容抽取出来，并不断深入、扩展、深入，最终成为本文。

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言Transformer模型在进行数据处理时与传统的RNN系列算法不同，不再按照时间步进行相应特征的抽取，而是采用Attention机制。由于Attention机制在处理数据时无法捕捉到信息的输入顺序，为了能够了解对应的输入顺序，在Transformer当中通常需要加入位置编码。常见的位置编码可以分为绝对位置编码、相对位置编码及其他位置编码。一、绝对位置编码二、相对位置编码三、其他位置编码四、长度外推问题总结前言 Trans

在处理词元序列时，循环神经网络是逐个的重复地处理词元的，而自注意力则因为并行计算而放弃了顺序操作。为了使用序列的顺序信息，通过在输入表示中添加位置编码（Positional Encoding）来注入绝对的或相对的位置信息。位置编码可以通过学习得到也可以直接固定得到。接下来描述的是基于正弦函数和余弦函数的固定位置编码。假设输入表示X∈Rn×d包含一个序列中n个词元的d维嵌入表示。位置编码使用相同形状的位置嵌入矩阵P∈Rn×d输出XP，矩阵第i行、第2j列和2j1。

假设有 \( S \) 个尺度，每个尺度对应的邻域大小为 \( r_s \)，则在第 \( s \) 个尺度上，点 \( p_i \) 的邻域为 \( \mathcal{N}_s(p_i) \)，在该邻域上计算几何特征 \( g_s(p_i) \)。局部坐标系编码通过定义每个点的局部坐标系，并在该坐标系下表示邻域内的点，以捕捉局部几何关系。（2）计算协方差矩阵的特征值和特征向量，最小特征值对应的特征向量即为法向量 \( n_i \)。其中，\(\bar{p_i}\) 是邻域点的均值。

唐宇迪的课程社区_NO_6

1

社区成员

956

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章