8-加入位置编码特征

迪哥有点愁了 2023-01-12 22:45:17

课时名称	课时知识点
8-加入位置编码特征	8-加入位置编码特征

...全文

153 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

本文分成三类讲解： 1、绝对位置编码-BERT（学习位置编码） 2、正弦位置编码 3、相对位置编码-NEZHA 4、（处理超文本-层次位置编码）对每一种都进行的讲解，并在代码中详细加了注释！ 1、绝对位置编码-BERT BERT使用的是训练出来的绝对位置编码，这种编码方式简单直接，效果也不错。这种方法和生成词向量的方法相似，先初始化位置编码，再放到预训练过程中，训练出每个位置的位置向量。关于该方法的代码如下，用Keras写的，参考苏剑林老师的bert4keras中的代码 from keras.la.

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言Transformer模型在进行数据处理时与传统的RNN系列算法不同，不再按照时间步进行相应特征的抽取，而是采用Attention机制。由于Attention机制在处理数据时无法捕捉到信息的输入顺序，为了能够了解对应的输入顺序，在Transformer当中通常需要加入位置编码。常见的位置编码可以分为绝对位置编码、相对位置编码及其他位置编码。一、绝对位置编码二、相对位置编码三、其他位置编码四、长度外推问题总结前言 Trans

本文主要介绍常见的绝对位置编码（sinusoidal）、旋转位置编码（Rotary Position Embedding，RoPE）、相对位置编码ALiBi（Attention with Linear Biases）以及YaRN（Yet another RoPE extensioN method）。

我们对长度外推的期望其实不仅仅是“平移不变性”，而是“平移更好性”，也就是说越往后效果应该越好才对（比如In Context Learning场景，给的examples越多，效果应该越好），所以模型还应该要能捕捉全局依赖的能力。而NTK-aware Scaled RoPE通过“高频外推、低频内插”隐含了两者优点，保证了局域性，又没有明显外推位置编码，所以不微调也有不错的效果。位置内插虽然没有外推位置编码，但扰乱了局域性（0附近位置编码被压缩为），所以不微调效果也不好；内，注意力机制的能力大大削弱。

Transformer 模型需要注入位置信息来理解序列顺序。从原始 Transformer 采用的正弦绝对位置编码，到 BERT/GPT 等使用的可学习绝对位置嵌入，再到 Transformer-XL、T5 引入的相对位置编码，以及近年流行的旋转位置编码 RoPE 和线性偏置位置编码 ALiBi，位置编码技术不断演进。此外，在视觉和多模态模型中还发展出 2D/3D 位置编码方案。本文将全面介绍这些位置编码方法产生的背景、数学原理、优缺点，并列举采用它们的中英文主流大模型（如 LLaMA、BLOOM、De

唐宇迪的课程社区_NO_6

1

社区成员

956

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章