李宏毅机器学习self-attention
self-attention想要解决的问题是什么呢?目前遇到的问题都是输入一个或者一排向量,输出一个类别或者一个向量。对于更复杂的问题怎么办呢?如果输入的是一排向量并且向量的个数是会改变的呢?如文字处理,每次输入的句子不一样长度,文字怎么表示成向量呢,可以用one-hot编码或者word-embeding;一段声音信号;一个graph也是一堆向量组成;一个分子也是一堆向量,一个原子可以是一个向量。输出是什么呢三种可能性:1.每个向量都有一个label,输入多少向量输出多少向量。(如词性标注,音标处