【MindSpore易点通】深度学习系列-词嵌入

1 特征表示

在自然语言处理中，有一个很关键的概念是词嵌入，这是语言表示的一种方式，可以让算法自动的理解一些同类别的词，比如苹果、橘子，比如袜子、手套。

one-hot向量

之前小编给大家提到的词典库里一共有15000个元素，用one-hot向量来表示词。比如苹果apple在词典里是第1142个，那么对应向量只在第1142行为1，其余均为0，表示为；同理，其他的元素比如橘子orange、袜子socks、手套gloves都可以这样表示，但是同时这种方法也将把每个词孤立了起来，使得算法对相关词的泛化能力不够强。

比如我们通常会说：“I want a glass of orange juice.”但如果算法并不知道apple和orange的类似性（这两个one-hot向量的内积是0），那么当其遇到“I want a glass of apple __”时，并不知道这里也应该填写 juice。

如果用特征化的表示来表示库里的每个词，学习它们的特征或者数值。

比如我们想知道apple和arange与性别的特征关系，实际它们并没有太大的关系，所以特征值接近于0；第二、三个特征是与高贵和年龄的关系，特征值也没有太大的参考价值，接近于0；但是第四个特征是和食物有关，由于apple和arange都是水果食物，所以它们的特征值接近于1；......最终我们罗列了300个不同的特征，所以每个单词都是由一个300维的向量来表示的，符号表示为。虽然apple和orange可能有些特征不太一样，但总的来说大部分特征都有相似的值，那么上述我们提到的问题，算法就可以明白orange juice和apple juice也是类似的，算法的泛化性因此得到了提高。

这样我们就可以选用t-SNE算法来对特征向量可视化，通过观察这种词嵌入的表示方法，最终同类别的单词会聚集在一块，词嵌入算法对于相近的概念，学到的特征也比较类似。

2 词嵌入的使用

参考案例——句中找人名：Jack Li is a teacher.

使用词嵌入作为输入训练好的模型，如果看到一个新的输入：“Jack Li is a farmer.”因为知道teacher和farmer很相近，那么算法很容易就知道Jack Li是一个人的名字。同时，如果遇到不太常见的单词，比如：Jack Li is a cultivator.（假设训练集里没有cultivator这个单词），但是词嵌入的算法通过考察大量的无标签文本，会发现farmer、teacher、cultivator相近，把它们都聚集在一块。这样一来即使只有一个很小的训练集，但是使用迁移学习，把从大量的无标签文本中学习到的知识迁移到一个任务中——比如少量标记的训练数据集的命名实体识别任务。

如何用词嵌入做迁移学习的步骤：

1.先从大量的文本集中学习词嵌入。

2.用这些词嵌入模型把它迁移到新的只有少量标注训练集的任务中，比如说用300维的词嵌入来表示单词，这样就可以用更低维度的特征向量代替原来的10000维的one-hot向量。

3.当在新的任务上训练模型时，只有少量的标记数据集，可以选择不进行微调，而是用新的数据调整词嵌入。

当你的任务的训练集相对较小时，词嵌入的作用最明显，所以它广泛用于NLP领域，但是其对于一些语言模型和机器翻译并不适用。

3 类比推理

词嵌入有一个非常强大的特性就是可以帮助实现类比推理。比如从性别这个特征上来说，如果man应该对应woman，那么算法可以推导出king对应queen。

假设用一个四维向量来表示man，表示为，同理，最终对应向量进行减法运算时我们会发现一个神奇的现象：

其实也很好理解：当算法被问及man对woman相当于king对什么时，算法所做的就是计算，然后找出一个向量，也就是说需要的就是找到单词w来最大化与的相似度，然后通过该方程以及相似度函数可以找到一个使得相似度最大的单词queen。

最常用的相似度函数是余弦相似度，假如在向量u和v之间定义相似度:

如果u和v非常相似，那么它们的内积将会很大，那么该式就是u和v的夹角Φ的余弦值，实际就是计算两向量夹角Φ角的余弦。夹角为0度时，余弦相似度就是1，当夹角是90度角时余弦相似度就是0，当夹角是180度时相似度等于-1，因此角度越小，两个向量越相似。 

好啦，今天关于词嵌入的介绍就先到这里啦，下期小编将会带领大家如何学习一个神经语言模型来得到更好的词嵌入以及使用词嵌入。