10月11日-货拉拉-NLP工程师 面试题6道

[julyedu_7]

1.词向量平均法做分类的优劣势是什么

优势

1. 词向量平均的方法做分类模型，主要的优势是模型简单
2. 有参数模型，无参数模型都可以尝试使用，模型选择大
3. 模型速度极快，训练的参数量少
4. 在语句少的场景下，效果好

劣势

1. 在语句长的长的场景下，效果会变的很差
2. 语句长，分出的词多，词越多，信息量越杂，简单的做平均的话，重要的词的信息会在平均的过程中极大的被消弱，从而分类效果差

2.词向量的基础上如何做优化

1. 映入一个新的向量，做attention，此向量专门对重要的，和标签相关的词敏感。从而通过加权平均的方式，得到的句向量只包含重要词的信息，忽略不重要的词的信息，从而加强模型的效果。
2. 使用self-attention, 尝试对语句里词的分布做重新的调整，提高模型的学习能力
3. 使用Transformer encoder或者bert来做学习

硬核好课，限时1分钱秒杀>>Transformer与Bert特训4 - 七月在线

3.Bert模型和Transformer模型之间的关系

1. Transformer模型有encoder和decoder
2. Bert其实就是Transformer的encoder的部分
3. Transformer只是一个空模型，里面的参数都是随机的，需要在下游任务上做有监督的训练，由于参数量大，直接使用Transformer做训练，模型难收敛，并且速度慢
4. Bert其实是预训练好的Transformer的encoder部分，也就是已经在海量的数据集上做了Transformer的参数的训练了，其参数可以保存下来，直接拿来在下游任务上使用，做调优。

4.Bert模型中有哪些预训练的任务

1. 首先是MLM任务，masked language model。随机的mask掉一些词，从而基于上下文，通过attention的方法来训练，来预测mask的词。
2. NSP任务，Next Sentence Prediction任务。通过CLS的来进行二分类，查看当前两个句子是否是上下文。词任务的有效性在各大论文中也是有争议的，有的说这个任务有用，有的说这个任务没用。

5.Bert模型的做句向量的缺陷

1. 直接使用Bert做句向量的输出，会发现所有的句向量两两相似度都很高。
2. 因为对于句子来说，大多数的句子都是使用常见的词组成的
3. Bert的词向量空间是非凸的，大量的常见的词向量都是在0点附近，从而计算出的句子向量，都很相似

6.如何解决Bert句向量的缺陷

1. 使用双卡的形式，将两个句子传入两个参数共享的Bert模型，将两个句向量做拼接，进行有监督的学习，从而调整Bert参数。此方法叫sentencebert。
2. 使用无监督或者有监督的对比学习，将同一个句子传入相同的bert(dropout = 0.3)得到标签为正例的一个句子对。通过这种方式来做Bert的微调整，得到SimCSE模型。

[CSDN-Ada助手]

您可以前往 CSDN问答-人工智能 发布问题, 以便更快地解决您的疑问