2022AI面试1000题讨论区
10月11日-货拉拉-NLP工程师 面试题6道
墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网
我也要 关注 + 加入社区1.词向量平均法做分类的优劣势是什么
优势
- 词向量平均的方法做分类模型，主要的优势是模型简单
- 有参数模型，无参数模型都可以尝试使用，模型选择大
- 模型速度极快，训练的参数量少
- 在语句少的场景下，效果好
劣势
- 在语句长的长的场景下，效果会变的很差
- 语句长，分出的词多，词越多，信息量越杂，简单的做平均的话，重要的词的信息会在平均的过程中极大的被消弱，从而分类效果差
2.词向量的基础上如何做优化
- 映入一个新的向量，做attention，此向量专门对重要的，和标签相关的词敏感。从而通过加权平均的方式，得到的句向量只包含重要词的信息，忽略不重要的词的信息，从而加强模型的效果。
- 使用self-attention, 尝试对语句里词的分布做重新的调整，提高模型的学习能力
- 使用Transformer encoder或者bert来做学习
硬核好课，限时1分钱秒杀>>Transformer与Bert特训4 - 七月在线
3.Bert模型和Transformer模型之间的关系
- Transformer模型有encoder和decoder
- Bert其实就是Transformer的encoder的部分
- Transformer只是一个空模型，里面的参数都是随机的，需要在下游任务上做有监督的训练，由于参数量大，直接使用Transformer做训练，模型难收敛，并且速度慢
- Bert其实是预训练好的Transformer的encoder部分，也就是已经在海量的数据集上做了Transformer的参数的训练了，其参数可以保存下来，直接拿来在下游任务上使用，做调优。
4.Bert模型中有哪些预训练的任务
- 首先是MLM任务，masked language model。随机的mask掉一些词，从而基于上下文，通过attention的方法来训练，来预测mask的词。
- NSP任务，Next Sentence Prediction任务。通过CLS的来进行二分类，查看当前两个句子是否是上下文。词任务的有效性在各大论文中也是有争议的，有的说这个任务有用，有的说这个任务没用。
5.Bert模型的做句向量的缺陷
- 直接使用Bert做句向量的输出，会发现所有的句向量两两相似度都很高。
- 因为对于句子来说，大多数的句子都是使用常见的词组成的
- Bert的词向量空间是非凸的，大量的常见的词向量都是在0点附近，从而计算出的句子向量，都很相似
6.如何解决Bert句向量的缺陷
- 使用双卡的形式，将两个句子传入两个参数共享的Bert模型，将两个句向量做拼接，进行有监督的学习，从而调整Bert参数。此方法叫sentencebert。
- 使用无监督或者有监督的对比学习，将同一个句子传入相同的bert(dropout = 0.3)得到标签为正例的一个句子对。通过这种方式来做Bert的微调整，得到SimCSE模型。
相关推荐
NLP课件（自然语言处理课件）
NLP课件（自然语言处理课件）
python自然语言处理（NLP）入门.pdf
简要介绍Python(NLP)，使⽤Python的NLTK库。NLTK是Python的⾃然语⾔处理⼯具包，在NLP领域中，最常使⽤的⼀个Python库。 简单来说，⾃然语⾔处理(NLP)就是开发能够理解⼈类语⾔的应⽤程序或服务。 这⾥讨论⼀些⾃然语⾔处理(NLP)的实际应⽤例⼦，如语⾳识别、语⾳翻译、理解完整的句⼦、理解匹配词的同义词，以及⽣成语法正确整句⼦和段落。 搜索引擎: ⽐如⾕歌，Yahoo等。⾕歌搜索引擎知道你是⼀个技术⼈员，所以它显⽰与技术相关的结果； 社交⽹站推送:⽐如Facebook News Feed。如果News Feed算法知道你的兴趣是⾃然语⾔处理，就会显⽰相关的⼴告和帖⼦。 语⾳引擎:⽐如Apple的Siri。
总结梳理自然语言处理工程师(NLP)需要积累的各方面知识，包括面试题，各种基础知识，工程能力等等，提升核心竞争力
【源码预览】：https://renmaiwang.cn/s/mb7c8 (最新版、最全版本)总结梳理自然语言处理工程师(NLP)需要积累的各方面知识，包括面试题，各种基础知识，工程能力等等，提升核心竞争力
自然语言处理NaturalLanguageProcessing(NLP).ppt
主要内容: 自然语言处理概述 什么是自然语言处理 自然语言处理的典型应用 自然语言处理的基本任务 自然语言处理的基本策略和实现方法 自然语言处理的难点 自然语言处理所涉及的学科 基于规则的自然语言处理方法（理性方法，传统方法） 基于词典和规则的形态还原（英语）、词性标注以及分词（汉语、日语） 基于（上下文无关文法）和扩充的（复杂特征集、合一运算）的句法表示及其分析技术 基于逻辑形式和格语法的句义分析 基于规则的机器翻译 基于语料库的自然语言处理方法（经验方法） 语言模型（元文法） 分词、词性标注（序列化标注模型） 句法分析（概率上下文无关模型） 文本分类（朴素贝叶斯模型、最大熵模型） 机器翻译 ( 等) ......（基于神经网络的深度学习方法）
NLP 面试题和答案，附有参考URL-这篇文档是一些常见的自然语言处理(NLP)和人工智能(AI)面试题及答案的整理.md
这篇文档是一些常见的自然语言处理(NLP)和人工智能(AI)面试题及答案的整理。主要包括以下几个方面的内容: 1. AI算法基础 - 包括样本不平衡问题的解决方法 - 交叉熵函数和最大似然函数的关系和区别 - HMM、MEMM和CRF的对比 - SVM和逻辑回归的区别 - CRF的损失函数形式以及LSTM+CRF的解释 2. NLP高频问题 - Word2vec和TF-IDF在相似度计算的区别 - Word2vec和NNLM的区别 - Word2vec负采样的作用 - Word2vec和FastText的对比 - Glove、Word2vec和LSA的对比 - ELMo、GPT和BERT的区别 - LSTM和GRU的区别 3. 其他算法问题 - 梯度消失的原因及解决办法 总的来说，这份材料系统地梳理了NLP/AI领域的一些基础知识和核心模型,可以作为面试准备的重点参考。
