从零开始学NLP（六）词向量技术

前言上一章已经介绍完自然语言处理任务的第一个流程——文本处理，接下来就是如何用计算机明白的语言向量表示文本了，里面包括如何更好的表示单词和句子。一、文本表示基础对于自然语言处理各类应用，最基础的任务就是文本表示。因为我们都知道一个文本是不能直接作为模型的输入的，所以我们必须要先把文本转换成向量的形式之后，再导入到模型中训练。所谓文本的表示，其实就是研究如何把文本表示成向量或者矩阵的形式。1.单词的表示如何表示一个单词，最直观的理解就是用One-hot编码来实现。One-hot表示很容易