中文词向量介绍

艾文教编程

博客专家认证

2023-01-12 21:54:25

课时名称	课时知识点
中文词向量介绍	中文词向量介绍

...全文

185 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

维基百科词向量 sgns.wiki.char.bz2解压后文件后缀名是.char, 可以通过一些方法得到.txt结尾的文件，有35万多个字词和符号，300维的向量表示。将词向量作为词嵌入层时需要加载全部的词向量到内存，如果计算机的内存不够大，会直接内存溢出。所以，截取8000，20000个词汇的词向量进行使用，在配置普遍的设备也能运行。该项目提供了100多个使用不同表示（密集和稀疏），上下文特征（单词，ngram，字符等）和语料库训练的中文单词向量（嵌入）。人们可以很容易地获得具有不同属性的预训练向量，并将它们用于下游任务。

基于中文对话文本使用Word2Vec进行训练得到的词向量

词向量 词向量_使用Python构建Wiki中文语料词向量模型示例

深度学习方法训练词向量.pdf

词向量 词向量_中文文本相似度计算_采用text2vec词向量工具进行计算对比

艾文的课程社区_NO_2

3

社区成员

450

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章