清华大学开放中文词库

幻灰龙 2021-08-18 23:20:08

http://thuocl.thunlp.org/ http://thuocl.thunlp.org/

THUOCL(THU Open Chinese Lexicon)是由清华大学自然语言处理与社会人文计算实验室整理推出的一套高质量的中文词库,词表来自主流网站的社会标签、搜索热词、输入法词库等。THUOCL具有以下特点:

包含词频统计信息DF值(Document Frequency),方便用户个性化选择使用。

词库经过多轮人工筛选,保证词库收录的准确性。

开放更新,将不断更新现有词表,并推出更多类别词表。欢迎专业人士加入,协作建设开放词库,有意者请致信 thunlp@gmail.com mailto:thunlp@gmail.com

该词库可以用于中文自动分词,提升中文分词效果。建议搭配本组研制开发的THULAC工具包使用,提升特定领域中文分词的效果。

词库格式及词频统计语料库
词库每一行由两部分组成,分别是词和DF值(存在此单词的文档个数),中间由Tab间隔。

词频统计语料库:

CSDN博客 时间:2014.07-2016.07 文档数:3785976
新浪新闻 时间:2008.01-2016.11 文档数:8421097
搜狗语料 文档数:729008561

...全文
375 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

682

社区成员

发帖
与我相关
我的任务
社区描述
自然语言处理实战,讨论算法、模型、服务、应用。请具体描述问题,提出问题。
算法推荐算法人工智能 个人社区
社区管理员
  • community_282
  • SoftwareTeacher
  • Alexxinlu
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

自然语言处理实战。

试试用AI创作助手写篇文章吧