清华大学开放中文词库

[幻灰龙]

http://thuocl.thunlp.org/ http://thuocl.thunlp.org/

THUOCL（THU Open Chinese Lexicon）是由清华大学自然语言处理与社会人文计算实验室整理推出的一套高质量的中文词库，词表来自主流网站的社会标签、搜索热词、输入法词库等。THUOCL具有以下特点：

包含词频统计信息DF值（Document Frequency），方便用户个性化选择使用。

词库经过多轮人工筛选，保证词库收录的准确性。

开放更新，将不断更新现有词表，并推出更多类别词表。欢迎专业人士加入，协作建设开放词库，有意者请致信 [e-mail] mailto:[e-mail] 。

该词库可以用于中文自动分词，提升中文分词效果。建议搭配本组研制开发的THULAC工具包使用，提升特定领域中文分词的效果。

词库格式及词频统计语料库
词库每一行由两部分组成，分别是词和DF值（存在此单词的文档个数），中间由Tab间隔。

词频统计语料库：

CSDN博客 时间：2014.07-2016.07 文档数：3785976
新浪新闻 时间：2008.01-2016.11 文档数：8421097
搜狗语料 文档数：729008561