清华大学开放中文词库

幻灰龙 幻灰龙 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区

http://thuocl.thunlp.org/ http://thuocl.thunlp.org/

THUOCL(THU Open Chinese Lexicon)是由清华大学自然语言处理与社会人文计算实验室整理推出的一套高质量的中文词库,词表来自主流网站的社会标签、搜索热词、输入法词库等。THUOCL具有以下特点:

包含词频统计信息DF值(Document Frequency),方便用户个性化选择使用。

词库经过多轮人工筛选,保证词库收录的准确性。

开放更新,将不断更新现有词表,并推出更多类别词表。欢迎专业人士加入,协作建设开放词库,有意者请致信 thunlp@gmail.com mailto:thunlp@gmail.com 。

该词库可以用于中文自动分词,提升中文分词效果。建议搭配本组研制开发的THULAC工具包使用,提升特定领域中文分词的效果。

词库格式及词频统计语料库
词库每一行由两部分组成,分别是词和DF值(存在此单词的文档个数),中间由Tab间隔。

词频统计语料库:

CSDN博客 时间:2014.07-2016.07 文档数:3785976
新浪新闻 时间:2008.01-2016.11 文档数:8421097
搜狗语料 文档数:729008561

...全文

相关推荐

THUOCL:清华大学开放中文词库

THUOCL:清华大学开放中文词库 IT 16000条 2016-12-24 download 财经 3830条 2016-12-24 download 成语 8519条 2016-12-24 download 地名 44805条 2017-06-01 download 历史名人 13658条 2016-12-24 download 诗词 13703条 2017-01-20 download 医学 18749条 2017-01-20 download 饮食 8974条 2017-04-20 download 法律 9896条 2017-04-28 download 汽车 1752条 2017-05-15 download 动物 17287条 2017-06-01 download 完整

夏旭东

这里有关于 DeepSeek 的一切资料

DeepSeek是一款高性能、开源的人工智能模型,具备强大的自然语言处理和多模态分析能力,支持文本、图像、视频等多种数据类型。其采用混合专家网络(MoE)等先进技术,训练和推理成本低,推理速度快。DeepSeek的开源策略降低了AI开发门槛,让更多开发者和企业能够低成本地开发AI应用。相比其他大模型,DeepSeek在复杂推理任务中表现优异,且完全免费,具有更高的性价比。

嘎啦AGI实验室

Java开发者必备:Pinyin4j多音字处理实战(附完整代码示例)

本文深入探讨了Java开发者使用Pinyin4j库处理汉字转拼音时遇到的多音字难题。通过分析Pinyin4j的局限性,提出了词典匹配、统计消歧和自定义规则等核心策略,并提供了完整的实战代码示例,帮助开发者构建健壮、智能的拼音转换工具,有效提升业务场景下的数据准确性与用户体验。

夏骁凯

Superset 数据分析平台搭建及使用 2

Superset 数据分析平台搭建及使用 2

秋天要到了

清华大学开放中文词库-中文分词.zip

IT 16000条 财经 3830条 成语 8519条 地名 44805条 历史名人 13658条 诗词 13703条 医学 18749条 饮食 8974条 法律 9896条 汽车 1752条 动物 17287条

吴小全
评论
收藏 已收藏
分享
返回顶部