KTDictSeg分词系统V1.3.01下载

weixin_39820835 2019-05-20 11:30:12

* KTDictSeg 简介: KTDictSeg 是由KaiToo搜索开发的一款基于字典的简单中英文分词算法
* 主要功能: 中英文分词，未登录词识别,多元歧义自动识别,全角字符识别能力
* 主要性能指标:
* 分词准确度:90%以上(有待专家的权威评测)
代码采用 Visual Studio 2005 编译通过，需在.net framework 2.0 下运行
相关下载链接：//download.csdn.net/download/kang2004wei/2289679?utm_source=bbsseo

...全文

10 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

* KTDictSeg 简介: KTDictSeg 是由KaiToo搜索开发的一款基于字典的简单中英文分词算法 * 主要功能: 中英文分词，未登录词识别,多元歧义自动识别,全角字符识别能力 * 主要性能指标: * 分词准确度:90%以上(有待专家的权威评测) 代码采用 Visual Studio 2005 编译通过，需在.net framework 2.0 下运行

盘古分词 lucene3.0.3 使用示例可以方便地整合到项目中使用，.net 4.0的。有分页功能。新加根据分类索引功能。

KTDictSeg 是一个开源的C#.net编写的，分词准确率大于90%，分词速度非常快，支持人名识别，词性标注，词频判断，未登录词识别，字典管理，Lucene.net接口。
http://www.cnblogs.com/eaglet/archive/2008/05/29/1209646.html

1、修改字典格式，提高字典加载速度 2、增加对英文专业名词的支持如C++,C#等只要加入字典就可以被分出来 3、增加词频判断功能，在无法取舍时根据词频取舍 4、增加优先优先词频选项，通过这个选项动态决定分词粒度需打开 FreqFirst 5、增加中文人名前后缀统计和根据该统计定位人名的功能 6、增加中文人名和未登录词出现频率统计功能 7、增加自动更新字典功能，对超过阈值的人名和未登录词自动插入字典需打开 AutoInsertUnknownWords 开关并设置 UnknownWordsThreshold，(不推荐自动插入，推荐手工插入) 8、增加定期保存字典和统计结果功能需设置 AutoSaveInterval 9、增加KTDictSeg.xml配置文件来配置分词参数 10、增加对Lucene.net 的支持，提供 KTDictSegAnalyzer 分析器给Lucene.net 11、增加字典管理功能，可以添加删除修改字典 12、字典管理中提供从未登录词中批量插入字典功能，可帮助使用者手工选择合适的未登录词插入字典（推荐） 13、提供一个新闻搜索的简单例子，采用Lucene.net+KTDictSegAnalyzer+KTDictSeg,项目名为Demo.KTDictSegAnalyzer 14、将所有ArrayList 改为List 其中 src_V1.3.01是源码 rel_V1.3.01 包含所有的可执行文件，配置文件；Data目录下是词库，停用词表，以及我目前统计的人名前后缀词表；News 目录下是Lucene.net为新闻搜索的例子建的索引。 News.zip 是上图中批量插入时要输入的XML文件，它包含3万条从新浪和中华网抓下来的过时的新闻，大约2000万字左右，可供各位朋友学习使用。注意：如果要导入news.xml，这个文件必须要和Demo.KTDictSegAnalyzer.exe放在同一个目录下！

IKAnalyzer2012_u6.jar lucene-analyzers-common-4.3.0.jar lucene-core-4.3.0.jar lucene-queryparser-4.3.0.jar （都是官方下载的 2013/6/5）

下载资源悬赏专区

12,792

社区成员

12,328,093

社区内容

发帖

与我相关

我的任务

其他技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章