lucene 中文分词

daipeilei 2008-05-21 04:18:46

lucene的中文分词器用那种算法实现比较好？

...全文

58 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

daipeilei 2008-05-25

打赏
举报

回复

FFFFFFFFFFFFFFFFFFF

wangunix 2008-05-23

打赏
举报

回复

正向全切分算法，42万汉字字符/每秒的处理能力
对未知词汇采用自识别结合二元切分算法，确保搜索召回率

lqjava 2008-05-23

打赏
举报

回复

二分法比较简单有效

daipeilei 2008-05-22

打赏
举报

回复

前向最大匹配法

来自“猎图网 www.richmap.cn”基于IKAnalyzer分词算法的准商业化Lucene中文分词器。
1. 正向全切分算法，42万汉字字符/每秒的处理能力（IBM ThinkPad 酷睿I 1.6G 1G内存 WinXP）
2. 对数量词、地名、路名的优化处理
3. 对未知词汇采用自识别结合二元切分算法，确保搜索召回率
（使用方法请参考IKAnalyzer V1.1版）

Lucene中文分词器组件,不错的。

IKAnalyzer 是一个开源的，基于java语言开发的轻量级的中文分词工具包,将一段文字进行IK分词处理一般经过：词典加载、预处理、分词器分词、歧义处理、善后结尾五个部分

lucene搜索引擎中文分词器，版本2.0.4,强大的中文分词效果在其它中文分词器当中独领风骚

lucene.NET 中文分词 高亮 lucene.NET 中文分词 高亮 lucene.NET 中文分词 高亮 lucene.NET 中文分词 高亮

67,538

社区成员

225,852

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章