1T数据 lucene 性能问题

志波同学 中国软件与技术服务股份有限公司 攻城狮  2011-07-22 05:20:04
1T的数据,大部分是文本文件,一个文件大约1m,要建立全文索引,不知道lucene是否能够应付的了,如果能的话,有没有好的增量索引方案,增量索引的数据源包括文本文件、数据库数据。请各位支招。
...全文
136 点赞 收藏 2
写回复
2 条回复
切换为时间正序
当前发帖距今超过3年,不再开放新的回复
发表回复
心灵彩虹 2011-07-26
lucene提速方面:
索引:
http://wiki.apache.org/lucene-java/ImproveIndexingSpeed

搜索:
http://wiki.apache.org/lucene-java/ImproveSearchingSpeed

调大内存, 做好缓存, 优化排序(比较重要)
回复
心灵彩虹 2011-07-26
专业搜索引擎,lucene只是模拟!
基于lucene的compass也不错!
回复
相关推荐
发帖
高性能WEB开发
创建于2008-07-01

2.5w+

社区成员

高性能WEB开发
申请成为版主
帖子事件
创建了帖子
2011-07-22 05:20
社区公告
暂无公告