67,513
社区成员
发帖
与我相关
我的任务
分享如何提高Lucene建立索引的效率？
我有10万级的文件，通过Lucene建立索引发现极耗内存，虽然调整了MergeFactor参数但没什么效果，我的机器1G内存，当索引到8000多文件时，内存耗尽，死机！
后来打算分段建立索引，即每建1万个文件优化并关闭IndexWriter一次，但发现内存并没有减小。
不知还有哪些进程没有释放掉？！如何释放？
或者还有哪些更好的方法提高索引效率（占用内存少、运行时间短）？因为以后可能会有百万、千万级的文件需要索引。
后来打算分段建立索引，即每建1万个文件优化并关闭IndexWriter一次，但发现内存并没有减小。
不知还有哪些进程没有释放掉？！如何释放？
或者还有哪些更好的方法提高索引效率（占用内存少、运行时间短）？因为以后可能会有百万、千万级的文件需要索引。
...全文
请发表友善的回复…
发表回复
chg2008 2006-05-25
- 打赏
- 举报
70万花了12小时
－－－－－－－－－－－－
晕，你怎么建的，会这么慢，我的速度大慨在每分钟2w条
用多线程
－－－－－－－－－－－－
晕，你怎么建的，会这么慢，我的速度大慨在每分钟2w条
用多线程
fireflyjava 2006-05-17
- 打赏
- 举报
我是建了500条数据后
关闭IndexWriter.
70万的数据都可以建就是创建索引速度的问题
70万花了12小时
关闭IndexWriter.
70万的数据都可以建就是创建索引速度的问题
70万花了12小时
cao_zp 2006-04-24
- 打赏
- 举报
你肯定没有调整jvm的启动参数，只用了256兆内存。
andyhugb 2006-04-24
- 打赏
- 举报
minMergeFactor还有一个这样的参数，控制在内存缓冲的文档数量
cao5 2006-04-21
- 打赏
- 举报
System.Gc
henryqqq 2006-04-21
- 打赏
- 举报
1G内存怎么够，不然 那google,baidu都不死QQ了？呵呵
肯定需要追加硬件投资。上小型机。 建索引，查询等不同功能，似乎应该分配到不同的服务器上。
肯定需要追加硬件投资。上小型机。 建索引，查询等不同功能，似乎应该分配到不同的服务器上。
TinyJimmy 2006-03-01
- 打赏
- 举报
能否增量做，如果每次都重头来，那google,baidu都不死QQ了？
yyzh 2006-03-01
- 打赏
- 举报
把虚拟机内存多调些就差不多
