现在有个lucene 索引程序,在长期运行后效率降低.

[AIHUA]

各位达人好!

现在有个lucene 索引程序,在长期运行后效率降低.

目前需要索引的数据量是1T,文件基本都是小文件,个数超过1700w.

服务器配置 cpu 8个,内存8ge,硬盘>10t

已经做过一些优化,效率仍然不满意.

想请教一下这个情况的分析思路以及需要做哪些基本测试

或者说可以通过哪些手段进行性能盘查.....

请大家敞开思路 多提建议

[zhaoyongling721]

lucene 好像可以设置大小 和 优化

看看《Lucene in Action》里面有详细介绍

[maquan]

把索引文件适当拆分成多个，多线程分别检索，最后再合并结果。

[maquan]

“把索引文件拆成多个”的理由有两个：

1. 好像检索速度跟索引文件的尺寸不是线性关系，索引文件越大，检索效率越低；

2. 如果硬盘是分卷的，可以把拆开的文件分散到不同的卷上，提高 IO 效率。

“多线程”的理由当然就是发挥 8CPU 的优势。