-
本版专家分：3622结帖率 100% -
各位达人好!
现在有个lucene 索引程序,在长期运行后效率降低.
目前需要索引的数据量是1T,文件基本都是小文件,个数超过1700w.
服务器配置 cpu 8个,内存8ge,硬盘>10t
已经做过一些优化,效率仍然不满意.
想请教一下这个情况的分析思路以及需要做哪些基本测试
或者说可以通过哪些手段进行性能盘查.....
请大家敞开思路 多提建议
-
本版专家分：262 -
lucene 好像可以设置大小 和 优化
看看《Lucene in Action》里面有详细介绍
-
本版专家分：7873 -
把索引文件适当拆分成多个，多线程分别检索，最后再合并结果。
-
本版专家分：7873
-
“把索引文件拆成多个”的理由有两个：
1. 好像检索速度跟索引文件的尺寸不是线性关系，索引文件越大，检索效率越低；
2. 如果硬盘是分卷的，可以把拆开的文件分散到不同的卷上，提高 IO 效率。
“多线程”的理由当然就是发挥 8CPU 的优势。