现在有个lucene 索引程序,在长期运行后效率降低.

AIHUA 2008-06-03 09:03:09
各位达人好!

现在有个lucene 索引程序,在长期运行后效率降低.

目前需要索引的数据量是1T,文件基本都是小文件,个数超过1700w.

服务器配置 cpu 8个,内存8ge,硬盘>10t

已经做过一些优化,效率仍然不满意.

想请教一下这个情况的分析思路以及需要做哪些基本测试

或者说可以通过哪些手段进行性能盘查.....

请大家敞开思路 多提建议
...全文
86 3 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
maquan 2008-06-03
  • 打赏
  • 举报
回复
“把索引文件拆成多个”的理由有两个:

1. 好像检索速度跟索引文件的尺寸不是线性关系,索引文件越大,检索效率越低;

2. 如果硬盘是分卷的,可以把拆开的文件分散到不同的卷上,提高 IO 效率。

“多线程”的理由当然就是发挥 8CPU 的优势。
maquan 2008-06-03
  • 打赏
  • 举报
回复
把索引文件适当拆分成多个,多线程分别检索,最后再合并结果。
zhaoyongling721 2008-06-03
  • 打赏
  • 举报
回复
lucene 好像可以设置大小 和 优化

看看《Lucene in Action》里面有详细介绍

62,635

社区成员

发帖
与我相关
我的任务
社区描述
Java 2 Standard Edition
社区管理员
  • Java SE
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧