luncene.net 创建大量数据时速度提不上去

[bestdowt1314]

luncene.net 创建索引的时候数据量小还好，一个进程单线程的也能很快。但是数据量大于100W速度就急速下降了。

然后自己改进了用了多线程的方式。速度是有所提高，以前1个小时的，现在只要10多分钟。但是依然大数据量速度并没有提高多少。我分析了主要原因就是，开的多线程，因为存在线程安全的问题。所以多线程就是节省了，数据从数据库读取后写入磁盘的时间。但最主要的还是从数据库读取数据慢。


现在自己又试验了用多进程替代多线程的方案。结果并不理想，开了多进程后，所有的进程都没有反映了。我想可以是多个进程一起访问数据库造成的。

想请教一下做过这方面的高手，有没有好的解决方案，最好能是建200W 以上数据，最多一个晚上就好。

[墨水鱼]

用luncene为什么需要读取数据库？我觉得那个是一个可以改进性能的地方。看看是不是能减少数据库访问量。另外每10万条记录左右优化一次luncene索引

[bestdowt1314]

[Quote=引用 1 楼 inkfish 的回复:]
用luncene为什么需要读取数据库？我觉得那个是一个可以改进性能的地方。看看是不是能减少数据库访问量。另外每10万条记录左右优化一次luncene索引
[/Quote]

批量创建索引的时候就需要读取数据库呀
现在已经从每1000条数据读一下，提高到2000条去读一次了。

其实对索引的写操作不存在，因为都很快

[harderLi]

怎么多线程实现呀 还有就是怎么优化