1T数据 lucene 性能问题

志波同学

博客专家认证

2011-07-22 05:20:04

1T的数据，大部分是文本文件，一个文件大约1m，要建立全文索引，不知道lucene是否能够应付的了，如果能的话，有没有好的增量索引方案，增量索引的数据源包括文本文件、数据库数据。请各位支招。

...全文

174 2 打赏收藏转发到动态举报

写回复

用AI写文章

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

心灵彩虹 2011-07-26

打赏
举报

lucene提速方面：
索引：
http://wiki.apache.org/lucene-java/ImproveIndexingSpeed

搜索：
http://wiki.apache.org/lucene-java/ImproveSearchingSpeed

调大内存，做好缓存，优化排序（比较重要）

心灵彩虹 2011-07-26

打赏
举报

专业搜索引擎，lucene只是模拟！
基于lucene的compass也不错！

Lucene是apache软件基金会4 jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎...

Lucene和elasticsearch Lucene定义 Lucene是一个全文搜索框架，本质是给搜索内容定位。 Lucene是一个高性能、可伸缩的信息搜索(IR)库。它可以为你的应用程序添加索引和搜索能力。Lucene是用java实现的、成熟的开源项目，是著名的Apache Jakarta大家庭的一员，并且基于Apache软件许可 [ASF, License]。同样，Lucene是当前...

公司数据存储用的最多的就是ES了，大概每天会产生1T的数据，这个数据量还是挺大的，公司用的ES集群有12个节点，后期可能还要扩展，于是便看些博客再结合自己工作，总结了一些ES的调优第一部分：调优索引速度 1、使用批量请求批量请求将产生比单文档索引请求好得多的性能。为了知道批量请求的最佳大小，您应该在具有单个分片的单个节点上运行基准测试。首先尝试索引100个文件，然后是200，然后是...

作者丨mikevictor 来源丨www.cnblogs.com/mikevictor07/p/10006553.html 一、前言数据平台已迭代了三个版本，从刚开始遇到很多常见的难题，到终于有片段时间整理一些已完善的文档，在此分享以供需要的朋友参考，少走些弯路。此文篇幅会偏重于Elasticsearch的优化，关于HBase、Hadoop的设计优化估计有很多文章可以参考，不再...

一、Es的分布式架构是怎么样的（如何实现分布式）我们知道ElasticSearch是一个分布式搜素引擎，底层依赖于lucene全文检索，其中它的核心思想就是在多台机器上启动es进程实例来组成es集群。es中存储数据的基本单位是index索引，整个结构类似于index->type->mapping->document->field。我们完全可以类比mysql数据库来理解...

高性能WEB开发

25,985

社区成员

4,366

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章