现在有个lucene 索引程序,在长期运行后效率降低.
目前需要索引的数据量是1T,文件基本都是小文件,个数超过1700w.
服务器配置 cpu 8个,内存8ge,硬盘>10t
已经做过一些优化,效率仍然不满意.
想请教一下这个情况的分析思路以及需要做哪些基本测试
或者说可以通过哪些手段进行性能盘查.....
请大家敞开思路 多提建议
-
等级
本版专家分：3622结帖率 100% -
各位达人好!
现在有个lucene 索引程序,在长期运行后效率降低.
目前需要索引的数据量是1T,文件基本都是小文件,个数超过1700w.
服务器配置 cpu 8个,内存8ge,硬盘>10t
已经做过一些优化,效率仍然不满意.
想请教一下这个情况的分析思路以及需要做哪些基本测试
或者说可以通过哪些手段进行性能盘查.....
请大家敞开思路 多提建议
展开阅读全文
-
等级
本版专家分：262 -
lucene 好像可以设置大小 和 优化
看看《Lucene in Action》里面有详细介绍
-
等级
本版专家分：7873 -
把索引文件适当拆分成多个，多线程分别检索，最后再合并结果。
-
等级
本版专家分：7873
-
“把索引文件拆成多个”的理由有两个：
1. 好像检索速度跟索引文件的尺寸不是线性关系，索引文件越大，检索效率越低；
2. 如果硬盘是分卷的，可以把拆开的文件分散到不同的卷上，提高 IO 效率。
“多线程”的理由当然就是发挥 8CPU 的优势。
- 影响Lucene索引速度原因以及提高索引速度技巧
在网上看了一篇外文文章，里面介绍了提高Lucene索引速度的技巧，分享给大家。先来看下影响索引的主要因素： MaxMergeDocs该参数决定写入内存索引文档个数，到达该数目后就把该内存索引写入硬盘，生成一个新的索引...
- lucene检索机制和检索性能优化
Lucene 是一个基于 Java 的全文检索工具包，你可以利用它来为你的应用程序加入索引和检索功能。Lucene 目前是著名的 Apache Jakarta 家族中的一个开源项目，下面我们即将学习 Lucene 的索引机制以及它的索引文件的...
- Lucene深入学习（9）Lucene的索引优化
在创建索引过程中，一些参数可以影响索引的效率。如果了解一些优化的手段，可以更合理地配置应用。不过这都是一些思想，如果数据量达不到一定级别，用户量不到一定规模，默认的参数总是能满足绝大部分需求。 ...
- 提高及优化lucene索引速度的方法(转)
原文地址这篇文章主要介绍了如何提高Lucene的索引速度。介绍的大部分思路都是很容易尝试的，当然另外一部分可能会加大你程序的复杂度。所以请确认索引速度确实很慢，而且很慢的原因确实是因为Lucene自身而造成的。...
- 模型预测控制 索引超出数组元素的数目(0)。_美团点评广告实时索引的设计与实现...
背景在线广告是互联网行业常见的商业变现方式。从工程角度看，广告索引的结构和实现方式直接决定了整个系统的服务性能。本文以美团点评的搜索广告系统为蓝本，与读者一起探讨广告系统的...一个广告主通常创建若干个...
- 美团点评广告实时索引的设计与实现
从工程角度看，广告索引的结构和实现方式直接决定了整个系统的服务性能。本文以美团点评的搜索广告系统为蓝本，与读者一起探讨广告系统的工程奥秘。 领域问题 广告索引需具备以下基本特性： 层次化的索引结构 ...
- LuceneInAction(第2版)学习笔记——第二章 构建索引
文档是Lucene索引和搜索的原子单位。 文档为包含一个或多个域的容器，而域则依次包含“真正的”被搜索内容。 每个域都有一个标识名称，该名称为一个文本值或二进制值。 将一个文档加入到索引中时，可以...
- 全文搜索引擎 Lucene Solr ElasticSearch 关系？
它的工作原理是计算机索引程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置，当用户查询时，检索程序就根据事先建立的索引进行查找，并将查找的结果反馈给用户的检索方式。...
- 美团广告实时索引的设计与实现
背景 在线广告是互联网行业常见的商业变现方式。从工程角度看，广告索引的结构和实现方式直接决定了...一个广告主通常创建若干个推广计划，每个计划对应一个较长周期的KPI，比如一个月的预算和投放地域。一个推广..
- 数据库索引--详解B+Tree（整理并学习）
实现数据库的意义是为了记录，记录的意义是为了查看，从大量数据中查看就是查询。...说到查找算法，最基本也是最先接触到的就是顺序查找，O(n)复杂度在数据量大的情况下显然不可接受。之后又接触到二...
- Elasticsearch引入可搜索快照（searchable snapshot）
在7.10中，我们很高兴地发布了可搜索快照的beta版，这个功能改变了你使用你所选择的对象存储（如AWS S3、Microsoft Azure Storage、Google Cloud Storage或同等产品）的方式，让你可以在： 大幅降低存储成本 在...
- 美团-点评广告实时索引的设计与实现
背景在线广告是互联网行业常见的商业变现方式。从工程角度看，广告索引的结构和实现方式直接决定了整个系统的服务性能。本文以美团点评的搜索广告系统为蓝本，与读者一起探讨...一个广告主通常创建若干个推广计划，...
- 如何做好 Elasticsearch 性能指标监控
Elasticsearch是一个开源的分布式文档存储和搜索引擎，可以实时存储和检索数据。它以结构化JSON文档的形式表示数据，可以通过RESTful API或者多语言客户端来访问并做全文搜索。 1、Elasticsearch 简要组成 ...
- 全文搜索引擎选 ElasticSearch 还是 Solr
点击蓝色“程序猿DD”关注我哟加个“星标”，不忘签到哦来源：http://t.cn/Ebgm7sn最近项目组安排了一个任务，项目中用到了全文搜索，基于全文搜索Solr，...
- 监控ElasticSearch性能指标
在这篇文章中，我们将介绍Elasticsearch如何工作，并探索您应该监控的关键指标。第2部分解释了如何收集Elasticsearch的性能指标，第3部分将介绍如何使用Datadog来监视Elasticsearch，第4部分将讨论如何解决五个常见...
- ElasticSearch使用优化之拙见
转载请标明出处： http://blog.csdn.net/forezp/article/details/94174577 本文出自方志朋的博客 ...Elasticsearch常常作为日志存储和分析的工具，在企业级应用中常常使用。Elasticsearch提供强大...
- 阿里Java面经大全（整合版）
1.上来问我项目用的框架，然后问我springmvc里面有的参数的设定，问的是细节，然后问我如果传的多个值是一个对象的属性，问我如何处理，我说直接在后端接收为对象就行了，然后突然问我http怎么传对象，这里有点不...
- Elasticsearch 5.x 生产环境和节点配置
Elasticsearch中拥有大量的自定义配置项，除了以下一些官方不能统一进行配置的选项（与环境，使用者情况有关），大多数最好不要自行配置，因为会... 配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段
- mysql 数据库拆分与整合方案
文章整理自：http://www.linuxidc.com/Linux/2011-08/40601p2.htm1、数据切分方案当数据库比较庞大，读写操作特别是写入操作过于频繁，...因为使用多台服务器，所以当一台服务器宕机后，整个系统只有部分数据不可用，而
- 腾讯万亿级 Elasticsearch 内存效率提升技术解密
作者：morningchen，腾讯 TEG 后台开发工程师Elasticsearch（ ES ）是一款功能强大的开源分布式实时搜索引擎，在日志分析（主要应用场景）、企业级搜索、时序分析等...
- Java架构之美团广告实时索引的设计与实现
背景 在线广告是互联网行业常见的商业变现方式。从工程角度看，广告索引的结构和实现方式直接决定了整个系统的服务性能。本文以美团的搜索广告系统为蓝本，与读者一起探讨广告系统的工程奥秘。...一个广告主通常创...
- Java架构——美团广告实时索引的设计与实现
背景 在线广告是互联网行业常见的商业变现方式。从工程角度看，广告索引的结构和实现方式直接决定了整个系统的服务性能。本文以美团的搜索广告系统为蓝本，与读者一起探讨广告系统的工程奥秘。...一个广告主通常创...
- 2018年阿里巴巴重要开源项目汇总（持续更新中）
开源展示了人类共同协作，成果分享的魅力，每一次技术发展都是站在巨人的肩膀上，技术诸多创新和发展往往就是基于开源发展起来的，没有任何一家网络公司可以不使用开源技术，仅靠自身技术而发展起来。阿里巴巴各个...
- 整理面试题，以及部分答案，2018
个人总结 个人瞎写，仅供参考；...list和set是实现了collection接口，map不是collection的子接口或者实现类，Map是一个接口。 List： 1.可以允许重复的对象。 2.可以插入多个null元素。 3...
- 75个阿里开源项目
前端 1.数据驱动的高交互可视化图形语法 AntV - G2 G2 是一套基于可视化编码的图形语法，以数据驱动，具有高度的易用性和扩展性，用户无需关注各种繁琐的实现细节，一条语句即可构建出各种各样的可交互的统计图表。...
- ELK实时日志分析平台环境部署--完整记录
今天，在这里分享一下自己部署的ELK（+Redis）-开源实时日志分析平台的记录过程（仅依据本人的实际操作为例说明，如有误述，敬请指出）~ ================概念介绍================ 日志主要包括系统...
- 万亿级 Elasticsearch 内存效率提升技术解密
Elasticsearch（ ES ）是一款功能强大的开源分布式实时搜索引擎，在日志分析（主要应用场景）、企业级搜索、时序分析等领域有广泛应用，几乎是各大公司搜索分析引擎的开源首选方案。 Tencent ES 是内核级深度优化的 ...
- java面试.1
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WM1UgjaX-1589530428920)(qr_code.jpg)] 基础篇 1、 Java语言有哪些特点 2、面向对象和面向过程的区别 3 、八种基本数据类型的大小，...
- getmenuiteminfo无法读取内存_腾讯万亿级 Elasticsearch 内存效率提升技术解密
Elasticsearch( ES )是一款功能强大的开源分布式实时搜索引擎，在日志分析(主要应用场景)、企业级搜索、时序分析等领域有广泛应用，几乎是各大公司搜索分析引擎的开源首选方案。Tencent ES 是内核级深度优化的 ES ...
- 每一个Java工程师都应该掌握的全文搜索引擎
最近项目组安排了一个任务，项目中用到了全文搜索，基于全文搜索 Solr 但是该 Solr 搜索云项目不稳定，经常查询不出来数据，需要手动全量同步，而且是其他团队在维护，依赖性太强，导致 Solr 服务一出问题，...