-
本版专家分：0结帖率 0% -
因为业务需要，现在需要删除三天之前的数据，但是有些可删，有些不可以删。所有只能通过命令：/_delete_by_query?conflicts=proceed+参数（POST提交）。但是因为每天的数据量已经达到80G了。POST请求会报504错误。导致数据没办法完全删除。请求大神有什么比较好的解决方案吗？
-
本版专家分：709
-
- Github 绑定github第三方账户获取
-
-
有批量接口，这个批量接口最大可接受的数据量比较大！根据配置还可以修改！
-
本版专家分：53
-
https://blog.csdn.net/mmayanshuo/article/details/84784784
不知是否能帮上你
-
本版专家分：0
-
非常感谢！ 非常感谢！都很有帮助
- Elasticsearch面试篇
- 最近面试一些公司，被问到的<em>关于</em>Elasticsearch和搜索引擎相关的<em>问题</em>，以及自己总结的回答。Elasticsearch是如何实现Master选举的？Elasticsearch的选主是ZenDiscovery模块负责的，主要包含Ping（节点之间通过这个RPC来发现彼此）和Unicast（单播模块包含一个主机列表以控制哪些节点需要ping通）这两部分；对所有可以成为master的节点（node...
- Elasticsearch 之 Elasticsearch面试总结
- 一、Elasticsearch监控的常用工具 我大概用过如下的监控插件（注意此处插件的版本，不同es的版本，监控工具的安装方式可能不一样） 1. bigdesk 统计分析和图表化<em>elasticsearch</em>的集群信息状态 https://blog.csdn.net/wuzhiwei549/article/details/83211715 2. hea...
- 关于elasticsearch的一些问题总结
- 1.什么是<em>elasticsearch</em>？ ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。-----百度百科2.为什么会...
- ElasticSearch 知识点整理
- 1：es介绍 Elasticsearch是一个基于Lucene的实时的分布式搜索和分析引擎。设计用于云计算中， 能够达到实时搜索，稳定，可靠，快速，安装使用方便。基于RESTful接口。 普通请求是...get?a=1 rest请求....get/a/1 2：全文搜索的工具有哪些 Luce
- ES面试基础知识要点
- 前言：由于工作内容的变动，接触Elasticsearch的时间变少了很多。担心荒废了这个技能，订阅了Elasticsearch的日报，每天会推送ES的相关知识。业余时间我会整理日报中，我能看懂的知识，结合我自己的实践写成博客。核心内容多为翻译、学习他人的经验和架构、实践知识点要点，在此统一感谢各原作者。让我们一起学习Elasticsearch 原文地址如果你对基础概念不了解，可以先看下Elasti...
- Elasticsearch使用过程中的问题总结
- 1、es脑裂<em>问题</em>由于某些节点的失效，部分节点的网络连接会断开，并形成一个与原集群一样名字的集群，这种情况成为集群脑裂（split-brain）现象。这个<em>问题</em>非常危险，因为两个新形成的集群会同时索引和修改集群的数据。正常情况下，集群中的所有的节点，应该对集群中master的选择是一致的，这样获得的状态信息也应该是一致的，不一致的状态信息，说明不同的节点对master节点的选择出现了异常——也就是所谓的
- elasticsearch面试必考（亲身经历的问题）
- 作者：手留余香 | 转自：Java架构沉思录 | 原文 面试题 es 写入数据的工作原理是什么啊？es 查询数据的工作原理是什么啊？底层的 lucene 介绍一下呗？倒排索引了解吗？ 面试官心理分析 问这个，其实面试官就是要看看你了解不了解 es 的一些基本原理，因为用 es 无非就是写入数据，搜索数据。你要是不明白你发起一个写入和搜索请求的时候，es 在干什么，...
- Elasticsearch面试题
- 转载自 Elasticsearch面试题 <em>问题</em>一： 什么是ElasticSearch？ Elasticsearch是一个基于Lucene的搜索引擎。它提供了具有HTTP Web界面和无架构JSON文档的分布式，多租户能力的全文搜索引擎。Elasticsearch是用Java开发的，根据Apache许可条款作为开源发布。 <em>问题</em>二： 您可以在文档上执行哪些基本操作？ 可以在文档...
- Elasticsearch(ES)面试小结
- 原文地址：https://www.cnblogs.com/luckcs/articles/7052932.html 追加： 什么是ES？ es是一个高扩展、开源的全文检索和分析引擎，它可以准实时地快速存储、搜索、分析海量的数据。 为什么要使用到ES？ 因为在我们商城中的数据，将来会非常多，所以采用以往的模糊查询，模糊查询前置配置，会放弃索引，导致商品查询是全表扫面，在百万级别的数据库中，...
- Elasticsearch相关面试题，你该怎么回答？
- 1、<em>elasticsearch</em>了解多少，说说你们公司es的集群架构，索引数据大小，分片有多少，以及一些调优手段 。 面试官：想了解应聘者之前公司接触的ES使用场景、规模，有没有做过比较大规模的索引设计、规划、调优。 解答： 如实结合自己的实践场景回答即可。 比如：ES集群架构13个节点，索引根据通道不同共20+索引，根据日期，每日递增20+，索引：10分片，每日递增1亿+数据， 每个通道每天索引大...
- elasticsearch：问题总结
- <em>问题</em>1：修改<em>elasticsearch</em>配置文件<em>elasticsearch</em>.yml容易出现的<em>问题</em> 启动报错： 解决：修改es配置文件的时候，因为没有在“：”号后面留空格 这里也不能有空格： 启动成功： 登陆：http://sparkproject2:9200/_plugin/...
- Elasticsearch 遇到的问题汇总
- 前段时间一直在研究ES（Elasticsearch简称）集群，故难免会遇到一些<em>问题</em>，现就遇到的<em>问题</em>做下深入的分析和总结。在分析之前我们先对ES集群中涉及到的关键名词进行了解。 一 ES集群比较重要名词解释 1）shards shards指的是索引分片的大小，一个大的索引被分为若干个分片后，存储于不同的节点上以构成分布式搜索。分片不一定是越多越好，分片数量要按自己的
- Kibana 3 修改本地时区的问题
- 虽然目前Kibana最新的版本为Kibana4，当时仍然有不少同学使用Kibana3，那么<em>问题</em>来了！ Kibana有一个头疼的<em>问题</em>就是页面日期字段现实为标准零时区，来看下，群里好多新手经常问这个<em>问题</em>！ 解决办法其实也是很简单的了，一起来看... 1.点击Table右上角的设置图标 2.选择面板选项Panel 3.勾选下方的LocalTime属性，并设置需要进行时区转换的属性...
- java 操作ElasticSearch进行搜索 遇到的问题记录
- 由于公司需求，要我通过es去帅选数据，公司也没人会，只好自己慢慢摸索，期间碰到不少坑，现在记录下来：1：分组查询（比如按字段：orderId）时报：java.lang.IllegalArgumentException: Fielddata is disabled on text fields by default. Set fielddata=true on [orderid] in order ...
- elasticsearch几点使用建议
- 公司的一个项目用了<em>elasticsearch</em>，我接手这个项目的维护工作，中途发生了几次需求变更以及bug修复。在过程中，我发现几点不好的使用方式： 1.目前的存储，都是放在同一个index下的，然后不同业务分的不同的type存储。 2.存储数据之前，没有初始化操作，未对索引中字段进行类型设置。 为何提出以上两点建议： 遇到了<em>问题</em>： 在一个type的数据中，我增加了一个字段，记录以逗号分隔的日期（具
- ElasticSearch文档.pdf
- ElasticSearch文档.pdf<em>关于</em>ElasticSearch集群部署，java调用，软件安装说明
- Elasticsearch-对并发冲突的解决（乐观锁、悲观锁）
- <em>elasticsearch</em>乐观锁与悲观锁
- Elasticsearch未授权访问整改建议（转）
- 原文链接：http://www.sojson.com/blog/213.html 漏洞描述：ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。Elasticsearch的增删改查操作全部由ht
- 面试小结之Elasticsearch篇
- Elasticsearch是如何实现Master选举的？ Elasticsearch的选主是ZenDiscovery模块负责的，主要包含Ping（节点之间通过这个RPC来发现彼此）和Unicast（单播模块包含一个主机列表以控制哪些节点需要ping通）这两部分；对所有可以成为master的节点（node.master: true）根据nodeId字典排序，每次选举每个节点都把自己所知道节点排
- ES：结果震荡问题：
- ES：结果震荡<em>问题</em>： preference（偏爱） https://www.elastic.co/guide/en/<em>elasticsearch</em>/reference/2.3/search-request-preference.html#search-request-preference
- 关于java API操作elasticsearch 实时更新的一些问题及解决
- 在使用ES进行更新时遇到的实时刷新文档<em>问题</em>，目前ES并未提供根据具体参数修改对应文档，几乎所有更新修改的方法都是通过获取想要修改对象的ID来更新对应文档。 网上也基本没有这方面的解决方法，话不多说，直接上代码…… @Override public JSONObject XXX(String userName, String userId, String Status) thro...
- Elasticsearch 大文本字段中的中文精确查询
- 中文精确查询用Elasticsearch怎么做？ Google了不少文章，个人觉得没有抓住重点，或者Elasticsearch升级后有所改变。 背景介绍 前人精品文章推荐 简单来讲，从Elasticsearch设计的初衷来讲， match查询用来做搜索引擎类似的评分查询，精确匹配查询用term来做，参见各种Elasticsearch的手册，不展开。中文的精...
- ElasticSearch教程——Search相关、deep paging问题及解决方案
- ElasticSearch汇总请查看：ElasticSearch教程——汇总篇 搜索所有索引 GET /_search 返回结果 { "took": 6, "timed_out": false, "_shards": { "total": 16, "successful": 16, "skipped": 0, "fai
- ElasticSearch处理版本冲突
- 当使用index API更新文档的时候，我们读取原始文档，做修改，然后将整个文档(whole document)一次性重新索引。最近的索引请求会生效——Elasticsearch中只存储最后被索引的任何文档。如果其他人同时也修改了这个文档，他们的修改将会丢失。 很多时候，这并不是一个<em>问题</em>。或许我们主要的数据存储在关系型数据库中，然后拷贝数据到Elasticsearch中只是为了可以用于搜索。或许...
- ElasticSearch教程——并发问题与锁机制
- ElasticSearch汇总请查看：ElasticSearch教程——汇总篇 并发冲突 举个例子，比如在电商的场景下，假设我们有个程序，其工作流程为： 1.读取商品信息（包含库存，以牙膏为例）； 2.用户下单购买; 3.更新商品库存（库存减一）; 如果该程序是多线程的，那么总有一个线程是先得到的，假设我们牙膏库存一开始有100件，此时线程A先得到线程将牙膏的库存设置为99件，然后线程...
- Elasticsearch集群中JVM问题的应对之策
- Elasticsearch集群中JVM<em>问题</em>的应对之策 Elasticsearch集群中JVM<em>问题</em>的应对之策
- 如何尽量避免Elasticsearch脑裂问题
- 今天碰到个<em>问题</em>，8个结点的ES集群老是启动失败，检查发现居然形成多个小集群，也就是说，出现了多个master结点。 折腾半天，发现调整如下两个参数有效： discovery.zen.ping_timeout（默认3秒）： 默认情况下，一个节点会认为，如果master节点在3秒之内没有应答，那么这个节点就是死掉了，而增加这个值，会增加节点等待响应的时间，从一定
- 关于ElasticSearch性能调优几件必须知道的事
- （零）ElasticSearch架构概述 ElasticSearch是现在技术前沿的大数据引擎，常见的组合有ES+Logstash+Kibana作为一套成熟的日志系统，其中Logstash是ETL工具，Kibana是数据分析展示平台。ES让人惊艳的是他强大的搜索相关能力和灾备策略，ES开放了一些接口供开发者研发自己的插件，ES结合中文分词的插件会给ES的搜索和分析起到很大的推动作用。Elastic...
- elasticSearch之版本冲突处理
- 当你使用索引API来更新一个文档时，我们先看到了原始文档，然后修改它，最后一次性地将整个新文档进行再次索引处理。Elasticsearch会根据请求发出的顺序来选择出最新的一个文档进行保存。但是，如果在你修改文档的同时其他人也发出了指令，那么他们的修改将会丢失。 很长时间以来，这其实都不是什么大<em>问题</em>。或许我们的主要数据还是存储在一个关系数据库中，而我们只是将为了可以搜索，才将这些数据拷贝到Ela
- 关于ElasticSearch集群自动扫描同网段错误
- <em>关于</em>集群搭建 ， discovery.zen 代表ES的自动发现节点机制，ES是一个基于p2p的系统，它先通过广播寻找存在的节点，再通过多播协议来进行节点之间的通信，同时也支持点对点的交互。 **如果是不同网段的节点如果组成ES集群 禁用自动发现机制 discovery.zen.ping.multicast.enabled:f
- elasticsearch集群生产环境问题及解决
- 1、oom错误 集群运行了一段时间后，就出现了oom错误，甚至有的节点的内存都被占满，服务器都无法登陆。 原因：默认情况下<em>elasticsearch</em>对字段数据缓存是没有限制的，会一直占用内存，直到内存用完 解决方法：1、设置es的缓存类型为Soft Reference，在配置文件中增加 index.cache.field.ty
- elasticsearch遇到的一些问题
- 1，logstash向es里面导入mysql数据，表字段名称驼峰式自动变成了小写 我是使用logstash同步mysql数据的，因为在jdbc.conf里面没有添加 lowercase_column_names =&gt; "false" 这个属性，logstash默认把查询结果的列名改为了小写，同步进了es，所以就导致es里面看到的字段名称全是小写。...
- elasticsearch6+集群配置，新增加了节点间SSL认证，cert
- 参考文章：https://blog.csdn.net/zk673820543/article/details/81781534 1.bin目录下运行<em>elasticsearch</em>-certgen： 依次输入生成cert.zip的文件名，节点信息和IP，会在当前目录生成一个zip压缩包 2.config目录下新建cert文件夹，将压缩包解压到文件夹会发现ca文件和各个节点密匙文件夹 3....
- 分库深度翻页问题&Elasticsearch的解决方式
- 主要内容 o一 业界难题-跨库分页需求 o二 解决方案 o三 <em>elasticsearch</em>采用的解决方案&amp;源码解析 o四 由分页<em>问题</em>引发对es性能的思考 一 业界难题-跨库分页需求 1.1分页查询的业务需求&amp;常用的解决方式 互联网分页拉取获取数据的需求: （1）微信消息过多时，拉取第N页消息 （2）京东下单过多时，拉取第N页订单 （3）浏览58同城，查看第N页帖子...
- elasticsearch 深分页问题以及解决方法
- <em>elasticsearch</em> 深分页<em>问题</em>以及解决方法 本文主要参考： 1、https://www.elastic.co/guide/en/<em>elasticsearch</em>/reference/current/search-request-scroll.html 2、《Elasticsearch权威指南》 好，下面上货。 首先介绍一下，什么是深分页<em>问题</em>。 当使用elasticse
- ElasticSearch多shard场景相关度打分不准确问题
- 如果一个Index有多个shard的话，那么搜索的结果可能不太准确。 比如我们在某一个shard中，有很多个document,假设有20个文档的record.desc中包含Premium，当搜索Premium的请求到达这个shard的时候，会利用TF/IDF计算相关度算法： TF: Term Frequency的缩写，表示该term在当前document出现的频率 IDF: Inverse
- Elasticsearch 避免脑裂问题
- 脑裂<em>问题</em>：所谓脑裂<em>问题</em>，就是同一个集群中的不同节点对于集群的状态有了不一样的理解（引起理解不一样有节点之间网络断开等很多很多原因），脑裂<em>问题</em>是分布式集群环境中必然会遇到的<em>问题</em>，会引起集群中有多个主节点。 在 <em>elasticsearch</em> 集群如何避免脑裂<em>问题</em>： (1)：修改集群中每个节点的配置文件（<em>elasticsearch</em>.yml）参数 discovery.zen.mi...
- 递归实现ElasticSearch 嵌套查询
- 0 概述 在实际工作中，我们会经常遇到一些and 与 or 以及非相关嵌套的查询方式，本文采用递归方式来实现这种相对复杂的嵌套查询。 1 实例分析 如下我们要查询用户表中name 为小红 且他的年龄等于10 或者大于15 select * from user where name='小红' and （age=10 or age &gt;15) or 查询写法实例 se...
- Elasticsearch集群的脑裂问题
- 所谓脑裂<em>问题</em>（类似于精神分裂），就是同一个集群中的不同节点，对于集群的状态有了bu
- ElasticSearch - 索引库的基本安装操作以及索引库的增删改查操作
- 一. 安装启动 ElasticSearch 1. 下载 ElasticSearch 安装包 下载路径: https://pan.baidu.com/s/1TotAJCeT7iDavJTlQxSCeQ 2. 安装 ElasticSearch 将下载好后的压缩包解压到要安装的路径下即安装成功 3. 启动 ElasticSearch 双击 bin 目录中的 <em>elasticsearch</em>....
- elasticsearch使用中遇到的问题（二）
- 1、在实际需求中需要同一个字段实现精确和模糊检索，而且需要对检索的关键字不进行分词的搜索，如（子龙）这个关键词，不能拆分成子和龙这两个关键字，要以一个整体去检索，检索的结果必须是 子龙 或者 *子龙 或者 子龙* 或者 *子龙* 这样需要设置同一个字段具有多个属性，而且要自定检索期分词器和索引器的分词器 此处指定 search_analyzer ：以空格分词
- ELK解决8小时的时间误差
- ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。 Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
- ElasticSearch更新字段类型的具体解决办法（重要）
- 前几天遇到的<em>问题</em>，<em>elasticsearch</em>中已经导入了将近两亿条数据，但是客户方又需要把其中的一个字段由string类型改为date类型，本来以为这是一个很简单的<em>问题</em>，但是。。。麻烦大了 这个麻烦就是，当你要给已经索引好的文档改变其中一个字段类型的时候，需要对所有的数据重新索引！！！！！ 下面是利用<em>elasticsearch</em> java api实现的一个数据重新索引工具： package e
- 关于elasticsearch和kibana的时区和日期问题
- <em>elasticsearch</em>原生支持date类型，json格式通过字符来表示date类型。所以在用json提交日期至<em>elasticsearch</em>的时候，es会隐式转换，把es认为是date类型的字符串直接转为date类型。至于什么样的字符串es会认为可以转换成date类型，参考<em>elasticsearch</em>官网介绍https://www.elastic.co/guide/en/<em>elasticsearch</em>/
- 第七篇 elasticsearch如何解决并发冲突问题
- 1. 乐观锁和悲观锁两种并发控制方案数据库管理系统（DBMS）中的并发控制的任务是确保在多个事务同时存取数据库中同一数据时不破坏事务的隔离性和统一性以及数据库的统一性。乐观并发控制(乐观锁)和悲观并发控制（悲观锁）是并发控制主要采用的技术手段。 不要把他们和数据中提供的锁机制（行锁、表锁、排他锁、共享锁）混为一谈。其实，在DBMS中，悲观锁正是利用数据库本身提供的锁机制来实现的。1.1 悲观锁 如
- [日志处理工作之七]Elasticsearch集群脑裂现象与保证可靠性的配置
- 昨天在导入数据的时候，数据量不是很大，八十几万个event，导入的过程中Kafka lag不断上升，<em>elasticsearch</em>开始无响应，master与slave断掉连接，重启后无法自动发现。查资料后得知这是<em>elasticsearch</em>的脑裂现象，这篇博客 http://m.blog.csdn.net/blog/huwei2003/47004745 提供了处理方案，按照他的说法，处理方式如下：
- Elasticsearch文档版本冲突原理与解决
- 一般我们在更新文档时，主要的操作流程时：读取文档-&amp;amp;gt;修改-&amp;amp;gt;提交保存。数据中心等保存的都是最新一次提交的内容。 大部分时候，这都没有什么<em>问题</em>。但是如果两个或更多的请求同时修改一个文档时，非常容易产生冲突，因为上述的流程无法保证原子性，也不可能保证。 冲突解决常用的两种策略： 悲观锁并发策略 在关系性数据库中，通过阻塞并排队的方式，来避免发生冲突，例如在读取数据行时阻塞，来保证正在修...
- Elasticsearch 在项目中的实战(大纲)
- 1.下载安装<em>elasticsearch</em>2.下载安装<em>elasticsearch</em>-head插件，图形化界面操作3.将原有项目数据库数据和ES库连接同步，此处用到工具<em>elasticsearch</em>-jdbc4.将查询或操作的数据源切换到ES库...
- Logstash elasticsearch MySQL数据同步以及遇到问题解决
- 使用Logstash将MySQL数据同步到<em>elasticsearch</em>： input { stdin { } jdbc { jdbc_driver_library =&gt; "mysql-connector-java-5.1.46-bin.jar" jdbc_driver_class =&gt; "com.mysql.jdbc.Driv...
- ElasticSearch 集群是如何保证数据的一致性和实时性？
- 1. 当我们在说一致性，我们在说什么？ 在分布式环境下，一致性指的是多个数据副本是否能保持一致的特性。 在一致性的条件下，系统在执行数据更新操作之后能够从一致性状态转移到另一个一致性状态。 对系统的一个数据更新成功之后，如果所有用户都能够读取到最新的值，该系统就被认为具有强一致性。 分布式系统不可能同时满足一致性（C：Consistency）、可用性（A：Availability）和分...
- elasticsearch遇到的一些问题以及解决方法
- <em>elasticsearch</em>遇到的一些<em>问题</em>以及解决方法 1.由gc引起节点脱离集群 因为gc时会使jvm停止工作，如果某个节点gc时间过长，master ping3次（zen discovery默认ping失败重试3次）不通后就会把该节点剔除出集群，从而导致索引进行重新分配。 解决方法： （1）优化gc，减少gc时间。（2）调大zen discovery的重试次数（...
- Elasticsearch笔记八之脑裂
- <em>elasticsearch</em>集群脑裂<em>问题</em>
- Elastic search的日期问题
- Elastic search的日期<em>问题</em>使用过elastic search的程序员们大概都会遇到一个比较蛋疼的<em>问题</em>： 日期存放在elastic search，究竟是格式化为字符串存储比较好，还是直接使用es的默认日期类型比较好，还是转化为unix时间戳比较好呢？无论我们以何种日期存放，elastic search的底层存放的还是时间戳，时间戳存储起来还是比较方便的。对于我们的直观感受和搜索而言呢，时
- ELK中Kibana4中Elasticsearch的UTC时间误差八小时的处理方法
- 使用ELK组件从Kibana4中查看日志数据，以某个时间字段为timestam时发现所有时间都被自动提前了八个小时。 虽然是小<em>问题</em>，但是很头疼，因为作为基线的时间和实际情况有误差，那日志就没法看了。 查看Kibana4的json数据格式可以发现所有时间字符串都被Elasticsearch转换成了长整型： "fields": { "@timestamp": [
- elasticsearch和kibana的时区和日期问题
- <em>elasticsearch</em>原生支持date类型，json格式通过字符来表示date 类型。所以在用json提交日期至<em>elasticsearch</em>的时候，es会隐式转换，把es认为是date类型的字符串直接转为date类型。至于什么 样的字符串es会认为可以转换成date类型，参考<em>elasticsearch</em>官网介绍https://www.elastic.co/guide/en /elast...
- ElasticsearchCRUD使用(三)【嵌套文档的MVC】
- 具有1对n个实体的模型用于与Elasticsearch进行交互的模型具有1到n的关系。 SkillWithListOfDetails类具有SkillDetail对象的列表。 这些类将作为嵌套对象使用SkillDetail列表保存到Elasticsearch。 这个子对象可以像父对象SkillWithListOfDetails中的任何其他属性一样进行搜索。public class SkillWithL
- ElasticSearch47:初识搜索引擎_搜索相关参数梳理以及bouncing results问题解决方法
- 1.preference 决定了哪些shard会被用来执行搜索操作 _primary（只搜索primary shard）, _primary_first（primary shard优先）, _local, _only_node:xyz, _prefer_node:xyz, _shards:2,3 bouncing results<em>问题</em>：两个document排序，field值相同，不同的sha
- Elasticsearch生产环境中的一些问题
- 1. low water disk 某个节点的硬盘空间超过85%时，es将不会再往该节点分配replica。这在重启后时，会发现集群状态始终是yellow，有一些unassigned shards。此时可以不停机的进行集群配置。 PUT _cluster/settings { "transient": { "cluster.routing.allocation.disk.wa
- linux上安装elasticsearch时遇到的问题及解决办法
- 1、启动 <em>elasticsearch</em> 如出现异常 can not run <em>elasticsearch</em> as root 解决方法：创建ES 账户，修改文件夹 文件 所属用户 组 2、启动异常：ERROR: bootstrap checks failed system call filters failed to install; check the logs and fix your...
- Spring Boot 2.1.X整合最新版本Elasticsearch的相关问题
- Spring boot 2.1.X整合Elasticsearch最新版的一处<em>问题</em> 新版本的Spring boot 2的spring-boot-starter-data-<em>elasticsearch</em>中支持的Elasticsearch版本是2.X，但Elasticsearch实际上已经发展到6.5.X版本了，为了更好的使用Elasticsearch的新特性，所以弃用了spring-boot-starte...
- 漫谈ElasticSearch关于ES性能调优几件必须知道的事
- ElasticSearch是现在技术前沿的大数据引擎，常见的组合有ES+Logstash+Kibana作为一套成熟的日志系统，其中Logstash是ETL工具，Kibana是数据分析展示平台。ES让人惊艳的是他强大的搜索相关能力和灾备策略，ES开放了一些接口供开发者研发自己的插件，ES结合中文分词的插件会给ES的搜索和分析起到很大的推动作用。ElasticSearch是使用开源全文检索库Apach
- Elasticsearch生产环境遇到的有关问题以及解决方案
- Elasticsearch是一个开源的分布式实时搜索与分析引擎，支持云服务。它是基于Apache Lucene搜索引擎的类库创建的，提供了全文搜索能力、多语言支持、专门的查询语言、支持地理位置服务、基于上下文的搜索建议、自动完成以及搜索片段（snippet）的能力。Elasticsearch支持RESTful的API，可以使用JSON通过HTTP调用它的各种功能，包括搜索、分析与监控。此外，它还为
- ElasticSearch里面关于日期的存储方式,解决差8个小时
- 在ElasticSearch里面最常用的就是时间字段了，经常会在群里看到一些小伙伴提出有关时间的<em>问题</em>，为什么es查询的时间跟我实际看到的时间差8个小时呢。如果我们了解了ElasticSearch底层的时间存储方式就会比较容易的理解这个<em>问题</em>。 下面散仙先普及下时区的知识，想必大家也不陌生学过地理的同学都知道全球有24个时区每个时区的跨度是经度15度， 相较于两地时间表，可以显示世界各时区时间和地名的...
- ElasticSearch的JVM浅谈（转）
- JVM对ElasticSearch集群的稳定性有很大的影响。Java是一个垃圾收集语言，意思是这个程序不会手动管理分配和释放内存。程序员只需要编写代码，jvm管理根据需要管理分配内存的处理，然后在不需要的时候清理。Young (or Eden) 当新实例一个对象的时候分配的空间，新生代的空间一般比较小，通常是100MB-500MB，新生代也包含了2个幸存(survivor)空间。Old 存储较老
- 初识elasticsearch解决并发问题
- 一、乐观锁和悲观锁 ①悲观锁： 顾名思义，就是很悲观，每次去拿数据的时候都认为被人会修改，所以每次拿数据的时候都会加锁，以防别人修改，直到操作完成后，才会被别人执行。常见的关系型数据库，就用到了很多这样的机制，如行锁，表锁，读锁，写锁，都是在操作之前加锁。 悲观锁的优点：方便，直接加锁，对外透明，不需要额外的操作。 悲观锁的缺点：并发能力低，同一时间只能有一个...
- Elasticsearch5.4.3与Spring集成出现的问题
- 错误一：IllegalArgumentException: Could not resolve placeholder 'jdbc.driverClassName' in string value "${...}"出现这个<em>问题</em>是因为我在配置文件中使用了多个&lt;context:property-placeholder&gt;applicationContext.xml中： &lt;cont...
- elasticsearch（6）string field索引两次来解决字符串排序问题
- 如果对一个string field进行排序，结果往往不准确，因为分词后是多个单词，再排序就不是我们想要的结果了。 貌似会采用分词后的term的第一个term进行排序。 通常解决方案是，将一个string field建立两次索引，一个分词，用来进行搜索；一个不分词，用来进行排序 PUT /website { "mappings": { "article": { ...
- Elasticsearch 之（35）深入剖析搜索结果的highlight高亮显示
- 前言在《 Elasticsearch 之（5）kibana多种搜索方式》中粗略提到高亮搜索的基本用法，本篇将详细剖析搜索结果的highlight高亮显示。1、一个最基本的高亮例子建立mapping，设置IK分词器PUT /blog_website { "mappings": { "blogs": { "properties": { "title": { ...
- 运维面试篇------1.elk基础面试
- 1.ELK是什么？ ELK 其实并不是一款软件，而是一整套解决方案，是三个软件产品的首字母缩写 Elasticsearch：负责日志检索和储存 Logstash：负责日志的收集和分析、处理 Kibana：负责日志的可视化 这三款软件都是开源软件，通常是配合使用，而且又先后归于 Elastic.co 公司名下，故被简称为 ELK 2.ELK能做什么？ ELK组件在海量日志系统的运维中，
- ElasticSearch 5.4.1 安装问题及解决办法
- <em>elasticsearch</em> 安装<em>问题</em>及解决办法
- ElasticSearch插入数据问题
- 插入数据索引和类型名都必须小写
- 你的Elasticsearch在“裸奔”吗？
- 题记 安全事件频发， 2018上半年的群友的讨论： http://www.safedog.cn/news.html?id=3212 https://www.easyaq.com/news/1184405110.shtml 安全隐患划重点： 1、印度：没有设置Elasticsearch集群安全权限； 2、婚庆网站：Elasticsearch服务器暴露到公网。 3、群友：9200端口映射到外网。...
- elasticsearch5.x在java查询中排序的问题
- 最近线上的es报了一个异常，核心信息如下： Java代码No mapping found for [createDate] in order to sort on我们的es索引是嵌套索引，上面的这个异常大致意思是说在某个shard里面嵌套结构里面 createDate这个字段不存在数据，所以排序失败。 如何解决： 这个也比较好解决，在排序的时候，需要设置在maping里面不存在的里面，应该如何处理...
- 二、ElasticSearch 国内外优秀案例有哪些
- Elasticsearch优秀案例 Github Github：GitHub使用ElasticSearch搜索20TB的数据，包括13亿文件和1300亿行代码。 Foursquare Foursquare：实时搜索5千万地理位置信息？Foursquare每天使用ElasticSearch做到了。 SoundCloud SoundCloud：So...
- ElasticSearch搜索超过10000条会报错
- curl -H "Content-Type: application/json" -XPUT http://127.0.0.1:9200/你自己的index名字/_settings -d '{ "index" : { "max_result_window" : 500000}}' curl -H "Content-Type: application/json" -XPUT http://1...
- 浅谈ElasticSearch的认知
- 概念（引用百度百科）：ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。我们建立一个网站或应用程序，并要添加搜索功能，但是想要...
- Elasticsearch更新重复提交和版本控制（并发问题）
- 1.乐观锁 Elasticsearch 使用这个 _version 号来确保变更以正确顺序得到执行。如果旧版本的文档在新版本之后到达，它可以被简单的忽略。 我们可以利用 _version 号来确保 应用中相互冲突的变更不会导致数据丢失。我们通过指定想要修改文档的 version 号来达到这个目的。 如果该版本不是当前版本号，我们的请求将会失败。 （1）Java代码控制使用upsert()方法 cl...
- Elasticsearch 常见问题汇总
- Elasticsearch 常见<em>问题</em>汇总max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]解决办法： 1. 修改配置sysctl.conf$ sudo vi /etc/sysctl.conf 添加如下配置： vm.max_map_count=655360 执行命令：
- Elasticsearch里面聚合group结果不正确
- 我们都知道Elasticsearch是一个分布式的搜索引擎，每个索引都可以有多个分片，用来将一份大索引的数据切分成多个小的物理索引，解决单个索引数据量过大导致的性能<em>问题</em>，另外每个shard还可以配置多个副本，来保证高可靠以及更好的抗并发的能力。 将一个索引切分成多个shard，大多数时候是没有<em>问题</em>的，但是在es里面如果索引被切分成多个shard，在使用group进行聚合时，可能会出现<em>问题</em>，这
- 解决spring-data-elasticsearch 5.4.0 不支持 5.4.1的elasticsearch问题
- 解决spring-data-<em>elasticsearch</em> 5.4.0 不支持 5.4.1的<em>elasticsearch</em><em>问题</em>
- elasticsearch 东八区问题
- 搭建ELK环境导入的数据发现，@timestamp时间永远比nginx日志里面的文件记录的时间少了8小时，比如日志文件里面一行记录，设置的字段时间为2017-06-22 09:33:26，但是导入到es里面时间变成"@timestamp": "2017-06-22T01:33:26.000Z"，少了整整8个小时，但是kibana显示图表的时候却是没有。后来查资料知道这是es设置的东八区<em>问题</em>，kib
- Elasticsearch插件（二）：pinyin分词
- 在Elasticsearch的对于中文的检索，有时候用户输入拼音，需要匹配到对应的汉字。pinyin分词效果还是不错的。支持拼音搜音，拼音首字母搜索和组合搜索。大部分使用场景是pinyin分词和ik分词组合使用。 安装 版本号要跟Elasticsearch版本对应。 手动安装： 1.在plugins文件夹中创建pinyin文件夹 mkdir pinyin 2.下载...
- java ElasticSearch并发操作之乐观锁的使用
- ES在添加和更新操作，其实是不安全的，所有的数据库db系统都会存在并发<em>问题</em>像关系型数据库MySQL，Oracle，SQL Server默认采用的是悲观锁。 在ElasticSearch中采用的乐观锁，下面先熟悉下什么是乐观锁和悲观锁： 悲观锁(Pessimistic Lock), 顾名思义，就是很悲观，每次去拿数据的时候都认为别人会修改，所以每次在拿数据的时候都会上锁，这样别人想拿这个数据就会...
- Elasticsearch Java API 的使用（6）—时间聚合
- java时间聚合public class EsAggregation{ public void searchAggregation(TransportClient client){ AggregationBuilder aggregation = AggregationBuilders .dateRange("agg") .fi
- elasticsearch安装,以及安装过程遇到的问题以及解决方案
- 安装<em>elasticsearch</em> 下载 官方下载地址 或者使用如下命令 wget https://artifacts.elastic.co/downloads/<em>elasticsearch</em>/<em>elasticsearch</em>-6.2.2.tar.gz curl -L -O https://artifacts.elastic.co/downloads/<em>elasticsearch</em>/elasticsea...
- 断电或重启集群elasticsearch，你所需要做的事！
- 正如我们在 水平扩容 讨论过， Elasticsearch 将自动在可用节点间进行分片均衡，包括新节点的加入和现有节点的离线。理论上来说，这个是理想的行为，我们想要提拔副本分片来尽快恢复丢失的主分片。 我们同时也希望保证资源在整个集群的均衡，用以避免热点。
- elasticsearch与spark，hbase等jar包冲突导致报错问题
- 在原有的spark程序中，其中包含hhase,spark等，会出现jar包冲突导致有异常的<em>问题</em>，程序中都是使用maven。 在异常中，包含nosuchmethod的异常错误信息，可以看出是guava版本与hadoop版本不一致导致，Hadoop中使用的是12版本，而es2.3.1默认使用18版本。这样才程序执行的时候使用的是12版本，会导致类中的方法找不到的异常。 解决办法是，es的依赖不使用...
- ElasticSearch(五) 并发下的版本控制
- 锁有悲观锁和乐观锁，数据库中的事务就是悲观锁，CAS就是乐观锁。 java高并发：CAS无锁原理及广泛应用 同样在ElasticSearch中也有乐观锁，在ES中使用版本控制进行锁的实现。es的版本控制分为内部和外部两种类型，默认使用内部版本控制，version_type=external的时候是外部值控制。 内部版本控制： 在前面已经了解到每当对某一文档进行操作...
- elasticsearch 6.x 关于 join 类型的 一些问题记录（长期更新）
- 背景： 随着es 版本的不断向前演进，在es 6.x 版本中，已经开始有意识地，主动的去弱化 type 这个概念。原因简单来说就是，es 底层存储时，相同 type的数据会存储在一起，但类比到数据库中的表，我们知道，不同数据库的同样名称的表的数据是不存储在一起的；所以type 对于 es 删除来说有害无利。为解决此<em>问题</em>，es 决定在 6.x 版本中 弱化之，在 7.x 版本中 会彻底删除 type...
- ElasticSearch搜索时match和term大小写问题
- 第一次写博客，想做一个自我提升，总结一下平常生活和工作，写的不好，有错误的地方，请指出，请轻喷。 ES的建立索引过程：分词-&gt;语法处理（还原时态等等）-&gt;排序-&gt;创建索引。 其他暂不讨论，本文只讨论大小写<em>问题</em>。 如果创建index时mapping没有指定某个filed的标准化配置normalizer，那么如果写入ES的是大写，搜索出来看到的结果也是大写...
- ElasticSearch最佳入门实践（三十四）multi-index & multi-type 搜索模式解析以及搜索原理解析
- 1、multi-index 和 multi-type 搜索模式 告诉你如何一次性搜索多个 index 和多个 type 下的数据 /_search：所有索引，所有type下的所有数据都搜索出来 /index1/_search：指定一个index，搜索其下所有type的数据 /index1,index2/_search：同时搜索两个index下的数据 /*1,*2/_search：...
- 谈谈在Elasticsearch遇到建index的坑
- es在建index超过一定数量时，会遇到建index特别慢的<em>问题</em>，建一个index需要好几分钟， 分析源码后发现 建index过程中，有一个遍历所有shard的过程 disk relocation ，包含两层for循环，非常的耗时， 把这个设置关闭后，建index变得迅速起来
- 关于elasticsearch搜索不精确问题
- 今天有个同事在使用<em>elasticsearch</em>搜索“李四”的时候，跟我说搜索不准切，为什么在username字段里出现“李四君”的排前面，而“李四”的排在后面呢，我也觉得奇怪，按照lucene的评分公式，的确应该是“李四”评分最高。 后来使用<em>elasticsearch</em>的explain功能对每个hit评分的详细情况进行分析，结果发现，“李四君”所在hit的maxDocs=6，而其他的
- hadoop2.6数据导入elasticsearch2.2（解析hbase导出数据）
- 参考网址： https://www.elastic.co/guide/en/<em>elasticsearch</em>/hadoop/current/mapreduce.html 1.下载依赖jar <em>elasticsearch</em>-hadoop2.2.0.jar这个从私服下载吧。 2.数据流向是： hbase导出数据-》hdfs-》es2 3.以下直接粘贴代码 import java.ut
- Discuz7.2使用说明书下载
- Discuz7.2 使用说明书，里面包含了Discuz7.2详细的使用方法和说明，欢迎你的下载 相关下载链接：[url=//download.csdn.net/download/l123451415/2150576?utm_source=bbsseo]//download.csdn.net/download/l123451415/2150576?utm_source=bbsseo[/url]
- lpc2368demo程序下载
- lpc2368demo程序lpc2368demo程序lpc2368demo程序lpc2368demo程序lpc2368demo程序lpc2368demo程序lpc2368demo程序lpc2368demo程序lpc2368demo程序 相关下载链接：[url=//download.csdn.net/download/yangligang126_cc/2418894?utm_source=bbsseo]//download.csdn.net/download/yangligang126_cc/2418894?utm_source=bbsseo[/url]
- dxf文件格式的详细解释和总结下载
- 包中包含了dxf文件的所有组码的解释，文件的解析。C++例子。dxf文件的格式解析的总结。 相关下载链接：[url=//download.csdn.net/download/weiguo06/2551499?utm_source=bbsseo]//download.csdn.net/download/weiguo06/2551499?utm_source=bbsseo[/url]
我们是很有底线的