ES wildcard 搜索数据量过大时,无法搜索出来结果

weixin_39138925 2020-07-24 02:18:19

前置条件: 1亿条数据搜索

搜索1:
创建一个索引"c_data",其中模糊搜索的字段"context"指定类型未text,当索引文件有1-5000W数据库的时候,使用Wildcard搜索的时候,是可以搜索出来结果的,当数据量大于5000W 的时候,es的控制面板就catch出来错误,然后就搜索不到了.

搜索1:
创建10个索引"c_data_1-10",如果只搜索单个索引的话,可以搜索出来结果,如果将这些索引整个到一起搜索,搜索结果就找不到了.

...全文

8548 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

hui1202 2020-07-29

打赏
举报

回复

索引就直接用c_data_*,这点数据不存在搜索不了报错的

hui1202 2020-07-29

打赏
举报

回复

不存在啊，我这里几十E的都可以搜出来。。。用kibana检测下

## 什么是graylog Graylog 是一个简单易用、功能较全面的日志管理工具，相比 ELK 组合，优点： - 部署维护简单 - 查询语法简单易懂(对比ES的语法…) - 内置简单的告警 - 可以将搜索结果导出为 json - 提供简单的聚合统计功能 - UI 比较友好 - 当然，拓展性上比 ELK 差很多。整套依赖： - Graylog 提供 graylog 对外接口 - Elasticsearch 日志文件的持久化存储和检索 - MongoDB 只是存储一些 Graylog 的配置 ## 安装 > 可以是裸机安装，也可以是docker安装，这里用docker安装环境要求: - centos7.4 - cpu2个内存2G 参考: https://hub.docker.com/r/graylog2/graylog/ ### 环境准备 ``` mkdir /root/graylog && cd /root/graylog //挂载目录 mkdir -p mongo_data graylog_journal es_data //配置文件目录 mkdir -p ./graylog/config cd ./graylog/config wget https://raw.githubusercontent.com/Graylog2/graylog-docker/3.0/config/graylog.conf wget https://raw.githubusercontent.com/Graylog2/graylog-docker/3.0/config/log4j2.xml //提前准备镜像 docker pull mongo:3 docker pull graylog/graylog:3.0 docker pull elasticsearch:5.6.9 ``` ### docker-compose.yml ``` version: '2' services: # MongoDB: https://hub.docker.com/_/mongo/ mongo: image: mongo:3 volumes: - ./mongo_data:/data/db - /etc/localtime:/etc/localtime # Elasticsearch: https://www.elastic.co/guide/en/elasticsearch/reference/5.5/docker.html elasticsearch: image: elasticsearch:5.6.9 volumes: - ./es_data:/usr/share/elasticsearch/data - /etc/localtime:/etc/localtime environment: - http.host=0.0.0.0 - transport.host=localhost - network.host=0.0.0.0 # Disable X-Pack security: https://www.elastic.co/guide/en/elasticsearch/reference/5.5/security-settings.html#general-security-settings - xpack.security.enabled=false - "ES_JAVA_OPTS=-Xms512m -Xmx512m" ulimits: memlock: soft: -1 hard: -1 mem_limit: 1g # Graylog: https://hub.docker.com/r/graylog/graylog/ graylog: image: graylog/graylog:3.0 volumes: - ./graylog_journal:/usr/share/graylog/data/journal - ./graylog/config:/usr/share/graylog/data/config - /etc/localtime:/etc/localtime environment: # CHANGE ME! - GRAYLOG_PASSWORD_SECRET=somepassword

之前讲过Elasticsearch 的wildcard（通配符查询）、regexp（正则查询）、prefix（前缀查询），他们都是致力于模糊搜索，然后在实际的项目中该如何选择，稍不注意就可能到很大性能问题。使用方式这里就不再赘述了，他们都是基于词条查询，它们也需要遍历倒排索引中的词条列表来找到所有的匹配词条，然后逐个词条地收集对应的文档ID。针对Numeric datatypes（long...

当Elasticsearch（ES）中的单个索引（index）的数据量变得过大时，可能会遇到性能下降、查询缓慢、管理困难等问题。。

在 Elasticsearch 7.9 中，我们将引入一种新的 “wildcard” 字段类型，该字段类型经过优化，可在字符串值中快速查找模式。这种新的字段类型采用了一种全新的方式来索引字符串数据，从而解决了在日志和安全性数据中高效索引和搜索的最佳实践。根据你现有的字段用法，通配符可以提供：更简单的搜索表达式（无需将 AND /单词/短语组合在一起）更简单的索引编制（无需定义分析器选择）不再有的缺失值更快的搜索更少的磁盘使用这种新数据类型最令人兴奋的功能是简化了部分匹配。使用通配符，你

1.概述转载：https://elasticsearch.cn/article/171 许多有RDBMS/SQL背景的开发者，在初次踏入ElasticSearch世界的时候，很容易就想到使用(Wildcard Query)来实现模糊查询（比如用户输入补全)，因为这是和SQL里like操作最相似的查询方式，用起来感觉非常舒适。然而近期我们线上一个搜索集群的故障揭示了，滥用wildcard query可能带来灾难性的后果。故障经过线上有一个10来台机器组成的集群，用于某个产品线的产品搜索。数据量并不大，.

62,046

社区成员

669,048

社区内容

发帖

与我相关

我的任务

javascript云原生企业社区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

.NET 社区是一个围绕开源 .NET 的开放、热情、创新、包容的技术社区。社区致力于为广大 .NET 爱好者提供一个良好的知识共享、协同互助的 .NET 技术交流环境。我们尊重不同意见，支持健康理性的辩论和互动，反对歧视和攻击。

希望和大家一起共同营造一个活跃、友好的社区氛围。

试试用AI创作助手写篇文章吧

+ 用AI写文章