elasticsearch ES 如何根据type中的两个字段去掉重复数据?

w553093346 2015-04-13 06:02:42

elasticsearch ES 如何根据type中的两个字段去掉重复数据?

...全文

4113 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

lihuapiao 2016-09-02

打赏
举报

回复

貌似只能通过聚合来达到这样的目的，然而 buckets 中的数据目前还不支持分页，头疼

Please_Now 2016-04-28

打赏
举报

回复

我也遇到了同样的问题，求助？？？

课程目标掌握ElasticSearch的部署方法及应用，达到后端开发的技术要求适用人群大学生中学生初学者转业士兵有IT领域从业意愿的人群课程简介ElasticSearch是一款数据分析数据库+数据搜索引擎。课程以ElasticSearch7.x版本为例进行讲解，课程讲述了以下内容：在Linux系统下ElasticSearch的本地部署方法。在Linux系统下ElasticSearch对外服务的配置，常见问题及解决方法。如何在ElasticSearch建立索引，插入数据。如何在ElasticSearch更新和删除数据。如何在ElasticSearch简单搜索数据。如何在ElasticSearch完成复杂搜索及选取字段。

关系型数据库中两个数据表示是独立的，即使他们里面有相同名称的列也不影响使用，但ES中不是这样的。elasticsearch是基于Lucene开发的搜索引擎，而ES中不同type下名称相同的filed最终在Lucene中的处理方式是一样的。 • 两个不同type下的两个user_name，在ES同一个索引下其实被认为是同一个filed，你必须在两个不同的type中定义相同的filed映射。否则，不同type中的相同字段名称就会在处理中出现冲突的情况，导致Lucene处理效率下降。 • 去掉type就是为了提高

重复数据在数据分析和搜索中会造成错误。在我们的实际使用中，我们应该避免重复导入的数据。重复数据有各种原因会造成。比如我们重复导入同样的数据。当我们写入文档时使用自动生成的 ID，那么同样的文档被导入两次，这样会造成同样的两个一样的文档会保存于 Elasticsearch 中尽管它们的 ID 会有不同。在我之前的文章 “Beats：如何避免重复的导入数据”，我详细描述了如果使用 Beats 导入数据时，避免重复数据。避免在 Elasticsearch 索引中重复始终是一件好事。但是，通过消除重复项，你可

一、介绍ES7之前是有type的，属于index下，一个index可以有不同的type，ES7开始就把type这个显示概念给删除了，统一换成了_doc来表示type。也就是ES7开始一个index只能有一个type，而且这个type还是默认的_doc。二、type的底层存储1、概念讲解什么是类型(type)？从Elasticsearch的第一个发布版本以来，每一个文档都被存储在一个单独的索引里，并...

借鉴：https://blog.csdn.net/wslyk606/article/details/84315862?spm=1001.2014.3001.5506 目录1 引言2 Elasticsearch去重功能2.1 关系型数据库如何去重2.2 1 引言项目中es库中存储了大量的文档信息，而且是分段存储。需求：根据文档内容检索出当前的文档。问题：检索出了大量的相同文档，如何去重呢？大量相同文档伴生的问题： es检索到10000条以上数据就会抛错 java Api中只能显示10条检索出来的数据

10,606

社区成员

29,047

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章