elasticsearch怎么和数据库实时同步删除数据

朝霞清辉 2019-06-13 03:29:20

logstash只能同步增量数据，删除过的数据该怎么同步呢，大佬们有没有好的建议

...全文

373 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

朝霞清辉 2019-07-04

打赏
举报

回复

引用 1 楼超人小七的回复:

通过消息队列实现

是个办法，还有什么方法吗

想进大厂的大龄菜鸡 2019-07-03

打赏
举报

回复

通过消息队列实现

MySQL 与 Elasticsearch 数据不对称问题解决办法 jdbc-input-plugin 只能实现数据库的追加，对于 elasticsearch 增量写入，但经常jdbc源一端的数据库可能会做数据库删除或者更新操作。这样一来数据库与搜索引擎的数据库就出现了不对称的情况。当然你如果有开发团队可以写程序在删除或者更新的时候同步对搜索引擎操作。如果你没有这个能力，可以尝试下面的方法。这里有一个数据表 article , mtime 字段定义了 ON UPDATE CURRENT_TIMESTAMP 所以每次更新mtime的时间都会变化 mysql> desc article; +

中间件包括ShardingSphere分库分表的封装， Redis的封装， Kafka的封装， Elastic-Search的封装， db2es-admin的封装， db2es-client等的封装等。 sharding-starter分库分表：内置分库分表算法，SQL语法检测等功能（拦截不合法SQL，审计等功能） redis-starter：对常用的redis方法进行了封装（读写，分布式锁等功能） kafka-starter：对常用的kafka方法进行了封装（同步和异步发送，事务等功能） elasticsearch-starter：对常用的elastic-search方法进行了封装（分页，搜索，写操作等功能） db2es-admin：对db2es-client进行管控（重建索引，数据对比，数据修复等功能） db2es-client：以异步的方式，将mysql数据库中的增量数据

Elasticsearch 分布式搜索引擎 -- 数据同步：数据同步思路分析实现elasticsearch与数据库数据同步

实现elasticsearch和数据库数据同步一般有以下三种方法：方式一：同步调用优点：实现简单，粗暴缺点：业务耦合度高方式二：异步通知优点：低耦合，实现难度一般缺点：依赖mq的可靠性方式三：监听binlog优点：完全解除服务间耦合缺点：开启binlog增加数据库负担、实现复杂度高。

摘要：很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题，同构数据还相对容易，遇上异构数据、表多、数据量大等情况就难以同步。我自己亲测了一种方式，可以非常方便地完成 MySQL 数据实时同步到DM DB 达梦数据库，跟大家分享一下，希望对你有帮助。本次 MySQL 数据实时同步到 DM DB 达梦数据库大概只花了几分钟就完成。使用的工具是 m，这个工具是永久免费的。 MySQL 到 DM DB 达梦数据库实时数据同步实操分享第一步：配置MySQL 连接第二步：配置 DM DB 连接

81,092

社区成员

341,717

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章