mysql 全量数据同步到ES

weixin_38061732 2019-06-20 09:25:41

开发四年只会写业务代码，分布式高并发都不会还做程序员？->>>

有没有好的多线程方法读取mysql库同步到ES 中呢

...全文

688 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_38109674 2019-06-21

打赏
举报

回复

DataX

weixin_38095150 2019-06-21

打赏
举报

回复

自己写吧，其实不难

weixin_38087180 2019-06-21

打赏
举报

回复

GG这类软件。问题是你们准备投多少钱。

canal_mysql_elasticsearch_sync支持请星 :sparkles: 交流Q群：733688083 canal于v1.1.2版本后，已支持自动同步到Elasticsearch。赞canal！基于运河的Mysql的与Elasticsearch实时同步的的JavaWeb服务。 canal是阿里巴巴mysql数据库binlog的增量订阅和消费组件。工作原理全量暴露的Http接口（接口定义见），待调用后开启后台线程，通过主键分批同步指定数据库中数据到Elasticsearch 读取数据库会加读锁主键必须为数字类型过程首先会根据所给的数据库主键分段，拿到最大的主键数字max_id；

基于canal的mysql和elasticsearch实时同步方案，支持增量同步和全量同步.zip

ETL异构数据源同步datax视频教程/全量/增量/定时同步。 DataX 是阿里开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效...

DBSyncer是一款开源的数据同步中间件，提供MySQL、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步场景。支持上传插件自定义同步转换业务，提供监控全量和增量数据统计图、应用性能预警等。特点组合驱动，自定义库同步到库组合，关系型数据库与非关系型之间组合，任意搭配表同步映射关系实时监控，驱动全量或增量实时同步运行状态、结果、同步日志和系统日志开发插件，自定义转化同步逻辑

DBSyncer（简称dbs）是一款开源的数据同步中间件，提供MySQL、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步场景。支持上传插件自定义同步转换业务，提供监控全量和增量数据统计图、应用性能预警等。

其他技术讨论专区

433

社区成员

791,270

社区内容

发帖

与我相关

我的任务

其他技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章