[开源广告]深受MySQL查询速度缓慢的项目经理和程序员看过来
首选说明,项目借鉴和使用了阿里Canal开源项目部分代码
工程目标:
实时同步数据,同机房千兆网络5k tps的延迟在ms级别
解决海量数据MySQL查询缓慢,经常死锁等普遍问题
解决MongoDB没有跨行事务问题
实现业务写MySQL,读MongodB,来实现业务事务完整,海量快速查询
MySQL到Mongodb增量数据同步功能实现
(该工程也支持从Mongodb到Mongodb的增量同步功能)
工程借鉴阿里Canal工程,在此表示感谢agapple
工程介绍:
该工程为数据视图大项目的一个子项目,各个业务mysql导入到中间mongodb后,后面可以选择数据组装工程进行分析或者组装形成大报表或者大视图。
业务查询可以直接查询该工程形成的中间库,也可以查询组装后的大视图
伪装MySQL从库,实时同步业务MySQL增量数据到MongoDB中间库中
伪装Mongo Second 或者slave,实时同步业务Mongo增量数据到MongoDB中间库中
工程源代码:
https://github.com/ppm10103/MySQLJavaBinlogReplicater.git