高难度问题：java mysql海量数据复制一致性问题

pricks 2014-12-31 07:06:24

hi，伙伴们！
我有一个业务需求，需要从一个表中批量读取大量数据，然后保存到另一个表中。数据量会有几十万甚至几百万条。
初步设计通过spring的quatz来定时执行。
但是在复制的过程中，如何能够确保数据的一致性呢？
我自己想了几个方案，但是都不够满意，不知道有没有大牛能够解答？

...全文

203 5 打赏收藏转发到动态举报

写回复

用AI写文章

5 条回复

切换为时间正序

请发表友善的回复…

发表回复

致知Fighting 2015-01-01

打赏
举报

引用 4 楼 ygycomon 的回复:

数据同步，数据库本身有支持，如果一定要从应用层来做这个事情，可以仿造数据库的实现：一边同步一边把增量数据记下来，然后再做处理。

这是建立在不停机的基础上，如果可以接受停机的话，就不用考虑这么多了。毕竟你的数据量不大，这么点数据就别海量了，太少了

致知Fighting 2015-01-01

打赏
举报

数据同步，数据库本身有支持，如果一定要从应用层来做这个事情，可以仿造数据库的实现：一边同步一边把增量数据记下来，然后再做处理。

日知己所无 2014-12-31

打赏
举报

在复制的过程前，锁住对源数据库的所有操作【比如显示个：系统维护中】，直到所有数据导完为止，就能够确保数据的一致性了所以这种维护性的操作最好发生在凌晨大家都睡觉的时候

哆啦A梦爱吃肉 2014-12-31

打赏
举报

为啥不用数据库同步呢？

Defonds 2014-12-31

打赏
举报

你的方案是啥，为啥不满意

一起进阶学习JAVA：MySQL海量数据存储与优化第一部分分库分表实战及中间件1.1 背景介绍1.1.1 背景描述刚开始我们的系统只用了单机数据库随着用户的不断增多，考虑到系统的高可用和越来越多的用户请求，我们开始使用数据库主从架构当用户量级和业务进一步提升后，写请求越来越多，这时我们开始使用了分库分表1.1.2 遇到的问题用户请求量太大单服务器TPS、内存、IO都是有上限的，需要将请求打散分布到多个服务器单库数据量太大单个数据库处理能力有限；单库所在服务器的磁盘空间有限；单库上的操作IO有瓶颈单表

（四）双写一致性：ES与MySQL数据同步的直接同步与异步解决方案

mysql海量数据查询/处理

ES全称为"ElasticSewrch", 是一个基于RESTful web接口, 并且构建在Apache Lucene之上的开源分布式搜索引擎。ES可以在极短的时间内存储、搜索和分析大量的数据。通常作为具有复杂搜索场景情况下的核心发动机。简单来说, ES可以帮助我们快速完成海量数据的搜索工作.在实际开发中,为了保证数据的安全性和持久性, 所以,我们一般会把数据存储的数据库中, 比如mysql数据库.但, 如果数据量比较大, 并且搜索业务比较多, 则需要使用ES来实现我们的搜索功能.而ES所实现的搜索, 需

其核心思想是：使用41bit作为毫秒数，10bit作为机器的ID（5个bit是数据中心，5个bit的机器ID），12bit作为毫秒内的流水号，最后还有一个符号位，永远是0。比如A表分表为A1表和A2表，我们可以单独的创建一个MySQL数据库，在这个数据库中创建一张表，这张表的ID设置为自动递增，其他地方需要全局唯一ID的时候，就先向这个这张表中模拟插入一条记录，此时ID就会自动递增，然后我们获取刚生成的ID后再进行A1和A2表的插入。因此，如果是双主或者多主，就会增加MySQL入口，提升了主库的可用性。

Web 开发

81,122

社区成员

341,744

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章

高难度问题：java mysql海量数据复制 一致性问题

高难度问题：java mysql海量数据复制一致性问题