高难度问题：java mysql海量数据复制一致性问题

pricks 2014-12-31 07:07:33

hi，伙伴们！
我有一个业务需求，需要从一个表中批量读取大量数据，然后保存到另一个表中。数据量会有几十万甚至几百万条。
初步设计通过spring的quatz来定时执行。
但是在复制的过程中，如何能够确保数据的一致性呢？
我自己想了几个方案，但是都不够满意，不知道有没有大牛能够解答？

...全文

231 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

rucypli 2015-01-03

打赏
举报

回复

insert into tb1 select * from tb2就是一个事物可以保证数据一致

qq_25016305 2015-01-03

打赏
举报

回复

mysql事务处理

码无边 2015-01-02

打赏
举报

回复

mysql事务处理

一起进阶学习JAVA：MySQL海量数据存储与优化第一部分分库分表实战及中间件1.1 背景介绍1.1.1 背景描述刚开始我们的系统只用了单机数据库随着用户的不断增多，考虑到系统的高可用和越来越多的用户请求，我们开始使用数据库主从架构当用户量级和业务进一步提升后，写请求越来越多，这时我们开始使用了分库分表1.1.2 遇到的问题用户请求量太大单服务器TPS、内存、IO都是有上限的，需要将请求打散分布到多个服务器单库数据量太大单个数据库处理能力有限；单库所在服务器的磁盘空间有限；单库上的操作IO有瓶颈单表

（四）双写一致性：ES与MySQL数据同步的直接同步与异步解决方案

mysql海量数据查询/处理

在当今大数据时代，Java作为主流的编程语言之一，在处理海量数据时面临着诸多挑战。想象一下，一个电商网站在一天之内产生的交易数据量可能高达数百万条，这些数据需要被实时处理和分析，以便为用户提供个性化的推荐和服务。在这样的场景下，如何高效地管理和处理这些海量数据成为一个关键问题。数据分块策略正是为了解决这一挑战而提出的。当数据量巨大时，一次性加载和处理所有数据可能会导致内存溢出、处理速度缓慢等问题。因此，将数据分块处理成为了一种有效的解决方案。

ES全称为"ElasticSewrch", 是一个基于RESTful web接口, 并且构建在Apache Lucene之上的开源分布式搜索引擎。ES可以在极短的时间内存储、搜索和分析大量的数据。通常作为具有复杂搜索场景情况下的核心发动机。简单来说, ES可以帮助我们快速完成海量数据的搜索工作.在实际开发中,为了保证数据的安全性和持久性, 所以,我们一般会把数据存储的数据库中, 比如mysql数据库.但, 如果数据量比较大, 并且搜索业务比较多, 则需要使用ES来实现我们的搜索功能.而ES所实现的搜索, 需

57,063

社区成员

56,759

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章