高难度问题：java mysql海量数据复制一致性问题

pricks 2014-12-31 07:07:33

hi，伙伴们！
我有一个业务需求，需要从一个表中批量读取大量数据，然后保存到另一个表中。数据量会有几十万甚至几百万条。
初步设计通过spring的quatz来定时执行。
但是在复制的过程中，如何能够确保数据的一致性呢？
我自己想了几个方案，但是都不够满意，不知道有没有大牛能够解答？

...全文

293 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

rucypli 2015-01-03

打赏
举报

回复

insert into tb1 select * from tb2就是一个事物可以保证数据一致

qq_25016305 2015-01-03

打赏
举报

回复

mysql事务处理

码无边 2015-01-02

打赏
举报

回复

mysql事务处理

一起进阶学习JAVA：MySQL海量数据存储与优化第一部分分库分表实战及中间件1.1 背景介绍1.1.1 背景描述刚开始我们的系统只用了单机数据库随着用户的不断增多，考虑到系统的高可用和越来越多的用户请求，我们开始使用数据库主从架构当用户量级和业务进一步提升后，写请求越来越多，这时我们开始使用了分库分表1.1.2 遇到的问题用户请求量太大单服务器TPS、内存、IO都是有上限的，需要将请求打散分布到多个服务器单库数据量太大单个数据库处理能力有限；单库所在服务器的磁盘空间有限；单库上的操作IO有瓶颈单表

（四）双写一致性：ES与MySQL数据同步的直接同步与异步解决方案

在当今大数据时代，Java作为主流的开发语言之一，在处理海量数据时面临着诸多挑战。特别是在数据查询方面，随着数据量的激增，查询效率成为制约系统性能的关键因素。以下将围绕“Java领域海量数据处理知识点之海量数据查询优化：概述”这一主题，探讨相关场景问题、介绍知识点的必要性，并对后续内容进行概述。场景问题：想象一个电商平台的订单处理系统，每天产生的订单数据量以亿计。当用户查询特定时间段内的订单信息时，如果查询优化不当，系统可能会因为数据库压力过大而响应缓慢，甚至出现查询失败的情况。

mysql海量数据查询/处理

在当今大数据时代，Java作为主流的编程语言之一，在处理海量数据时面临着诸多挑战。想象一下，一个电商网站在一天之内产生的交易数据量可能高达数百万条，这些数据需要被实时处理和分析，以便为用户提供个性化的推荐和服务。在这样的场景下，如何高效地管理和处理这些海量数据成为一个关键问题。数据分块策略正是为了解决这一挑战而提出的。当数据量巨大时，一次性加载和处理所有数据可能会导致内存溢出、处理速度缓慢等问题。因此，将数据分块处理成为了一种有效的解决方案。

57,065

社区成员

56,762

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章