我有一个业务需求，需要从一个表中批量读取大量数据，然后保存到另一个表中。数据量会有几十万甚至几百万条。
初步设计通过spring的quatz来定时执行。
但是在复制的过程中，如何能够确保数据的一致性呢？
我自己想了几个方案，但是都不够满意，不知道有没有大牛能够解答？
-
等级
本版专家分：134结帖率 88.24% -
hi，伙伴们！
我有一个业务需求，需要从一个表中批量读取大量数据，然后保存到另一个表中。数据量会有几十万甚至几百万条。
初步设计通过spring的quatz来定时执行。
但是在复制的过程中，如何能够确保数据的一致性呢？
我自己想了几个方案，但是都不够满意，不知道有没有大牛能够解答？展开阅读全文
-
等级
本版专家分：50582勋章
-
- GitHub 绑定GitHub第三方账户获取
-
-
优秀版主
优秀大版主
2015年8月优秀大版主
2015年9月优秀大版主
-
-
黄花
2015年2月 Java大版内专家分月排行榜第二
2014年3月 Java大版内专家分月排行榜第二
-
-
蓝花
2014年9月 Java大版内专家分月排行榜第三
2014年6月 Java大版内专家分月排行榜第三
2014年2月 Java大版内专家分月排行榜第三
2013年11月 Java大版内专家分月排行榜第三
2013年10月 Java大版内专家分月排行榜第三
-
-
你的方案是啥，为啥不满意
-
等级
本版专家分：77 -
为啥不用数据库同步呢？
-
等级
本版专家分：5144勋章
-
- GitHub 绑定GitHub第三方账户获取
-
-
在复制的过程前，锁住对源数据库的所有操作【比如显示个：系统维护中】，
直到所有数据导完为止，就能够确保数据的一致性了
所以这种维护性的操作最好发生在凌晨大家都睡觉的时候
-
等级
本版专家分：7845
-
数据同步，数据库本身有支持，如果一定要从应用层来做这个事情，可以仿造数据库的实现：
一边同步一边把增量数据记下来，然后再做处理。
-
等级
本版专家分：7845
-
这是建立在不停机的基础上，如果可以接受停机的话，就不用考虑这么多了。毕竟你的数据量不大，这么点数据就别海量了，太少了
- 一起进阶学习JAVA：MySQL海量数据存储与优化
一起进阶学习JAVA：MySQL海量数据存储与优化第一部分 分库分表实战及中间件1.1 背景介绍1.1.1 背景描述刚开始我们的系统只用了 单机数据库随着用户的不断增多，考虑到系统的高可用和越来越多的用户请求，我们开始...
- mysql海量数据处理步骤
除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在千万级以下，字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单...
- 还没弄懂分布式场景下数据一致性问题？一文教你轻松解决！
目前分布式事务问题是怎么解决的 行业中有什么解决方案 这些解决方案分别有什么优缺点 别人是怎么做的 我们可以怎么来做 此次分享的缘由 支付重构 考虑支付重构的时候，自然想到原本属于一个本地事务中的处理，现在...
- 一文教你迅速解决分布式事务 XA 一致性问题
欢迎大家前往腾讯云技术社区，获取更多腾讯海量技术实践干货哦~ 作者：腾讯云数据库团队 近日，腾讯云发布了分布式数据库解决方案（DCDB），其最明显的特性之一就是提供了高于开源分布式事务XA的性能。大型业务...
- mysql 海量数据的存储和访问解决方案
随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分...
- 海量数据切分方案
当今社会是一个信息大爆炸的社会，大家都在用都在用各种应用软件，也因此产生了大量的数据，企业把这些数据当做宝贝，然而这些被视为宝贝的数据往往是我们技术人员的烦恼，这些海量的数据存储和访问成为了系统设计与...
- sqlserver检测到基于一致性的逻辑_还没弄懂分布式场景下数据一致性问题？一文教你轻松解决！...
文章纲要此次分享的缘由目前分布式事务问题是怎么解决的行业中有什么解决方案这些解决方案分别有什么优缺点别人是怎么做的我们可以怎么来做此次分享的缘由支付重构考虑支付重构的时候，自然想到原本属于一个本地事务...
- 你的报表工具会做数据准备吗 ——报表开发中的深层次问题
前言 现在企业的报表开发大部分都使用报表工具完成，成熟的报表工具提供了丰富的...但是，原始数据经常并不适合直接呈现，需要先做一些复杂的处理，这就是数据准备环节。 从报表工具的眼光上看，数据准备属于报表之外
- Mysql海量数据存储和解决方案之一—分布式DB方案
2) 需求分析：一个大型互联网应用每天几十亿的PV对DB造成了相当高的负载，对系统的稳定性的扩展性带来极大挑战。 3) 现有解决方式：通过数据切分提高网站性能，横向扩展数据层 水平切分DB，有效降低了单台机器...
- 高级Java程序面试问题整理
文章目录Java基础基本数据类型float和double区别Object 常见方法Java中数据结构Java中异常处理访问控制修饰符== 与 equals区别重写equals方法，为什么要重写hashcodefinal 关键字的一些总结String 和 StringBuffer、...
- 数据准备 ——报表开发中的深层次问题
前言 现在企业的报表开发大部分都使用报表工具完成，成熟的报表工具提供了丰富的...但是，原始数据经常并不适合直接呈现，需要先做一些复杂的处理，这就是数据准备环节。 从报表工具的眼光上看，数据准备属于报表之外
- 数据库——MySQL分库分表的演进和实践以及中间件的比较
1、了解几个问题？ 0、什么是分库分表 把原本存储于一个库的数据分块存储到多个库上，把原本存储于一个表的数据分块存储到多个表上。 1、MySQL为什么分库分表 当一张表的数据达到几千万时，你查询一次所花的时间...
- 【建议收藏】MySQL 三万字精华总结 —分区、分表、分库和主从复制（五）
九、分区、分表、分库MySQL分区一般情况下我们创建的表对应一组存储文件，使用MyISAM存储引擎时是一个.MYI和.MYD文件，使用Innodb存储引擎时是一个.ibd和.frm（表结...
- 我的架构梦：（五十一） MySQL存储与优化之MySQL集群架构
但是数据冗余带来的问题是数据一致性问题。 实现高可用的方案有以下几种架构模式: 主从模式 简单灵活，能满足多种需求。比较主流的用法，但是写操作高可用需要自行处理。 双主模式 互为主从，有双主双写、双
- 麻烦你先搞懂这几个问题，简历再写熟悉数据库！！！
原创声明 本文作者：黄小斜 转载请务必在文章开头注明出处和作者。 本文思维导图 ...根据百度百科的介绍，数据库是“按照数据结构来组织、存储和管理数据的仓库”。是一个长期存储在计算机内的、有组织...
- Mysql海量查询数据优化
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在where及orderby涉及的列上建立索引。 2.应尽量避免在where子句中对字段进行null值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t ...
- Mysql笔记总结
Mysql笔记 1.架构 1.概念 MySQL Server架构自顶向下大致可以分网络连接层、服务层、存储引擎层和系统文件层 网络连接层 客户端连接器（Client Connectors）：提供与MySQL服务器建立的支持。 服务层 服务层是...
- mysql海量数据存储
随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来...
- Java服务端一些处理并发、线程的“问题”
明代著名的心学集大成者王阳明先生在《传习录》中有云：“道无精粗，人之所见有精粗。如这一间房，人初进来，只见一个大规模如此。处久，便柱壁之类，一一看得明白。再久，如柱上有些文藻，细细都看出来。...
- 海量数据的存储和访问解决方案
随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来...
- 幂等性，RocketMQ解决消息顺序和重复，Mysql与Java中的乐观锁悲观锁，
幂等性浅谈 GameKing 2017.01.07 21:08* 字数 1155 阅读 467评论 0喜欢 1 概述 幂等性原本是数学上的概念，即使公式：f(x)=f(f(x)) 能够成立的数学性质。用在编程领域，则意为对同一个系统，...
- 阿里Java面经大全（整合版）
阿里巴巴，三面，java实习 昨天晚上11点打电话来，问我可以面试不，我说不可以，然后就约到了今天， 1.上来问我项目用的框架，然后问我springmvc里面有的参数的设定，问的是细节，然后问我如果传的多个值是一个...
- java length()函数_来咯：Java程序员面试题精华版集合（75题加思维脑图及面试要点）
(文末思维脑图将会打开你的新世界)1、在JAVA中如何跳出当前的多重嵌套循环？ 在Java中，要想跳出多重循环，可以在外面的循环语句前定义一个标号，然后在里层循环体的代码中使用带有标号的break语句，即可跳出外层...
- Java中9种常见的CMS GC问题分析与解决
目前，互联网上 Java 的 GC 资料要么是主要讲解理论，要么就是针对单一场景的 GC 问题进行了剖析，对整个体系总结的资料少之又少。前车之鉴，后事之师，美团的几位工程师历时一年多的时...
- mysql数据库-海量数据的存储和访问解决方案（之一）
随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。通过数据切分来...
- python爬虫20个案例
讲诉python爬虫的20个案例 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
- 抢茅台jd_seckill-master 来自huanghyw
本仓库发布的jd_seckill项目中涉及的任何脚本，仅用于测试和学习研究，禁止用于商业用途，不能保证其合法性，准确性，完整性和有效性，请根据情况自行判断。 本项目内所有资源文件，禁止任何公众号、自媒体进行任何形式的转载、发布。 huanghyw 对任何脚本问题概不负责，包括但不限于由任何脚本错误导致的任何损失或损害. 间接使用脚本的任何用户，包括但不限于建立VPS或在某些行为违反国家/地区法律或相关法规的情况下进行传播, huanghyw 对于由此引起的任何隐私泄漏或其他后果概不负责。 请勿将jd_seckill项目的任何内容用于商业或非法目的，否则后果自负。
- 茅台、鞋子、手机、抢购、软件，抢购秒杀
最近各大电商平台不断持续放货，京东，天猫，苏宁，网易等，还有新加入的大军，酒仙网，，国美，华润万家和主播等等……给平台带去了巨大流量。 看到很多小伙伴都撸货撸到手发软，发财发到腿抽筋。一瓶几百+，你算算，这能赚多少钱。是不是不想上班的那种，上班一天才两三百，什么时候才能买到房子。 今天带来一个福利。那就是抢购软件，很实用。朋友圈好多都在用这个抢购。内有教程仔细阅读。最后祝每个伙伴都抢到 赚到
- Android驱动深度开发视频教程
也许是中国第一个讲解android驱动的课程，涵盖: bootloader，内核移植，INIT进程，框架(BINDER IPC,SERVICE FRAMEWORK Activity Manager Serive,JNI,HAL等),binder驱动，logger，Ashmen，电源管理，常用驱动(如灯光系统，
- Visio_2016
visio_2016下载安装，亲测可用，不需要破解，而且无秘钥。简单方便实用