实现过程自己知道写，现有的方法也可以实现数据同步，那么问题来了：
1. 如何知道我把增量数据完全同步过来了？
通过查询源表增量数据数量和查询本地目的表数据量的方法太费时间，不能够使用。因为两个表数据量都是上亿。
2. 有什么比较好的方法，能够提供数据同步的效率，缩短时间。
我现有的方法是将增量数据查询出来，然后插入到数据库,使用的是这样的形式 insert into ..... select ..... from ..... where ....
大神帮帮忙，分不够可以再加。
-
等级
本版专家分：0结帖率 100% -
最近项目中需要使用Mysql的存储过程实现数据同步，数据在不同的服务器上，每天数据增量大概是20~25万左右，存储过程就是将这些增量的数据获取过来，插入到本地数据库。
实现过程自己知道写，现有的方法也可以实现数据同步，那么问题来了：
1. 如何知道我把增量数据完全同步过来了？
通过查询源表增量数据数量和查询本地目的表数据量的方法太费时间，不能够使用。因为两个表数据量都是上亿。
2. 有什么比较好的方法，能够提供数据同步的效率，缩短时间。
我现有的方法是将增量数据查询出来，然后插入到数据库,使用的是这样的形式 insert into ..... select ..... from ..... where ....
大神帮帮忙，分不够可以再加。展开阅读全文
-
等级
本版专家分：16071勋章
-
- 金牌 2014年2月 总版技术专家分月排行榜第一
-
-
银牌
2014年1月 总版技术专家分月排行榜第二
2013年12月 总版技术专家分月排行榜第二
-
- 优秀版主 2016年10月优秀小版主
-
- 微软MVP 2014年4月 荣获微软MVP称号
-
-
你是要实现 mysql直接的数据同步是吗。
我觉得是否可以这样，就是在表中新增一个字段，为1表示已经同步，为0表示，还没有同步，然后就按照你的第2点来实现，这个字段上建个索引，加快查询速度。
-
等级
本版专家分：16071勋章
-
- 金牌 2014年2月 总版技术专家分月排行榜第一
-
-
银牌
2014年1月 总版技术专家分月排行榜第二
2013年12月 总版技术专家分月排行榜第二
-
- 优秀版主 2016年10月优秀小版主
-
- 微软MVP 2014年4月 荣获微软MVP称号
-
-
另外，可以用 mysql的主从复制来实现，这个是非实时的同步，这样实现 一般也不会有性能上的问题，主库的数据有新增的，那么也会自动同步到 从库上，这个是通过二进制日志来实现的。
-
等级
本版专家分：14386勋章
-
- 签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
-
- 脉脉勋章 绑定脉脉第三方账户获得
-
-
最好用用mysql复制去实现同步。
如果是上亿条数据你采用 insert into ..... select ..... from ..... where ....
效率是比较低的，对服务器的性能有很大的影响的。
-
等级
本版专家分：20
-
在所有表中都加上一个时间撮字段。然后每次 insert into的时候 where 条件跟上时间撮范围不就OK了吗。
-
等级
本版专家分：2979 -
1、在源数据库建一张临时表，将每天的增量数据放到临时表中，
2、判断数据是不是同步到临时表可以使用count来比较（不过都在一个库里面出现数据不全应该很少），临时表的好处就是没有索引所以插入很快，count全部数据也不需要索引。加上也就30万数据。
3、在本地目的表的数据库也建一张临时表，现在将源数据库的临时表数据放到目的表的数据库的临时表中
4、判断数据是不是同步到临时表，也可以用上面2的方法，好处：即使数据有丢失也不会弄脏本地目的表。
5、将目的表的数据库的临时表数据插入到本地目的表。
6、清空两张临时表。下次使用。
时间没有计算过，不过应该不会变慢。最少保证了问题1，并且弄脏数据的概率低。
- sqlServer数据同步到mySql数据库实例
流程 在sqlServer里面写触发器和存储过程，向mysql数据库发送数据 具体实现 ---安装安装mysqlconnector http://www.mysql.com/products/connector/ /* 配置mysqlconnector ODBC数据管理器->...
- 关于mysql存储过程（表数据同步批量新增，批量修改）
1. 表数据同步（把表A的数据添加到表B） create Procedure() BEGIN #把表A表中的数据全部初始化至 表B 中 INSERT INTO 表B(user_name,trademark,regist_time,last_call_time,operator,number_area,isPay,pay_...
- SQL server数据实时同步到mysql
本文在...在同步的前提下，环境一定要搭好，测试的时候应为mysql安装的一些bug导致失败了很多次，又重装过 ---安装安装mysqlconnector http://www.mysql.com/products/connecto...
- mysql定时执行某一存储过程，并实现mysql数据库的定时备份
mysql存储过程 1、存储过程（Stored Procedure）是一组为了完成特定功能的SQL语句集，经编译后存储在数据库中，用户通过指定存储过程的名字并给定参数（如果该存储过程带有参数）来调用执行它。 语法： CREATE ...
- mysql 存储过程 实现数据同步
-- 同步数据存储过程执行 -- 更新留言旧表数据到新表数据中 /*DEFINER：Vector*/ drop procedure if exists p_for_feedback_message; create procedure p_for_feedback_message() begin DECLARE v...
- MySQL存储过程跨数据库操作同步数据
BEGIN DECLARE deliverstatus,smlen,datacoding,total int; DECLARE tsid,srcaddr,destaddr,servicetype,smcontent,linkid,sequenceno,recvtime,sta
- 关于mysql实时同步到mssql的解决方案
数据库在应用程序中是必不...现在问题来了，如何将这两个数据库同步，即数据内容保持完全一致。 MySQL Migration Toolkit是MySQL提供的开源GUI软件工具，可以针对Microsoft Access、Microsoft SQL Server、Oracle、My
- mysql存储引擎
数据库存储引擎是数据库底层软件组织，数据库管理系统（DBMS）使用数据引擎进行创建、查询、更新和删除数据。不同的存储引擎提供不同的存储机制、索引技巧、锁定水平等功能，使用不同的存储引擎，还可以获得特定的...
- mysql 存储过程+定时任务实现数据迁移
需求： 系统中用户浏览信息记录已经实现分库分表记录数据（2个库 每个库100张表），用户量比较大...实现：利用mysql的存储过程和定时任务来完成。考虑到系统已经在运行，数据库中已经存在很大量的数据了，徐拿着用存
- MySQL数据库面试题（2020最新版）
数据类型mysql有哪些数据类型引擎MySQL存储引擎MyISAM与InnoDB区别MyISAM索引与InnoDB索引的区别？InnoDB引擎的4大特性存储引擎选择索引什么是索引？索引有哪些优缺点？索引使用场景（重点）...
- 如何通过存储过程将mysql不同数据库的相同表数据迁移
a库和b库里面有很多表，字段相同表名也相同，有很多字段不同 我现在想把a库中的相同表名相同字段的表的数据转移到b中 不知道存储过程能完成不 如果不能有什么办法呢 我用的navicat 不想一个一个复制 怕出错
- mysql 存储过程复制A表数据到B表
create procedure sys_message_user_for_busbase() begin -- 声明一个标志done， 用来判断游标是否遍历完成 ... -- 特别注意这里的名字不能与由游标中使用的列明相同，否则得到的数据都是NULL DECLARE tid varchar
- 使用Oracle作为中间件编写存储过程，实现Sql Server到MySQL的数据同步
通过使用Oracle作为中间容器编写存储过程，将Sql Server的数据实时同步到MySql，不直接在SqlServer中进行操作。 公司最近的项目要部署上线了，然后需要将甲方公司的ERP,OA,MES,PLM等系统的数据同步到我们的系统之中...
- MySQL 存储过程查询远程数据库的方法
这几天有个任务，需要读取远程数据库一个表的数据存到本地表，然后进行计算。 在网上查找了资料，Oracle和SQL Server查询远程数据库是比较方便的，MySQL麻烦一些，需要在本地建立一个需要查询的远程的表结构完全...
- MySQL之间数据同步
原文链接：...环境操作系统版本：CentOS7 64位 MySQL版本：mysql5.6.33 节点1IP：192.168.1.205 主机名：edu-mysql-01 节点2IP：192.168.1.206 主机名：edu-mysql...
- MySQL存储过程优缺点
优点1.在生产环境下，可以通过直接修改存储过程的方式修改业务逻辑（或bug），而不用重启...如果是要做大数据量的导入、同步，我们可以用其它手段。3.减少网络传输，尤其是在高并发情况下。存储过程直接就在数据库...
- Mysql存储过程_一次性建立多张表
mysql存储过程之一次性建立多张表
- mysql存储过程优缺点
优点 1.在生产环境下，可以通过直接修改存储过程的方式修改业务逻辑（或bug），而不用重启服务器。但这一点便利被许多人滥用了。有人直接就在正式服务器上修改存储过程，而没有经过完整的...存储过程直接就在数据
- MySQL系列:ES数据同步
1 环境 Ubuntu18.04 ...2 mysql数据同步至ES binlog使用ROW存储模式,保证记录每条数据的变化. 2.1 增量同步 实时同步,工具canal,logstash_input_jdbc,maxwell. 2.1.0 下载canal 传送门:htt...
- mysql存储过程之存储函数（CREATE FUNCTION）
与存储过程不同，我们可以在SQL语句中使用存储的函数，也可以在表达式中使用， 这有助于提高程序代码的可读性和可维护性。我们来看下创建新存储函数的最简单语法：CREATE FUNCTION function_name(param1,...
- 在两个应用，两条连接的情况下mysql存储过程是否是同步的执行的？
``` CREATE DEFINER = `root`@`%` PROCEDURE `NewProc`() begin drop table if exists tem_request;...create temporary table tem_request ...请问mysql 的存储过程是否是同步的，或者可不可以做到同步
- 【mysql】跨数据库同步数据
大致作用是两个数据库，都有结构差不多的表，现在需要将一个库里该表同步到另一个库中，建了一个存储过程，并准备后面让这个存储过程自动2小时执行（这个用事件） begin declare b int; declare id1, user_...
- mysql 存储过程 （不同数据库）从一个表复制到另一个表
begin DELETE FROM test_cpos_store.t_sn_mc_market; -- 声明一个标志done， 用来判断游标是否遍历完成 ... -- 特别注意这里的名字不能与由游标中使用的列明相同，否则得到的数据都是NULL DECLARE marketCode ch...
- Mysql全量数据同步Oracle步骤详解
0、题记项目实战中我们会遇到数据库选型的问题，有时会需要将已有Mysql数据库中的数据库全部同步到Oracle数据库中。我们知道，Mysql的数据类型、sql语句和oracle是不通用的。所以，直接的导入、导出sql的方式在mysql...
- redis与mysql数据同步
最近做的一个项目中很多地方用到了redis，其中纠结了一下redis的数据持久化问题，毕竟是缓存，数据随时都有可能丢失，虽然概率不大，况且redis还会将数据持久到安装路径的一个文件中，但还是要保证缓存数据与持久化...
- MYSQL 日志同步数据不同步
最近在做MYSQL主从备份时,发现,日志已经同步,但是数据不同步的问题. 后来,我就重新把做了一次主从设置,发现,竟然又同步了,一开始我还以为是我的存储过程中使用了Insert into .... select 所致呢. 重新做的方案...
- 基于MYSQL的Binlog增量数据同步服务
基于MYSQL日志增量数据同步原理： - 1、DBAsync伪装自己为mysql slave，向mysql master发送dump协议 - 2、mysql master收到dump请求，开始推送binary log给DBAsync - 3、DBAsync解析binary log，将数据改动同步到...
- MySQL主主数据同步
MySQL主主同步和主从同步的原理一样，只是双方都是主从角色。环境操作系统版本：CentOS7 64位 MySQL版本：mysql5.6.33 节点1IP：192.168.1.205 主机名：edu-mysql-01 节点2IP：192.168.1.206 主机名：edu-mysql-...
- mysql存储引擎InnoDB插入数据的过程详解
当插入,更新,删除等sql语句运行后,mysql为何总能高效,快速的执行返回,而且不管是断电,mysql进程崩溃,还是一些其它非正常因素,mysql总能保持数据完整, 本文将带着这些问题探秘mysql底层存储引擎的执行过程.
- MySQL存储过程和触发器的实现--数据库学习笔记
从MySQL5.0版本开始就对存储过程和触发器进行了支持，在MySQL进行学习前，先查看您所使用的版本吧，方法有： 1.$mysql -V //linux终端下 2.select version(); //mysql下 3. mysql --help | grep Distrib //linux...