mysql实时更新数据到mssql

Fandy_meng 2017-10-20 03:08:31

有这样一个需求，mysql有一个表，mssql里也有一个表，但两个表的表结构并不完全一样，而且两个表的相同字段有些值是一样的。例如：mysql有一个A表，A表有C,D,E,F,G五个字段，mssql有一个B表，B表有C，G,H,I,J五个字段，两个表中C字段都是主键，两个表的C，G字段的值中有些是相同的，有些是不同的。
需求就是将A表中的C，G字段的值定时更新到B表中，而且要去重。这样如何能实现呢？求教各位大神

...全文

417 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

zjcxc 2017-12-06

打赏
举报

回复

定时更新，写个 job 不就行了么？在sql server 在建立到MySQL 的链接服务器，这样可以在 sql server 中直接访问 MySQL 的表了然后通过 merge 语句合并就行了吧? 这种是全量的方式如果要增量，那么通常考虑在 mysql 中增加一个 timestamp 列，这样每次记录更新的时间点，下次从这个时间点更新即可

小太爷孟凡了 2017-12-05

打赏
举报

回复

貌似很复杂, 目前都没有大神来回复, 路过帮顶.

摘要：很多 DBA 和开发同学经常会遇到要从一个数据库实时同步到另一个数据库的问题，同构数据还相对容易，遇上异构数据、表多、数据量大等情况就难以同步。最近了解到一款实时数据同步工具 Tapdata Cloud，可以非常方便地完成 MySQL 数据实时同步到MySQL ，跟大家分享一下，希望对你有帮助。本次 MySQL 数据实时同步到MySQL 大概只花了几分钟就完成。使用的工具是 Tapdata Cloud ，这个工具是永久免费的。第一步：配置MySQL 连接 1.点击 Tapdata Cloud

转载自： http://bigdatadecode.club/实时抓取MySQL的更新数据到Hadoop.html 关系型数据库和Hadoop生态的沟通越来越密集，时效要求也越来越高。本篇就来调研下实时抓取MySQL更新数据到HDFS。本篇仅作为调研报告。初步调研了canal(Ali)+kafka connect+kafka、maxwell(Zendesk)+

MySQL数据怎么实时同步到 MongoDB 实践分享系列摘要：很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题，同构数据还相对容易，遇上异构数据、表多、数据量大等情况就难以同步。我自己亲测了一种方式，可以非常方便地完成MySQL数据实时同步到 MongoDB，跟大家分享一下，希望对你有帮助。 MySQL数据实时同步到 MongoDB 等非关系型数据库，应该是很多同学的需求了，现在 NOSQL 数据库越来越普遍了。本次亲测的数据同步工具是 Tapdata Cloud ，一个永久免费的

摘要：很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题，同构数据还相对容易，遇上异构数据、表多、数据量大等情况就难以同步。我自己亲测了一种方式，可以非常方便地完成 MySQL 数据实时同步到Oracle，跟大家分享一下，希望对你有帮助。本次 MySQL 数据实时同步到 Oracle大概只花了几分钟就完成。使用的工具是Tapdata Cloud ，这个工具是永久免费的。 MySQL 到Oracle 实时数据同步实操分享第一步：配置MySQL 连接第二步：配置 Oracle连接第三步

MySQL由于自身简单、高效、可靠的特点，成为小米内部使用最广泛的数据库，但是当数据量达到千万/亿级别的时候，MySQL的相关操作会变的非常迟缓；如果这时还有实时BI展示的需求，对于mysql来说是一种灾难。为了解决sql查询慢，查不了的业务痛点，我们探索出一套完整的实时同步，即席查询的解决方案，本文主要从实时同步的角度介绍相关工作。早期业务借助Sqoop将Mysql中的数据同步到Hive来进行数据分析，使用过程中也带来了一些问题：为了更有效地连接前端业务数据系统（MySQL）和后端统计分析系统（查询分析引

27,579

社区成员

68,558

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章