通过中间数据库同步, 通常是怎么做的.?

秀小川 2016-12-20 08:36:35

现在有一个和第三方对接的程序, 数据通过中间库交互, 需求10s扫描一次中间库,然后把所有变动的数据同步我的库里面. 现在我是通过程序每10S去一次, 但是感觉效率太低,而且几十万条数据需要同步, 还容易出现超时的情况? 一般这种情况都是怎么处理?存储过程好使不?

...全文

739 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

sw25465532 2016-12-22

打赏
举报

回复

10S merger into 一次

jdsnhan 2016-12-21

打赏
举报

回复

第三方对接的程序写你的中间库吗？中间库是什么？ oracle？可以增加个触发器之类的不

sych888 2016-12-20

打赏
举报

回复

就一张表？可以考虑物化视图？很多表的话，可以用OGG

卖水果的net 2016-12-20

打赏
举报

回复

中间库，只反映变化的数据，不要全量；

需求背景：有一个业务方需要定期跟数据库进行数据同步，就是需要定期往数据库中同步部分数据，而这些数据并不能被当前系统直接使用，需要做一些处理同步到系统所使用的数据库中，处理比较复杂，没办法进行实时的同步，所以需要写个定时任务，将处理后的数据进行同步，说白了就是数据库中两个表的数据同步。实现这个需求，首先想到的是直接通过sql 进行同步，表之间数据同步无非是三种操作：更新，删除，插入，假设两个表 ds

SqlServer数据库同步是项目中常用到的环节，若一个项目中的数据同时存在于不同的数据库服务器中，而这些数据库需要被多个不同的网域调用时，配置SqlServer数据库同步是个比较好的解决方案。SqlServer数据库同步的配置比较烦锁，下面对其配置详细步骤进行介绍：一、数据复制前提条件 1. 数据库故障还原模型必需为完全还原模型。 2. 所有被同步的数据表都必须要用主键。 3.

SyncNavigator v8.6.2 SyncNavigator是一款功能强大的数据库同步软件，适用于SQLSERVER, MySQL，具有自动/定时同步数据、无人值守、故障自动恢复、同构/异构数据库同步、断点续传和增量同步等功能，支持Windows xp以上所有操作系统，适用于大容量数据库快速同步。安装包下载地址：https://www.syncnavigator.cn/Setup.zip 帮助文档地址：https://www.syncnavigator.cn/Help_zh-CN.chm .

????大数据道漫漫，其修远兮，今天继续我们数仓建设的第三篇文章，关于数据同步的知识，没有看过前面文章的同学可以参考下面的链接????：第一篇: Hadoop之数据仓库概述. 第二篇: hadoop数仓建设之日志采集. ????数仓的数据同步在数仓中的重要性不言而喻，数据同步通俗的解释就是不同系统间的数据流转，数据备份，数据传输交换等等。 ...

MySQL 数据库面试题（2022版）文章目录一、基础基本概念MySQL有哪些数据库类型？CHAR 和 VARCHAR 区别？数据库设计什么是三大范式？什么是范式和反范式，以及各自优缺点？二、索引索引的几种类型或分类？索引的优缺点？索引设计原则？索引的数据结构？Hash 和 B+ 树索引的区别？为何使用 B+ 树而非 B 树做索引？什么是最左匹配原则？什么是覆盖索引？什么是索引下推？三、存储存储引擎有哪些常见的存储引擎？MyISAM 和 InnoDB 的区别？InnoDB 的四大特性?InnoDB 为.

基础和管理

17,377

社区成员

95,128

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章