通过中间数据库同步, 通常是怎么做的.?

秀小川 2016-12-20 08:36:35

现在有一个和第三方对接的程序, 数据通过中间库交互, 需求10s扫描一次中间库,然后把所有变动的数据同步我的库里面. 现在我是通过程序每10S去一次, 但是感觉效率太低,而且几十万条数据需要同步, 还容易出现超时的情况? 一般这种情况都是怎么处理?存储过程好使不?

...全文

798 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

sw25465532 2016-12-22

打赏
举报

回复

10S merger into 一次

jdsnhan 2016-12-21

打赏
举报

回复

第三方对接的程序写你的中间库吗？中间库是什么？ oracle？可以增加个触发器之类的不

sych888 2016-12-20

打赏
举报

回复

就一张表？可以考虑物化视图？很多表的话，可以用OGG

卖水果的net 2016-12-20

打赏
举报

回复

中间库，只反映变化的数据，不要全量；

Canal基于mysql的binlog技术实现数据同步，什么是binlog，它是一个文件，二进制格式，记录了对数据库更新的SQL语句，向数据库写数据的同时向binlog文件里记录对应的sql语句。通过向索引中添加课程信息最终实现了课程的搜索，我们发现课程信息是先保存在关系数据库中，而后再写入索引，这个过程是将关系数据中的数据同步到elasticsearch索引中的过程，可以简单成为索引同步。1、针对实时性非常高的场景需要满足数据的及时同步，可以同步调用，或使用Canal去实现。

需求背景：有一个业务方需要定期跟数据库进行数据同步，就是需要定期往数据库中同步部分数据，而这些数据并不能被当前系统直接使用，需要做一些处理同步到系统所使用的数据库中，处理比较复杂，没办法进行实时的同步，所以需要写个定时任务，将处理后的数据进行同步，说白了就是数据库中两个表的数据同步。实现这个需求，首先想到的是直接通过sql 进行同步，表之间数据同步无非是三种操作：更新，删除，插入，假设两个表 ds

SqlServer数据库同步是项目中常用到的环节，若一个项目中的数据同时存在于不同的数据库服务器中，而这些数据库需要被多个不同的网域调用时，配置SqlServer数据库同步是个比较好的解决方案。SqlServer数据库同步的配置比较烦锁，下面对其配置详细步骤进行介绍：一、数据复制前提条件 1. 数据库故障还原模型必需为完全还原模型。 2. 所有被同步的数据表都必须要用主键。 3.

缓存和数据库同步问题解决方案缓存在当今互联网应用和实践中是比不可少,由于其高并发和高性能的特性，已经在项目中广泛使用，比较有代表性的缓存如Redis，memcached，并且也逐渐成为很多大厂的面试中开始逐渐成为热点和难点。其中在应用场景下一个重要的难点就是缓存和数据库同步问题。本文通过借鉴计算机系统结构上缓存的设计模式，并结合互联网应用下的场景给出缓存和数据库同步问题解决方案。首先简单来一个读缓存的场景首先很简单 public Object read(String key){ Object da

SyncNavigator v8.6.2 SyncNavigator是一款功能强大的数据库同步软件，适用于SQLSERVER, MySQL，具有自动/定时同步数据、无人值守、故障自动恢复、同构/异构数据库同步、断点续传和增量同步等功能，支持Windows xp以上所有操作系统，适用于大容量数据库快速同步。安装包下载地址：https://www.syncnavigator.cn/Setup.zip 帮助文档地址：https://www.syncnavigator.cn/Help_zh-CN.chm .

基础和管理

17,382

社区成员

95,118

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章