社区
基础和管理
帖子详情
通过中间数据库同步, 通常是怎么做的.?
秀小川
2016-12-20 08:36:35
现在有一个和第三方对接的程序, 数据通过中间库交互, 需求10s扫描一次中间库,然后把所有变动的数据同步我的库里面. 现在我是通过程序每10S去一次, 但是感觉效率太低,而且几十万条数据需要同步, 还容易出现超时的情况? 一般这种情况都是怎么处理?存储过程好使不?
...全文
851
4
打赏
收藏
通过中间数据库同步, 通常是怎么做的.?
现在有一个和第三方对接的程序, 数据通过中间库交互, 需求10s扫描一次中间库,然后把所有变动的数据同步我的库里面. 现在我是通过程序每10S去一次, 但是感觉效率太低,而且几十万条数据需要同步, 还容易出现超时的情况? 一般这种情况都是怎么处理?存储过程好使不?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
4 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
sw25465532
2016-12-22
打赏
举报
回复
10S merger into 一次
jdsnhan
2016-12-21
打赏
举报
回复
第三方对接的程序写你的中间库吗? 中间库是什么? oracle? 可以增加个触发器之类的不
sych888
2016-12-20
打赏
举报
回复
就一张表? 可以考虑 物化视图? 很多表的话,可以用OGG
卖水果的net
2016-12-20
打赏
举报
回复
中间库,只反映变化的数据,不要全量;
数据
同步
之大数据下数据仓库的
同步
方式
数据仓库具有集成特性,大数据下数据有多样性和海量特点。介绍了批量和实时两种数据
同步
方式,批量
同步
以DataX为例,实现异构
数据库
与数据仓库高速交换;实时
同步
以TimeTunnel为例,基于传输
中间
件将增量数据以流方式
同步
到数据中心。
跨设备/平台实现数据
同步
产品方案(GCP Firebase Realtime Database)
在云原生APP开发中,为满足信息存储等需求设计了Realtime DB
中间
件。本文介绍Google的Firebase Realtime Database,其数据以JSON格式存储并实时
同步
,具备实时
同步
、离线等功能,阐述了工作原理及实现路径。
数据
同步
中间
件DBSyncer
本文介绍DBSyncer数据
同步
中间
件的使用方法,涵盖安装配置、自定义插件开发及常见问题解决等内容。
数据库
同步
——
中间
数据库
的实现方式
本文介绍了
数据库
同步
工具SyncNavigator的使用,包括其自动
同步
、支持多种
数据库
类型、故障恢复等功能。提出了利用
中间
数据库
进行数据
同步
的思路,详细阐述了创建
中间
数据库
、设置定时任务和权限分配的步骤,适用于对数据安全性要求高但实时性要求不强的场景。
将DB数据
同步
到数据仓库中的两种方法(简介)
本文介绍了两种将MySQL数据
同步
到Hive数据仓库的方法,包括低性能的直接查询
同步
和利用MySQL Binlog的实时
同步
法。Binlog实时
同步
法通过Canal采集Binlog,存入Kafka,然后使用Camus将数据拉取到Hive,结合存量数据
做
merge,解决了性能和数据变更的问题。
基础和管理
17,377
社区成员
95,112
社区内容
发帖
与我相关
我的任务
基础和管理
Oracle 基础和管理
复制链接
扫一扫
分享
社区描述
Oracle 基础和管理
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章