社区
Oracle
帖子详情
表同步问题 求解决方案
snailxr
2012-05-18 07:54:56
现有一系统的一个用户表需要每晚从另一个数据库上同步一下,表大概有一百万条数据。
要求:源表中的数据跟目标表比较(根据电话号码确定)如果目标表中没有则插入,如果有,但是源表有改变(姓名,性别,地址等)则目标表中该条改变,同时源表中的该条数据要备份(留记录)
...全文
91
5
打赏
收藏
表同步问题 求解决方案
现有一系统的一个用户表需要每晚从另一个数据库上同步一下,表大概有一百万条数据。 要求:源表中的数据跟目标表比较(根据电话号码确定)如果目标表中没有则插入,如果有,但是源表有改变(姓名,性别,地址等)则目标表中该条改变,同时源表中的该条数据要备份(留记录)
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
5 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
snailxr
2012-05-22
打赏
举报
回复
[Quote=引用 2 楼 的回复:]
引用 1 楼 的回复:
1:PLSQL 的merge into 不过效率要具体看
2:用表快照来做
3:触发器插入到另外个表,每天插入新增的(要考虑数据量)
4:godengate ,stream 表同步方案(收费)
5:日志挖掘
谢谢!!!
但是用merge into的时候我没法给被更新的数据做备份
我在源表只有查询的权限,所以不是很方便。
[/Quote]
谢谢,源表我只有读权限,目标表随我搞。
softwakaka
2012-05-21
打赏
举报
回复
你自己写脚本,还是用第三方工具的啊?这种事情我一般用informatica解决
sxq129601
2012-05-20
打赏
举报
回复
merge into+job
你只有查询权限还更新什么
snailxr
2012-05-18
打赏
举报
回复
[Quote=引用 1 楼 的回复:]
1:PLSQL 的merge into 不过效率要具体看
2:用表快照来做
3:触发器插入到另外个表,每天插入新增的(要考虑数据量)
4:godengate ,stream 表同步方案(收费)
5:日志挖掘
[/Quote]
谢谢!!!
但是用merge into的时候我没法给被更新的数据做备份
我在源表只有查询的权限,所以不是很方便。
iqlife
2012-05-18
打赏
举报
回复
1:PLSQL 的merge into 不过效率要具体看
2:用表快照来做
3:触发器插入到另外个表,每天插入新增的(要考虑数据量)
4:godengate ,stream 表同步方案(收费)
5:日志挖掘
数据
同步
问题
与
解决方案
:增量全量、数据漂移,数据更新、
一、增量与全量
同步
的合并
问题
:传统数据
同步
方式为周期全量数据
同步
,但随着业务发展数据量的急剧增加,周期全量
同步
的效率太低了。
解决方案
:每个周期只
同步
增量数据,然后与上一个
同步
周期获取的全量数据进行合并,获取最新版本的全量数据。 传统数据整合方案:merge 方式(update + insert ); 当前大数据平台不支持 update 操作,而采用:全外连接(full outer join) + 数据全覆盖重新加载(insert overwrite);(即如日调度,则将当天的增量数据和前一天的全
todolist 无法
同步
问题
解决方案
微软的TODO应用是一个很好的待办清单工具,但是在科学上网的情况下,大概率存在不能联网
同步
的情况。 经过不懈努力,终于在网上找到了
解决方案
,实测很完美。 通过注册
表
找到todo应用的SID 使用“Win+R”,输入“regedit”,打开注册
表
,进入到: \HKEY_CURRENT_USER\SOFTWARE\Classes\Local Settings\Software\Microsoft\Windows\CurrentVersion\AppContainer\Mappings 通过DisplayName
数据
同步
之
解决方案
关于数据
同步
的需
求
,想必是开发人员都可能遇到!下面就聊聊关于数据
同步
的
解决方案
: 一、使用中间
表
:数据生产者将数据放在一个中间库,数据消费方定时的去这个中间库取数据,用来消费这些数据, 但是这中方案并不适合微服务部署的项目! 二、数据生产者提供相应的视图,数据消费者直接连对方的库,从对方的库中取数据; 新增可以通过唯一主键来判断, 更新可以通过时间戳去判断,即根据某条数据的主键查询,发现...
大数据量下高并发
同步
的
解决方案
大数据量下高并发
同步
的讲解(不看,保证你后悔) 对于我们开发的网站,如果网站的访问量非常大的话,那么我们就需要考虑相关的并发访问
问题
了。而并发
问题
是绝大部分的程序员头疼的
问题
, 但话又说回来了,既然逃避不掉,那我们就坦然面对吧~今天就让我们一起来研究一下常见的并发和
同步
吧。 为了更好的理解并发和
同步
,我们需要先明白两个重要的概念:
同步
和异步 1、
同步
和异步的区别
【集群分布式
问题
】分布式集群时钟
同步
问题
及
解决方案
文章目录一、 时钟不
同步
导致的
问题
二、集群时钟
同步
配置1. 分布式集群中各个服务器节点都可以连接互联⽹2. 分布式集群中一个节点或每个节点都不能访问互联网 一、 时钟不
同步
导致的
问题
时钟此处指服务器时间,如果集群中各个服务器时钟不⼀致势必导致⼀系列
问题
,试想 “集群是各个服务器⼀起团队化作战,⼤家⼯作都不在⼀个点上,岂不乱了套!” 举⼀个例⼦,电商⽹站业务中,新增⼀条订单,那么势必会在订单
表
中增加了⼀条记录,该条记录中会有“下单时间”这样的字段,往往我们会在程序中获取当前系统时间插⼊到数据库或者直接
Oracle
17,086
社区成员
55,238
社区内容
发帖
与我相关
我的任务
Oracle
Oracle开发相关技术讨论
复制链接
扫一扫
分享
社区描述
Oracle开发相关技术讨论
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章