通过中间数据库同步, 通常是怎么做的.?

秀小川 2016-12-20 08:36:35

现在有一个和第三方对接的程序, 数据通过中间库交互, 需求10s扫描一次中间库,然后把所有变动的数据同步我的库里面. 现在我是通过程序每10S去一次, 但是感觉效率太低,而且几十万条数据需要同步, 还容易出现超时的情况? 一般这种情况都是怎么处理?存储过程好使不?

...全文

870 4 打赏收藏举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

sw25465532 2016-12-22

打赏
举报

回复

10S merger into 一次

jdsnhan 2016-12-21

打赏
举报

回复

第三方对接的程序写你的中间库吗？中间库是什么？ oracle？可以增加个触发器之类的不

sych888 2016-12-20

打赏
举报

回复

就一张表？可以考虑物化视图？很多表的话，可以用OGG

卖水果的net 2016-12-20

打赏
举报

回复

中间库，只反映变化的数据，不要全量；

数据仓库的特性是集成，把不同数据源、不同形式的数据整合在一起。大数据下的数据特点如下： ①数据多样性：包括高度结构化，易于处理的结构化数据以及服务器日志、图片、视频等非结构化数据 ②数据量：传统的数据仓库每天的同步量在几百GB上下，大型的数据仓库每天达PB级别，甚至EB级别批量数据同步： 1）离线的数据线仓库用于负责将不同数据源的数据同步到数据仓库，以及定时将数据同步到业务系统 2）要...

利用GCP firebase 实时数据库 实现跨设备/平台实现数据同步目标。作为paas 服务插件，可以轻集成，快速实现场景需求

数据同步中间件DBSyncer1. 数据同步概述2. DBSyncer介绍3. DBSyncer特点4. DBSyncer应用场景5. DBSyncer安装配置5.1 创建项目5.2 自定义插件5.3 配置页面6. DBSyncer实现验证6. DBSyncer存在问题 1. 数据同步概述在常见的业务开发场景中数据迁移，增量或者全量数据同步，在迁移或者同步过程中还会涉及到字段映射，默认值，还有可能存在不同数据库之间数据迁移，mysql，Oracle，SQLServer，ES，Kafka等等很多场景，虽然使

下载网站:www.SyncNavigator.CN客服QQ1793040---------------------------------------------------------- 关于HKROnline SyncNavigator 注册机价格的问题 HKROnline SyncNavigator 8.4.1 非破解版注册机授权激活教程 ...

在数据仓库中，ODS 层数据一般来源于客户端的日志和业务数据库中的数据，对于 MYSQL 等关系型数据库，我们需要将库中数据同步到 Hive 中进行查询与分析。这里简单介绍两种同步的方法。低性能同步法直连 MySQL 并 select 表中数据将 select 的结果存储到本地作为中间存储将中间存储的文件 load 进 Hive 表中这种方法实现起来比较简单，但也有较大的缺陷，主要有以下几点：随着业务规模不断扩大，每次 select 得到的数据量不断加大，将结果存本地再 load 进 H

基础和管理

17,377

社区成员

95,111

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章