跪求大神！kettle如何实现定时将每日业务库增量同步到备用库！

zhenS1mple 2021-05-20 09:15:34

描述：各位大神，我oracle数据库小白，前些日子接到老板需要的一个数据仓库的任务，在面向百度一翻操作后了解到数据仓库的一些知识，首先就是有个数据分层的概念，说到数据分层这时候就遇到了一个数据同步的问题，几番搜索结合自身情况，感觉kettle合适，需要将每天的业务数据增量导入到数据仓库的元数据层。但是百度许久，未能找到一些合理的办法，希望各路大神给点建议和帮助。

...全文

3757 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

Jasowen 2021-08-26

打赏
举报

回复

估计已经找到了吧，没有的话看这里

http://www.spring4all.com/article/600

kettle实现两个Mysql数据库的增量同步

0. 前言本文介绍了使用Kettle对一张业务表数据（500万条数据以上）进行实时（10秒）同步，采用了时间戳增量回滚同步的方法。关于ETL和Kettle的入门知识大家可以阅读相关的blog和文档学习。 1. 时间戳增量回滚同步假定在源数据表中有一个字段会记录数据的新增或修改时间，可以通过它对数据在时间维度上进行排序。通过中间表记录每次更新的时间戳，在下一个同步周期时，通过这个时...

需求：最近在用kettle同步数据的时候，有增量同步的需求。之前也遇到过这个需求，查阅了很多文章，也试了很多方法，都没有实现我所需的简洁的方式。这回在我一次次尝试无果的情况下，突然间的灵光一闪，让我豁然开朗，原来你就在我眼前。写下这篇文章，让更多的人的时间得到节省。时间是最稀缺的资源，更多的时间应该花在更有意义的事情上。软件相关：使用软件 kettle ...

kettle 实现单表增量同步实现增量同步整体分为三个步骤：（以mysql数据库为例，其他数据库同理，本人亲测可用，若有不足，欢迎留言指出） 1、获取上次同步时间。 2、查询上次同步时间以外的数据，并新增到目标库中。 3、记录本次同步时间，为下次同步使用。一、获取上次同步时间新建同步时间记录表，记录每次同步的时间和同步结果，建表sql如下： CREATE TABLE `kg_log` ( `FD_OBJECTID` varchar(50) NOT NULL COMMENT '主键',.

近期涉及一个BI项目初期阶段，构建数据仓库时遇到不少问题，主要问题，来源已下几个方面： 1 不同业务数据放在不同类型的数据库（oracle和mysql的，excel等等）。 2 源端数据库种类不同，表结构创建语句与设计不一，导致不好同步问题。 3 源端数据库只提供只读状态，无法对源端做起停和写操作。 4 源数据库中没有定义和更新时间字段无法做到增量同步。 ...

7,394

社区成员

6,741

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章