Kettle同步数据问题

xieyuan4321 2019-08-27 05:26:39

kettke怎么样实现一个字段中第一次同步过来数据后，以后同步这个字段在不覆盖或者变动。意思就是说，我从a表将所有数据同步到b表，kettle每小时跑一次，但是b表其中一个字段数据为空时，如果同步到数据后，这个字段的值不管a表怎么改变，我得b表这个字段就永远是第一次同步到的这个值了，可以实现么

...全文

273 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

xieyuan4321 2019-08-30

打赏
举报

回复

引用 2 楼老王相亲去了的回复：

可以设置临时表，先把数据抽取到临时表，把目标表已经存在的数据在临时表删了，然后再从临时表向目标表提数

谢谢

福东来9527 2019-08-30

打赏
举报

回复

可以设置临时表，先把数据抽取到临时表，把目标表已经存在的数据在临时表删了，然后再从临时表向目标表提数

wildwolv 2019-08-29

打赏
举报

回复

你可以通过主键判断，如果a表有b表没有的数据，则该数据插入b表，如果a表有b表也有，则不插入。

最近在使用kettle进行数据同步的时候，发现同步来的中文数据产生了乱码。试了下网上的解决方案，最终解决了这个问题。步骤如下： 1：kettle中配置源数据库、目标数据库编码 2：编辑“表输入”，去掉勾选“允许建议转换” 至此，问题解决。 ...

更新字段如果点击的是右边获取更新字段自动映射的要把上一步骤里的自定义的 gz 去掉否则报错。用来查询的关键字我这边的业务只用主键即可【能查出要同步的数据】【通过关键字将两份排序归类在一起数据字段为要比对的字段】“changed” : 关键字段在新旧数据源中都存在，但域值不同。” : 关键字段在新旧数据源中都存在，且域值相同。标志字段自定义-最好和数据库字段区分开。” : 旧数据源中没有找到该关键字段。”: 新数据源中没有找到关键字段。获取字段【全部即可】

将写好的kettle工程部署到Linux下后，同步的数据都成了乱码，幸运的是数据库有备份。下面就说一下，kettle工程如何同步两端编码格式都是utf8的数据库。我们只需要更改kettle数据库连接方式已utf8的方式连接即可，如下图：在Options添加参数 characterEncoding为utf8即可

使用Kettle进行数据交互时会有个问题，那就是默认情况下，Kettle会将源数据库表字段中的空字符串，也就是： ” 当做： NULL 传递到目的数据库表的字段中。拿MySQL举例来说，比如有两个数据库： k1 k2 每个数据库里都有一张表： user k1.user与k2.user的字段完全一样，都是： CREATE TABLE `user` ( `id` int(11)...

在数据同步过程中，缓慢的同步速度和低效率的性能往往是令人头痛的问题。本文将介绍如何通过Kettle解决数据同步缓慢及性能效率问题，其中主要涉及数据同步利用时间戳解耦和通过配置优化提升性能高达90%的方法。在先前的博客文章中，我们配置了Kettle在Docker中的部署过程，以及如何配置和运行Sqlserver到Mysql的数据同步任务。同时结合Start定时任务，实现定时调度的功能，确保数据同步任务的稳定运行。

基础和管理

17,377

社区成员

95,112

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章