社区
数据库报表
帖子详情
kettle在执行转换时奇数次执行源数据和目标表数据对得上,偶次数执行时源数据和目标数据对不上是什么原因啊?
qq_24758181
2017-11-22 03:25:58
...全文
292
回复
打赏
收藏
kettle在执行转换时奇数次执行源数据和目标表数据对得上,偶次数执行时源数据和目标数据对不上是什么原因啊?
[图片]
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
kettle
的
转换
里面sql脚本
执行
顺序以
执行
次
数
不让【
执行
SQL脚本】第一个
执行
而且不重复
执行
问题描述: 在
kettle
的
转换
里面,除了正常的
表
输入
表
输出外还有一个sql脚本,要控制sql脚本的
执行
顺序,以及sql脚本的
执行
次
数
。1 整个
转换
的图样在下图中,按正常的顺序,如果“
执行
sql脚本”勾选了
执行
每一行,则
表
输出多少条
数据
,这个sql脚本里面的语句就
执行
多少
次
,2 如果只需要sql脚本
执行
一
次
,且是最后
执行
①需要使用阻塞
数据
,这个组件只
Kettle
转换
中SQL中的
执行
顺序(使用 阻塞
数据
直到步骤都完成 ===》控制
转换
中的 SQL
执行
顺序)
为什么会用到这个组件 我就是想着
转换
串行的
执行
,根据
时
间戳增量的同步,作业一开始我就获取当前的
时
间戳,
kettle
完成
数据
之后,再
执行
时
间更新操作,更像是动态的把
时
间向前推,因为作业
执行
也需要
时
间,公司传感器收集的
数据
会MySQL,
数据
几分钟刷新一
次
,不想丢失
数据
,也不能重复,尽可能保持
数据
一致性。
kettle
中
转换
和作业的
执行
顺序: 1、一个作业内的
转换
,是顺序
执行
的。 2、一个
转换
内的步骤是并行
执行
的。 3、作业内不支持事务,
转换
内支持事务。 根据业务需要,...
kettle
在
转换
中指定
执行
顺序
关于
Kettle
的事务和
转换
内步骤的顺序
执行
kettle
中
转换
和作业的
执行
顺序: 1、一个作业内的
转换
,是顺序
执行
的。 2、一个
转换
内的步骤是并行
执行
的。 3、作业内不支持事务,
转换
内支持事务。 根据业务需要,通常需要在
转换
内顺序
执行
,小技巧如下: 1、
执行
SQL是优先于所有步骤。 2、使用“阻塞
数据
直到步骤都完成”,确保其他
数据
步骤都完成再进行下一步骤。 事务: 1、设置
转换
只使用一个事务。
转换
设置-->夹项-->使用唯一连接。 2、设置
转换
内的
表
插入等
数据
库的操..
Kettle
-根据
源
表
(source table)
数据
更新情况对
目标
表
(target table)中
数据
进行删除
应用场景:
目标
表
的
数据
是从
源
表
中抽取的,当
源
表
数据
删除
时
,希望
目标
表
中的
数据
也能及
时
删除。
转换
思路: 两个
表
中的
数据
进行合并记录操作,合并后的
数据
会根据对比情况打上标签,过滤出标签为deleted的
数据
,对其进行删除操作。
转换
过程: 注意:在对两
表
进行合并记录操作之前,需要将两
表
分别进行排序操作,可以直接在
表
输入的sql脚本中使用order by进行排序,也可以分别在
表
输入和合...
《
数据
清洗》:用
Kettle
工具实现
转换
和作业
一个
数据
抽取过程主要包括创建一个作业,并且每个作业可以包括多个
转换
操作。此
数据
抽取过程可通过
Kettle
工具完成,也可以通过编写程序调用的方式实现。
Kettle
工具的
执行
分为两个层
次
,即
转换
和作业,这两个层
次
最主要的区别在于
数据
传递和
执行
方式。 一、
转换
转换
是ETL解决方案中重要的组成部分之一,主要用于
数据
的抽取、
转换
以及加载等操作,其本质是一组图形化的
数据
转换
配置的逻辑结构。 一个
转换
包括一个或多个步骤,
转换
中的步骤是通过跳连接的。在
Kettle
中,
数据
的单位是行,
数据
流就是
数据
行从一个..
数据库报表
6,108
社区成员
4,750
社区内容
发帖
与我相关
我的任务
数据库报表
其他数据库开发 数据库报表
复制链接
扫一扫
分享
社区描述
其他数据库开发 数据库报表
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章