社区
数据仓库
帖子详情
kettle可以在一个job里并行执行多个transform,请问有上限吗
baidu_35404528
2016-06-23 08:01:21
如题,有两个疑问
1. 一次性最多可以并行执行多少个转换
2. 如果设置时间段去自动运行,比如在一个job里有多个trans,五分钟自动运行一个trans,第一个trans还没有跑完,就开始跑第二个trans,那么此时,第一个没有执行完的trans是继续等待其他trans执行完后再开始执行这个trans还是会出现异常的错误。
...全文
7411
6
打赏
收藏
kettle可以在一个job里并行执行多个transform,请问有上限吗
如题,有两个疑问 1. 一次性最多可以并行执行多少个转换 2. 如果设置时间段去自动运行,比如在一个job里有多个trans,五分钟自动运行一个trans,第一个trans还没有跑完,就开始跑第二个trans,那么此时,第一个没有执行完的trans是继续等待其他trans执行完后再开始执行这个trans还是会出现异常的错误。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
6 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
这是小林家啊
2020-07-16
打赏
举报
回复
为什么我运行两个,第二个等第一个完成才跑
小城印象
2018-12-29
打赏
举报
回复
说可以的都是键盘侠?试过吗就过来大放厥词
wd031415
2017-03-21
打赏
举报
回复
楼主您好! 当前我也遇到同样问题,希望一个job下执行多个转换,是怎么设计job的,麻烦贴个图,谢谢
快跑蜗牛哥
2016-09-10
打赏
举报
回复
没有上限, job 按步骤来,并行的 不分先后
勇敢607
2016-09-07
打赏
举报
回复
没有上限,物理机足够好,内存资源好,IO性能好,问题不大。
cdutfly
2016-06-24
打赏
举报
回复
理论上是没有上线的 只要你的物理机支持。 第二个问题 每次启动的都是单独线程 只要你每个没有依赖 关系 都是不受影响的
2023
kettle
使用合集详细,慎入
从它们的输入跳中读取数据,并发处理过的数据写到输入跳中,知道输入跳中不再有数据,就中止步骤的运行,当所有步骤都中止了,整个转换也就中止了(执行顺序要与数据流向分开,因为它们都是并行的操作)。...
一篇搞定,
Kettle
详细教程
本文主要以
Kettle
概述、
Kettle
开发环境部署、mac m1
kettle
安装、linux
kettle
安装、
kettle
集群安装部署、
kettle
输入、
kettle
输出、
kettle
转换、
kettle
批量加载、
kettle
流程、
kettle
脚本、
kettle
的Java代码案例、...
Hive理论及实践
Hive会针对某
一个
列进行桶的组织,通常对列值做hash。 例如:mysql存储的数据有限,一般记录存到上亿或十亿以上性能不太好。因为一张表太大了,达到mysql支持的
上限
了。要想存完整数据,就要进行分库(把一张表拆...
大数据面试复习重点
3)限制笛卡尔积的查询。不幸的是,Hive并不会执行这种优化,因此,如果表足够...`很难以1个MapReduce程序得到结果`,一般都是些
多个
MR,第
一个
MR走Map->Reduce后,产出结果,第二个MR接着读取上
一个
的结果继续走M->R。
大数据常见面试问题汇总
10.8 给定
一个
点、一条线、
一个
三角形、
一个
有向无环图,请用java面向对象的思想进行建模 10.9 现场出了一道sql题,让说出sql的优化,优化后效率提升了多少 第11章 HQL场景题 第12章 面试说明 12.1 面试过程最关键...
数据仓库
7,388
社区成员
6,742
社区内容
发帖
与我相关
我的任务
数据仓库
其他数据库开发 数据仓库
复制链接
扫一扫
分享
社区描述
其他数据库开发 数据仓库
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章