社区
数据仓库
帖子详情
kettle 作业并行问题
qq_28522373
2020-08-25 06:41:47
我这里查询关键字(多行)后,执行作业,如何让作业并行执行呢?
如我查到了5个关键字,需要执行5个作业并行,但目前这里是等作业执行完后才会执行下一个作业
...全文
3235
1
打赏
收藏
kettle 作业并行问题
我这里查询关键字(多行)后,执行作业,如何让作业并行执行呢? 如我查到了5个关键字,需要执行5个作业并行,但目前这里是等作业执行完后才会执行下一个作业
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
1 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
Jason_39329692
2020-08-26
打赏
举报
回复
1.在查询关键字的转换中使用 Job Executor 组件
2.关键字通过 Job Executor.Parameter进行设置
3.右键组件,设置并发数
kettle
的
并行
_集群和分区
kettle
的
并行
_集群和分区当你有很多数据要处理的时候,能够有效地使用所有的计算资源是非常重要的。不管是台个人电脑,还是有数百台服务器,你都想让
Kettle
能尽可能的使用所有可用的计算资源,并在可接受的时间范围内获取执行结果。 在这一章节,我们将解开
kettle
的转换和
作业
在垂直扩展和水平扩展方面的秘密。垂直扩展是尽可能的使用单台服务器上的多CPU核。水平扩展是使用多台机器资源,使他们
并行
计算。这两种方法都是ETL子系统的一部分(#31,
并行
/流水线系统)。 章节的第一部分先谈谈转换内部的
并行
机制和多种使用其进行垂直扩展的方法。然后我们讲解怎样在子服务器集群环境下进行水平扩展转换。
史上最强-
Kettle
-培训教程.pdf
Kettle
工具使用 培训教程 目录 ETL 简介
KETTLE
简介
KETTLE
安装和运行
KETTLE
菜单简介
KETTLE
案例讲解 控件介绍 日志介绍 一、ETL 简介 ETL 概念简介 ETL相关的质量特性 ETL 在数据仓库项目中的位置 二、
kettle
工具简介
Kettle
是一款国外开源的ETL工具, 纯java编写,可以在Window、 Linux、Unix上运行,数据抽取高效 稳定
Kettle
中有两种脚本文件, transformation(转换)和job (
作业
),transformation完成 针对数据的基础转换,job则完 成整个工作流的控制。
Kettle
工具的模型架构
kettle
工具的优缺点 优点: 系统开源、免费 安装方便、图形化安装 支持多种数据源 支持多种字符集 具有简单的权限管理 支持各种复杂数据转换 缺点 稳定性差 性能差 缺乏元数据管理
KETTLE
的下载
Kettle
可以在 http://
kettle
.pentaho.org/网站下载 下载
kettle
压缩包,因
kettle
为绿色软 件,解压缩到任意本地路径即可
Kettle
运行步骤 双击运行
kettle
文件夹下的
Kettle
文件,出 现
kettle
欢迎界面。 创建资料库(可省略) 创建数据库连接 创建转换 创建Jobs,进行流程化控制
KETTLE
的使用 进入到
Kettle
目录,如果
Kettle
部署在windows环 境下,双击运行spoon.bat文件,出现如下界面:
Kettle
使用步骤 (1)创建转换 大概的来说一般由三步组成: 输入+转换等中间步骤+输出 (2)创建
作业
将已经创建好的转换和相关的
作业
组件串联起来, 形成一个整体的任务。
Kettle
的执行顺序
作业
:分串行执行和
并行
执行,串行执行是先执行完其中一条线再执 行另一条线,
并行
是两条线同时执行,同一条线上的两个步聚会先执 行前面的再执行后面的。每个步骤执行结果分两种:true(成 功)/false(失败),根据返回结果可以控制流程走向。 转换:一开始所有步骤同时运行,记录会从最前端的步骤向后传递, 传递到相应步骤则该记录被该步骤作相应处理,处理完成再把记录往 后传递,记录传递分复制和分发两种模式。
KETTLE
的目录介绍 根目录文件夹介绍: 【Docs】存放
Kettle
各种语言版本的API文档。 【 Launcher 】存放
Kettle
Spoon加载的一些配置信息。 【 Lib 】存放
Kettle
所使用到的第三方jar包。比如:数据库驱动包, 如缺少时需要把对应的数据库驱动包放入此文件夹中。 【 Libswt 】存放
Kettle
对应不同平台的相关UI jar包。 【 Plugins 】存放
Kettle
自定义插件时,需要把自定义好的插件打成 jar放在此目录。 【 Pwd 】存放
Kettle
配置集群时所需要的配置文件与加密文件。 【 Samples 】存放
Kettle
自带的一些Job与Trans实例。 【 Simple-jndi 】存放
Kettle
使用JNDI方式连接数据源方式的文件 存放目录。目录下的jdbc.properties配置文件中有相应的实例提供 参考。 【 Ui 】存放
Kettle
初始化使用到的图片及配置信息。
Kettle
菜单介绍-transformation Main Tree菜单列出的是一个 transformation中基本的属性, 可以通过各个节点来查看。 DB连接:显示当前transformation 中的数据库连接,每一个 transformation的数据库连接都需要 单独配置。 Steps:一个transformation中应用 到的环节列表 Hops:一个transformation中应用 到的节点连接列表 转换的菜单介绍:
Kettle
菜单介绍-transformation Core Objects菜单列出的是 transformation中可以调用 的环节列表,可以通过鼠标 拖动的方式对环节进行添加。 Input:输入环节 Output:输出环节 Lookup:查询环节 Transform:转化环节 Joins:连接环节 Scripting:脚本环节 转换的菜单介绍:
Kettle
菜单介绍-transformation 每一个环节可以通过鼠标拖动来将环节添加到主窗 口中。 并可通过shift+鼠标拖动,实现环节之间的连接。
Kettle
菜单介绍-transformation 转换的常用环节介绍:
Kettle
菜单介绍-job Main Tree菜单列出的是一 个Job中基本的属性,可以 通过各个节点来查看。 DB连接:显示当前Job中的数据 库连接,每一个Job的数据库连接 都
ETL之PDI/
Kettle
9.x/8.x案例培训实战从入门到应用案例
学完本课程,您将掌握:PDI/
Kettle
数仓技术PDI/
Kettle
开源免费的ETL推送工具PDI/
Kettle
数据清洗PDI/
Kettle
数据抽取PDI/
Kettle
数据挖掘PDI/
Kettle
案例实战PDI/
Kettle
技巧PDI/
Kettle
9.1版本PDI/
Kettle
通用PDI/
Kettle
水壶技术适合人群:需要数据清洗和操作的IT信息化相关人员,IT相关从业人员,大数据工程师,数据库工程师及DBA,数据仓库ETL学习计划:利用碎片化的时间学习即可,每天学习一小时或3个课时即可达到效果;时间充足者,自由安排课程目标:促使教育公平,打破教育壁垒,让ETL更加的大众化使用 课程简介:【可视化介绍】
Kettle
是 PDI 以前的名称,PDI 的全称是Pentaho Data Integeration,
Kettle
本意是水壶的意思,表达了数据流的含义。
Kettle
是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。【软件版本】 企业用的最多的
Kettle
9.x/8.x/7.x,本教程以最新
Kettle
9.x进行教学【授课方式】 番茄教学法:以知识点为基准,进行独立课时讲解,课时之间低耦合,方便同学利用碎片化时间学习
ttle-web:基于spring boot通过java代码调用kette
读我 通过Java API调用水壶核心代码,并基于Spring Boot提供简易的Web管理界面。 特色 Java API调用水壶核心代码 任务
并行
执行 网络管理任务 展示 界面用Bootstrap3和jQuery简单撸了下。 仪表板 查看任务执行情况 任务 定义任务(当前需要指定kjb的路径),执行任务 任务历史 查看历史任务,看日志 计划任务 通过定义cron表达式,计划执行任务 已实现 Java API调用
Kettle
核心代码(基于
Kettle
7.1 ) kjb调用ktr 贝壳 MySQL Oracle 蜂巢 JS代码 Java语言
Kettle
其他功能暂未测试,目前测试覆盖的功
Kettle
(Pentaho)用法:job
作业
中
并行
作业
项执行完后执行下一
作业
项
本文基于Pentaho的
kettle
模块实现ETL功能,在spoon中实现创建、定义
作业
,记录
作业
job的两种处理
并行
作业
项的方法。
数据仓库
7,388
社区成员
6,742
社区内容
发帖
与我相关
我的任务
数据仓库
其他数据库开发 数据仓库
复制链接
扫一扫
分享
社区描述
其他数据库开发 数据仓库
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章