社区
数据仓库
帖子详情
如何通过TASKCTL工具实现kettle作业的多次循环执行?
加菲盐008
2017-08-14 01:15:10
我有一个需求需要从其他系统定时抽取数据,而且这个数据需要抽取多次,我ETL用的kettle,调度用的免费版的taskctl,有谁知道taskctl怎么配置循环调用kettle吗?
...全文
5233
2
打赏
收藏
如何通过TASKCTL工具实现kettle作业的多次循环执行?
我有一个需求需要从其他系统定时抽取数据,而且这个数据需要抽取多次,我ETL用的kettle,调度用的免费版的taskctl,有谁知道taskctl怎么配置循环调用kettle吗?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
2 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
qq_39874024
2017-08-16
打赏
举报
回复
MEISHIGUO
qq_39814053
2017-08-15
打赏
举报
回复
可以,TASKCTL流程图中的kettle作业属性框中的Cycle属性项,参数值为整数。
Kettle
实现
步骤
循环
执行
Kettle
实现
步骤
循环
执行
Blog:http://blog.csdn.net/jdk2006/article/details/13019093
基于
task
ctl
实现
kettle
任务调度
“我在spoon里面运行一个
作业
只要几秒种,但是在
TASK
CTL
中运行却要好几十秒?”“并行同时运行几个job,就把内存撑爆了,
TASK
CTL
好占资源呀!”
TASK
CTL
中调用
kettle
作业
,实际上是通过pan和kitchen命令去调用。每一次调用都会重新初始化
kettle
运行环境,这个过程占用大量的时间。并且每启动一个
kettle
运行环境都相当于启动一个JVM进程。每个JVM则会占用几百兆(默...
基于
Kettle
+Clickhouse+Superset构建实时大数据
1、ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,所以掌握一个ETL
工具
的使用,必不可少。
Kettle
作为ETL
工具
是非常强大和方便的。
Kettle
是一款国外开源的ETL
工具
,纯java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。
Kettle
中文名称叫水壶,该项目的主程序员MATT希望把各种数据放到一个壶里,然后以一种指定的格式流出。
Kettle
这个ETL
工具
集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做。
Kettle
中有两种脚本文件,transformation和job,transformation完成针对数据的基础转换,job则完成整个工作流的控制。2、Clickhouse 是俄罗斯的“百度”Yandex公司在2016年开源的,一款针对大数据实时分析的高性能分布式数据库,与之对应的有hadoop生态hive,Vertica和百度出品的palo。这是战斗民族继nginx后,又开源的一款“核武器”。Hadoop 生态体系解决了大数据界的大部分问题,当然其也存在缺点。Hadoop 体系的最大短板在于数据处理时效性。基于 Hadoop 生态的数据处理场景大部分对时效要求不高,按照传统的做法一般是 T + 1 的数据时效。即 Trade + 1,数据产出在交易日 + 1 天。ClickHouse 的产生就是为了解决大数据量处理的时效性。独立于Hadoop生态圈。3、Superset 是一款由 Airbnb 开源的“现代化的企业级 BI(商业智能) Web 应用程序”,其通过创建和分享 dashboard,为数据分析提供了轻量级的数据查询和可视化方案。 Superset 的前端主要用到了 React 和 NVD3/D3,而后端则基于 Python 的 Flask 框架和 Pandas、SQLAlchemy 等依赖库,主要提供了这几方面的功能:01、集成数据查询功能,支持多种数据库,包括 MySQL、PostgresSQL、Oracle、SQL Server、SQLite、SparkSQL 等,并深度支持 Druid。02、通过 NVD3/D3 预定义了多种可视化图表,满足大部分的数据展示功能。如果还有其他需求,也可以自开发更多的图表类型,或者嵌入其他的 JavaScript 图表库(如 HighCharts、ECharts)。03、提供细粒度安全模型,可以在功能层面和数据层面进行访问控制。支持多种鉴权方式(如数据库、OpenID、LDAP、OAuth、REMOTE_USER 等)。 基于
Kettle
+Clickhouse+Superset构建亿级大数据实时分析平台课程将联合这三大开源
工具
,
实现
一个强大的实时分析平台。该系统以热门的互联网电商实际业务应用场景为案例讲解,对电商数据的常见实战指标处理使用
kettle
等
工具
进行了详尽讲解,具体指标包括:流量分析、新增用户分析、活跃用户分析订单分析、团购分析。能承载海量数据的实时分析,数据分析涵盖全端(PC、移动、小程序)应用。项目代码也是具有很高的商业价值的,大家可以根据自己的业务进行修改,便可以使用。本课程包含的技术:开发
工具
为:IDEA
Kettle
ClickhouseSupersetBinlogCanalKafkaHbaseHadoopZookeeperFlinkSpringBootSpringCouldPythonAnconaMySQL等 课程亮点:1.与企业对接、真实工业界产品2.强大的ETL
工具
Kettle
全流程讲解
实现
3.ClickHouse高性能列式存储数据库4.Superset现代化的企业级BI可视化5.数据库实时同步解决方案6.集成Flink实时数据转换解决方案7.主流微服务SpringBoot后端系统8.互联网大数据企业热门技术栈9.支持海量数据的实时分析10.支持全端实时数据分析11.全程代码实操,提供全部代码和资料12.提供答疑和提供企业技术方案咨询
如何在开源调度
工具
task
ctl
里完成
kettle
作业
定时调度部署?
写在前面: 使用文档关注公众号"
task
ctl
" 软件技术问答微信 "kitleer" 备注 "咨询" “我在spoon里面运行一个
作业
只要几秒种,但是在
TASK
CTL
中运行却要好几十秒?” “并行同时运行几个job,就把内存撑爆了,
TASK
CTL
好占资源呀!”
TASK
CTL
中调用
kettle
作业
,实际上是通过pan和kitchen命令去调用。每一次调用都会重新初始化
kettle
运行环境,这个过程占用大量的时间。并且每启动一个
kettle
运行环境都相当于启动一个JVM进程。每个JVM则..
批量处理
作业
调度
工具
Task
ctl
的
Kettle
转换
作业
类型的使用(soap服务驱动)
工具
下载:去公众号【
task
ctl
】回复内容 “软件” 即可
TASK
CTL
默认采用pan命令方式调度
kettle
转换
作业
。除此之外,我们还提供了
task
ctl
-plugin-
kettle
(Soap服务)插件的方式驱动
kettle
转换。相比原生的pan命令,Soap服务直接驱动
kettle
核心进行调度。资源消耗更低、速度更快,支持高并发。 一 安装
task
ctl
-plugin-
kettle
服务 1确保安装环境(unix/windows)具备
kettle
程序目录 2下载
task
ctl
-pl...
数据仓库
7,388
社区成员
6,742
社区内容
发帖
与我相关
我的任务
数据仓库
其他数据库开发 数据仓库
复制链接
扫一扫
分享
社区描述
其他数据库开发 数据仓库
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章