kettle保存job作业时报错 [问题点数:50分]

Bbs1
本版专家分:0
结帖率 33.33%
其他相关推荐
kettle 资源库连接中断解决办法
最近在学习kettle,好不容易建立了数据库资源库,但是却经常出现早上上班来启动spoon,连接上资源库,然后中午睡一觉醒来再想保存转换或者job的时候保存不了的情况,我遇到的报错有两种:一个是:An error occured loading the directory tree from the repository;还有一个大概意思是kettle最后一次从资源库接收的数据是xxx秒之前(具体
kettle资源库读取转换:一个数据库错误发生在从资源库文件读取转换时
kettle6.1能够存储转换,不能打开,打开报错,求助 一个数据库错误发生在从资源库文件读取转换时 at org.pentaho.commons.launcher.Launcher.main (La
Kettle:如何停止资源库中的job
public static void main(String args) { try { //初始化kettle环境 KettleEnvironment.init(); //创建资源库对象,此时的对
MyEclipse提示An error has occurred的一个解决方法
我用的是MyEclipse2016 CI 0,很惭愧是破解版,今早升级了之后提示An error has occurred,see the log…. 然后打开了该Log文件,在文件最后面找到了错误提示:java.lang.RuntimeException: Application "org.eclipse.ui.ide.workbench" could not be found in the r
关于kettle加载job找不到转换文件路径的问题解决
1、报错找不到ktr文件 2、直接修改kjb文件里的filename标签里的文件路径就可以了
Kettle JOB执行出错,发送带附件的邮件
Kettle JOB执行出错,发送带附件的邮件
linux下kettle网页版执行job方式(作业采用文件资源库存放)
目标:通过carte服务,使用网页版执行job作业) 前提: 1、kettle部署在Linux机器上,在该机器上启动carte服务 2、job使用文件资源库方式存放,资源库名字为DZHY20170620,存放位置为:/home/tools/kettle/job/DZHY20170620 解决办法: 1、首先在carte服务器上启动carte服务,通过http://172.17.2.88
kttle 新建作业执行多个转换job按并行和顺序执行
因为数据库有接近300个表,为了防止意外情况,某个表同步失败,不影响其他大量表同步,所以考虑了拆分,将10个表作为一个脚本,就算一个脚本中的某一个表有问题,也只是影响本脚本中的10个表(一个脚本中一个表失败会中断本脚本的继续执行;当然你可以跳过错误,但是这样数据就不准确了 );所以转换脚本有30个脚本;但为了执行的时候不出错遗漏执行,我们新建一个作业,一键化执行所有脚本 1,顺序执行:意
【Kettle】job中设置自动发送邮件
背景:业务每周六需要固定格式的数据,手工跑脚本太麻烦,为了偷懒,设计了job,定时启动job,并把数据自动发送到对方邮箱。一   kettle服务器定时任务如下:每周六上午九点执行脚本调度job0 9 * * 6 source /etc/profile;/opt/program_etl/weekly_jss_jingsuanshi_taibaorenewal_trace.pyweekly_jss_...
kettle之日志有关方面的总结
job 1.job日志 job日志有三种: 作业日志表:整体的记录 作业项日志表:每个项目的日志 日志通道日志表: 第一次配置,因为数据库中还没有这个表,需要手动点击sql创建表,然后执行sql。 日志模式:oracle等数据库种有模式概念,mysql不需要填写 记录时间间隔:运行的时候多久写一次,在作业日志表中对应:logdate时间每10秒写一次 日志超时时间:过期删除? ...
关于Kettle 转换、作业日志自动配置的解决方案
在一个项目中,一般情况下Kettle所有的转换和作业日志应该集中放在一起,便于管理和维护。但在使用Kettle的过程中,发现每次新配置一个转换或作业的时候,转换或作业的日志需要重新配置一次,感觉比较麻烦。Kettle不能把日志配置保存成一个默认值,或者在什么地方可以配置,查阅相关资料,一直没找到好的解决方法。分析Kettle相关系统表,发现借助数据库功能,可以实现Kettle转换或作业日志自动配置
kettle carte 打包运行job出现不能读取子转换的问题解决。
这两天的根据 kettle 5.0.1 源码改进成,web端可控的项目。本来项目进展顺利,接近收尾工作,不成想尽然一个系统bug,阻挡了我前进的道路。花了一个上午的时间,各种找资料,后来发现用一个jar包替换后,问题解决。没有办法的办法了。这里记录下,以防后期出现不可预知的问题。     PDI-3971      Running an exported Job fails intermi
kettle 循环执行作业
1.JavaScript  var prevRow=previous_result.getRows();//获取上一个传递的结果,数据库中查询的结果集 if (prevRow == null &&(prevRow.size()=0)) { false; }else{ parent_job.setVariable("tables", prevRow);//ArrayList存储表
kettle设置邮件发送当下报错信息
配置邮件使其在ktr异常时将本次执行日志发送到指定邮件设置的具体内容1、组件”转换”的配置2、组件“邮件”的配置(其余的照常即可)注意:其余的配置就是一些个人信息了(如:邮箱号),自己配置就好啦。...
kettlejob中使用循环
kettle 进阶教程 非常实用的etl学习教程
Kettle 作业步骤循环执行的实现
场景:User_Tables存放着系统用户的表信息,其中列Table_Name存放着表名。现在想从User_Tables中获取要进行相同数据抽取操作的表,使用Kettle实现循环执行这些表。 例如统计表A、B的总行数: SELECT COUNT(1) FROM A; SELECT COUNT(1) FROM B; 这些SQL语句除开表名外,其他部分都是一样的,所以在使用KETTLE抽取数据
KETTLE系列5--新建JOB
5.1 新建 JOB:
【Kettle从零开始】第六弹之Kettle作业流程使用
Kettle版本:3.2GA JDK版本:1.6.0_41 OS:NT 需求:把每天ETL执行的错误情况以Email形式发送到指定邮箱。 1、创建转换(Ctrl+N),本实例则使用【第四弹Kettle数据抽取使用】中所使用到的转换(RotKang_01.ktr) 2、  创建作业对转换进行流程控制,只有在转换执行错误的情况下发送邮件。 3、获取发送邮箱地址:yvigmmwfn@16
Kettle使用中的四个小问题
连接不上资源库报错:ERROR: No repository provided, can’t load job. ERROR: Kitchen can’t continue because the job couldn’t be loaded.出现这个错误呢,一般来说就是读取资源库的配置出了问题,而且图形界面打开运行没有问题,使用命令行执行资源库中job就出错! 比如,我在一脚本中,使用kettl
Kettle Job前一步出错下一步继续
In jobs, the black hop arrow means the hop is unconditional. It will always happen. The green hop arrow means that it will only happen if the job entry succeeded. The red will only happen if it fail...
kettle定时任务
Kettle定时提取数据 一、 建立转换 建立转换  选择转换  拖拽“表输入”、“表输出”控件,长按shift将两个控件连接起来 ① 双击“表输入”,点击新建,输入要抽取的数据库的信息,如图1,点击测试显示连接成功,点击确定保存信息。 图1 ② 在SQL面板中插入抽取数据库的语句进行筛选,如图2。点击预览显示提取的数据,如图3。如有可预览数据点击“确定”。 图2 图3 ③双击“表...
crontab定时任务调用Kettle任务报错处理
##日志信息2017/06/12 09:52:04 - Kitchen - !Kitchen.Log.Finished! 2017/06/12 09:52:04 - Kitchen - !Kitchen.Log.StartStop! 2017/06/12 09:52:04 - Kitchen - !Kitchen.Log.ProcessEndAfter! /root定时启动的脚本:kettleroo
KETTLE使用Windows和Linux计划任务来调度KETTLE作业
KETTLE调度 KETTLE调度KETTLE有三大块: Spoon:转换/工作(transform/job)设计工具,主要是GUI方式。 Kitchen:工作(job)执行器,是一个作业执行引擎,通过命令行的方式带参数执行,参数说明如下:-rep:Repositoryname 任务包所在存储名 -user:Repositoryusername 执行人 -pass:Repositorypasswor
执行转换时如何让Kettle记录错误并继续执行?——记一种解决方案
如题,近几天在利用Kettle进行数据迁移的工作(也就是把数据全量导入到新数据库中,其中有些字段有些许调整),在写好脚本并执行后发现一个很严重的问题——每次脚本在执行到某个位置的时候就会意外停止,如下两图所示 执行转换时如何让Kettle记录错误并继续执行?
Linux Kettle 定时执行远程资源库 job
以下仅是我根据我公司实际情况做出的配置设计,不代表所有,仅供参考。硬件:一台Mac Pro(A),两台 Ubuntu 服务器(B和C)角色分配: A : 在我的Mac Pro上 使用 Kettle UI客户端 设计调试 转换 和 作业,调试完成后保存到远程资源库(在B上使用MySQL数据库来保存) B : 建立 MySQL 数据库保存调试好的 转换 和 作业 C : 安装 Kettle (别忘
服务器上定时执行kettle作业任务
    此时我们在kettle上已经完成了作业流程,并确保作业流程的执行没有问题。下面我们就要将数据抽取作业部署到服务器任务计划程序库中定时执行(以下是在windows环境下的执行方式)。 第一步:通过bat批处理文件执行数据抽取作业(即kjb文件) 建立一个bat文件,里面写入: @echo off  set d=%date:~0,4%%date:~5,2%%date:~8,2% set...
kettle后台执行JOB报错
job的任务是将sqlserver2012中的一张表的数据同步到mysql数据库中,报错信息如下: Data truncation: Incorrect datetime value: '' for column 'LOG_TIME' at row 1 找到kettle主目录下的JDBC目录 :/home/kettle/data-integration/libext/JDBC  发现
命令行方式执行kettle的JOB
kettle中Kitchen是一个作业执行引擎,用来执行作业,这是一个命令行执行JOB的工具。 前提: 配置好JAVA环境变量 打开我的电脑--属性--高级--环境变量  新建系统变量JAVA_HOME 和CLASSPATH  变量名:JAVA_HOME  变量值:C:\Program Files\Java\jdk1.7.0 变量名:CLASSPATH  变量值:.;%JAVA
【Kettle从零开始】第九弹之Kettle定时任务介绍
在数据仓库环节ETL定时任务是一个必不可少的一个环节,因为定时任务取决与你的ETL程序抽取业务数据的频率程度(日、周、季、月、年),一般情况下都采用T+1方式来抽取数据。 关于Kettle定时任务需要调用脚本来执行“作业”与“转换”对应脚本名“Kitchen”与“Pan”,如果是NT系统则找.bat结尾,Liunx系统则找.sh结尾相应脚本。   需求说明:默认情况下采用T+1方式抽取数据到
Kettle定时执行(先备着)
本周项目上用到了kettle并且需要做任务调度,听老师说用kettle自带的调度不大稳定于是便baidu了下,参照这篇文章完成了通过kitchen的调度,简单说就是通过windows的计划任务来调用.bat的批处理文件来开始kettle作业。 转自:http://hi.baidu.com/phplinuxmysql/item/f5885685d2397b1cc31627e6 先普及一点
linux下使用crontab定时执行kettlejob布曙
linux下使用crontab定时执行kettlejob布曙 首先,安装jre,配置java环境变量部署kettle 1.   将data-integration.zip上传到linux服务器 2.   使用unzip命令解压data-integration.zip    unzip data-integration.zip -d "/mnt/kettle" 3.   赋予解压目录
windows使用计划任务定时执行kettle资源库中的job
通常情况下,在工作中在数据抽取过程中,会使用到job进行定时抽取。本文主要介绍kettle在windows下定时执行job。       备注:我用的kettle版本是5.1.0 1、准备编写kettle.bat脚本       脚本内容如下:       D:       cd D:\kettle\data-integration       kitchen.bat -rep JS_
KETTLE远程执行任务
利用kettle远程调用linux平台的shell脚本 两个平台都配置好kettle 1、在job的view处 右键点击slave server,进行新建子服务器 server name自己命名一个 输入linux子服务器IP,还有端口(这个端口也是子服务器carte服务的端口) username写cluster password写cluster 2、在
java调用kettlejob(任务)和transformation(转换)传递参数实例
详细介绍了java传递的参数,kettle中如何使用。 java调用kettlejob(任务)和transformation(转换)传递参数实例
将Kettle仓库中的job导出为XML文件
转自:https://www.cnblogs.com/qiuhong10/p/7929758.html
KETTLE 并行任务设置
为提高任务执行效率,同时也保证任务执行时的无相关性,(串行操作往往依赖上个任务的执行结果)并行操作势在必行。
kettle调试远程执行的作业
背景在使用ftp下载插件时,发现进行本地执行时可以正常,但当选择了远程执行并指定了远程服务器后发现出现了错误:从 FTP:User cannot log in. 获取文件时发生错误。根据错误信息可以判断是因为ftp登录不上的原因,至于具体的原因无法定位,为了一探究竟,于是便萌生了调试远程作业的想法,顺便深入了解一下了解kettle运行原理以及源码学习。思路carte服务器实际上就是一个web ser
kettle中给ktr作业设置日志
原文地址:http://www.cnblogs.com/wxjnew/archive/2013/05/23/3095018.html 目的,无论是本地的.ktr文件或者是资源库的ktr模型,只要模型被调用运行的日志就保存到一张日志表,当模型在外部调用出错时,方便查看日志文件查找原因,话不多说,直接入主题; step1:打开ktr选择ktr属性: step2:选
Java程序调用kettle中的job及trans
package org.gdh.kettle.transform; import org.pentaho.di.core.KettleEnvironment; import org.pentaho.di.core.exception.KettleException; import org.pentaho.di.core.exception.KettleXMLException; i
kettlejob视图中两个步骤间连线黄锁和对号的区别。
kettlejob视图中两个步骤间连线黄锁和对号的区别。 在连接两个步骤的时候 连线上的图标类型有三种:红色就不做说明了; 黄锁,将鼠标放到锁上会提示:“ this is an unconditional hop that means tha regardless of the execution result of 'start' the next job
为整个作业设置变量——kettle参数和变量使用
1 kettle使用参数时,如果参数位置是字符串(数字也可以加),最好加引号eg: 2 kettle设置变量为整个作业使用2.1 整个作业的预览图 在这个作业里面,从“转换设置变量” 开始之后的各个分支不是并发执行的,执行的先后顺序是各个分支被连接的顺序 2.2 设置变量 图中数据库连接查询,各个之间没有关联,只是为了从不同的数据库查询需要的值。 设置环境变量,“字段值:”字段名称是前面sql语
Java-动态传参调用kettle转换和作业
注:需要的包kettle lib 下面都有kettle 打头的基本都要. Kettle6.0下测试的 调用转换传参 不传参的话直接传null     Stringpath =application.getRealPath("/kettle/voucher.ktr");     SimpleDateFormatdf = new SimpleDateFormat("yyyy-MM-dd H
linux下同时运行两个kettlejob
1.部署kettle在Linux的环境 2.将job,transition从windows拷贝到linux对应目录下 编写ts.sh,运行脚本: #!/bin/bash cd /home/kettle/data-integration export JAVA_HOME=/usr/java/jdk1.8.0_162 export PATH=$JAVA_HOME/bin:$PATH expo...
kettle 作业调度
本周项目上用到了kettle并且需要做任务调度,听老师说用kettle自带的调度不大稳定于是便baidu了下,参照这篇文章完成了通过kitchen的调度,简单说就是通过windows的计划任务来调用.bat的批处理文件来开始kettle作业。 转自:http://hi.baidu.com/phplinuxmysql/item/f5885685d2397b1cc31627e6 先
kettle 命令行运行作业(kitchen)和转换(pan)以及一路下来编写的例子
Kettle好的论坛:http://www.flybi.net/category/31 BI教程学习地址:http://www.hellobi.com/course/37 Kettle 命令行使用说明 1.Kitchen——作业执行器 是一个作业执行引擎,用来执行作业。这是一个命令行执行工具, 参数说明如下 1) -rep:Repositoryname 任务包所在存储名 2) -user:Re
手工自动重跑kettle报错Job
需求如下:每天kettle Job调度可能报错一大堆,为了重跑报错Job,又不能一次全部执行报错Job(服务器负载过大,导致每个Job执行时间变长,甚至报错不能分配内存错误),必须等一些Job执行完毕后再执行,浪费睡觉时间,咱们可以写脚本,早上起来发现报错后,执行脚本,然后就可以去继续睡觉了。 脚本如下:#!/bin/ksh #job执行的2个日期参数 CurDay=`date +%Y%m%d`
使用windows自带任务计划管理程序定时调用Kettle作业
1.右键计算机或者我的电脑,选择管理,选择任务计划程序。或者通过其他方式打开,总之打开任务计划程序就对了2.创建基本任务 给基本任务起名字,设置触发器条件(自行设置),操作项选择"启动程序",在"程序或脚本"选项中选择我们之前创建的****.bat脚本,"起始于(可选)"选项内填入****.bat的目录即可,配置即完成3.启动任务 由于我设置的是"开机启动任务",所以需重启机器,启动完成后打开"任...
Kettle定时执行(ETL工具)
Kettle定时执行(ETL工具)
windows下任务计划程序调用kettle job
windows下任务计划程序调用kettle job C: cd C:\pdi-ce-7.0.0.0-25\data-integration Kitchen.bat /norep /file D:\ETL\jb\testdb.kjb 注释:以上为windows命令行下的三行三个命令(不可写成一行),第一行命令是选择kitchen.bat所在的盘,第二行命令是进入kitchen.bat安
kettle学习笔记(三)——kettle资源库、运行方式与日志
kettle学习笔记(三)——kettle资源库、运行方式与日志一、kettle资源库  资源库是用来保存转换任务的,用户通过图形界面创建的的转换任务可以保存在资源库中。        资源库可以使多用户共享转换任务,转换任务在资源库中是以文件夹形式分组管理的,用户可以自定义文件夹名称。  1.ketle资源库元数据  • 资源库    资源库包括文件资源库、数据库资源库    Kettle 4....
Java程序调用kettle中的job(.kjb)和Trans(.ktr)
package com.p.serv.util;      import org.pentaho.di.core.KettleEnvironment;   import org.pentaho.di.core.exception.KettleException;   import org.pentaho.di.core.exception.KettleXMLException;   im
kettle通过windows设置计划任务来定期调度
新建一个bat脚本来执行Kitchen.bat,通过Kitchen在执行对应的作业文件,设置日志格式和保存日志路径。这里我新建mysql.bat文件内容如下:cd C:\kettle\pdi-ce-7.1.0.0-12\data-integration kitchen.bat /file C:\kettle\pdi-ce-7.1.0.0-12\data-integration\data\测试1.k...
kettle使用命令行来运行job和transform
[Author]: ipple 1:cmd方式运行 1.ktr的运行:运行transformation文件是通过Pan.bat来运行的。 打开cmd命令行窗口,转到Pan.bat所在的目录,如d:\data-integration,然后执行文件的命令为:pan /file D:\etltest\EtltestTrans.ktr 2.kjb的运行:运行job文件是通过kitchen.
Pentahou Kettle 在Job里使用Javascript 处理复杂逻辑
SSIS 有 script component 允许用户用C# 或者 VB来定义复杂逻辑 Pentaho Kettle 有 Javascript 允许用户用js来定义复杂逻辑 Javascript 最后必须返回一个布尔变量(如下面示例代码中的 true;), 表示成功或者失败 可用使用 parent_job.setVariable(); 来定义变量 下面有一段示例代码, 使用了js 和日期...
java调用4.20 kettlejob和tran(含需要用到的jar包)
里面包含工程需要的jar包,下载就可以使用,样例是DB2数据库,不同的数据库,导入不同的数据库驱动就可以。
kettlt 作业自动执行
安装完成kettle之后,很多时候都是需要系统去自动执行我们所生成的作业,那么对于windows系统下的自动执行bat文件的编写应该是怎样的呢?下面给出答案: F: cd F:\kettle\kettle kitchen.bat  -file=F:\kettle\kettle\job\alarmhistory.kjb -log=F:\kettle\kettle\job\joblog.lo
Spring Boot 2精髓:从构建小系统到架构分布式大系统
Spring Boot 2
kettle 定时任务(使用资源库)
转自:http://blog.csdn.net/feng19821209/article/details/5800960 1,Kettle跨平台使用。     例如:在AIX下(AIX是IBM商用UNIX操作系统,此处在LINUX/UNIX同样适用),运行Kettle的相关步骤如下:     1)进入到Kettle部署的路径     2)执行 chmod *.sh,将所有she
在Linux中通过Kitchen和Pan以命令行方式执行kettle的Job和Transformation
1. 准备工作一个简单的job,一个简单的trans。本处为了方便和效果易见,job和trans都生成文件。 trans:读取download目录下的所有文件名,输出为文件。【界面情况下测试成功】 成功生成目标文件: job:创建文件。【界面模式测试执行成功】 执行结果: 把界面执行测试结果文件删除,以免影响观察。2. linux环境以命令行方式执行job和trans
kettle 设置转换并行运行
kettle 设置转换并行运行 在执行不相关的转换时,可以并行执行转换。如下图: 设置完成后能够实现两个转换同时并发执行。
Kettle作业步骤循环执行的实现
场景:User_Tables存放着系统用户的表信息,其中列Table_Name存放着表名。现在想从User_Tables中获取要进行相同数据抽取操作的表,使用Kettle实现循环执行这些表。例如统计表A、B的总行数:SELECT COUNT(1) FROM A;SELECT COUNT(1) FROM B;这些SQL语句除开表名外,其他部分都是一样的,所以在使用KETTLE抽取数据时,Kettle...
java通过kettle的API调用已经创建好的转换(transformation)或任务(job
java通过kettle的API调用已经创建好的转换(transformation)或任务(job
kettle在Win下执行trans和job的批处理示例
1、kettle_rep_pan.bat   d: D:\Professional\pdi-ce-3.2.0-stable\data-integration\Pan.bat /rep:"kettle" /trans:"clone row" /dir:/ /user:admin /pass:111111 /level:Basic >>"C:\Documents and Settings\Adm
kettle保存资源库报错:一个数据库错误发生在从资源库文件读取转换时
转换的输入数据库和输出数据库要和资源库的编码相同。
解决kettle调度效率低,不可高并发调度方法
“我在spoon里面运行一个作业只要几秒种,但是在命令行中运行却要好几十秒?” “并行同时运行几个job,就把内存撑爆了,Kettle好占资源呀!” Kettle作为用户规模最多的开源ETL工具,强大简洁的功能深受广大ETL从业者的欢迎。但kettle本身的调度监控功能却非常弱。连Pentaho官方都建议采用crontab(Unix平台)和计划任务(
Linux下crontab命令添加Kettle作业定时任务
1. 确保作业 $KETTLE_HOME/kitchen.sh -file=/data1/testdata/testkjb.kjb 或转换 $KETTLE_HOME/pan.sh -file=/data1/testdata/testktr.ktr 能在Linux下正常执行     此步骤在JDK配置正确,(Ps.可选择配置Kettle的环境变量,主要是定位程序所在主目录,不用每次引用绝对路径),
etl kettle 执行日志输出到数据库
1.右键进入转换设置页面,选择日志表要放在哪个数据库几日志表名称 2.设置好后,点击下方的SQL按钮,会弹出创建表语句,执行即可
Kettle框架搭建以及java代码调用作业和转换
Kettle框架搭建   下载安装 可以从http://kettle.pentaho.org下载最新版的 Kettle软件 ,同时,Kettle 是绿色软件,下载后,解压到任意目录即可。 目前Kettle的最新版本是7.1。 由于Kettle 是采用java 编写,因此需要在本地有JVM 的运行环境。 安装完成之后,点击目录下面的kettle.exe 或者spoon.bat 即可启...
讲解SQL Server定时作业job的设置…
来源:赛迪网  如果在SQL Server 里需要定时或者每隔一段时间执行某个存储过程或3200字符以内的SQL语句时,可以用管理->SQL Server代理->作业来实现。  1、管理->SQL Server代理->作业(按鼠标右键)->新建作业->  2、新建作业属性(常规)->名称[自定义本次作业的名称]->启用的方框内是勾号->  分类处可选择也可用默认
java程序中给Kettle传参数
import org.pentaho.di.core.exception.KettleException; import org.pentaho.di.core.logging.LogWriter; import org.pentaho.di.core.util.EnvUtil; import org.pentaho.di.job.Job; import org.pentaho.di.jo
【Kettle从零开始】第七弹之Kettle作业中常用组件介绍
Kettle版本:3.2GA JDK版本:1.6.0_41 OS:NT
kettle 设置变量
1.ktr,kjb中设置变量。 ktr文件一  ktr文件二 设置变量 这个控件设置的参数,不能在同一个转换中使用。 获取设置的变s量名用${MAX_USERID} 2.java给ktr赋值 用 获取系统信息 控件。同样使用 ${变量名} 3.java给kjb赋值 java代码://创建job Job job = new Job(re
linux kettle hadoop copy file 有时无法保存数据问题
通过脚本启动kettlejob时,会出现有时hadoop copy file 没有启动或运行的情况,其实这都是kettle自带的缓存问题,windows下不会出现这种情况,但linux下会导致一些时候没有启动hadoop copy file操作可以采用如下方式编写脚本将kettle里的缓存文件夹删除即可...
执行oracle中的job报错:ORA-12011:无法执行作业1
LZ在做一个job执行每天新增一个表的操作时,存储过程运行没问题,job也创建成功,但运行job时,却报错: ,后又用sys用户登陆创建了同样的存储过程和job,结果可以执行成功。当时就猜测是权限问题。后在网上搜索发现,这是因为存储过程中执行的是DDL命令, 当前用户没有执行DDL的权限,引用另一篇文章中的内容如下: 总结,角色resource里也包括了create table的
kettle执行结果面板步骤度量(二)——作业
楔子 java调用kettle,获取类似kettle界面执行结果面板步骤度量 代码 /** * 执行 JOB * * @param repository * kettle数据库资源库 * @param job_path * JOB 目录 * @param job_name * JOB 名称 ...
kettle执行定时任务,使用pan.bat和kitchen.bat
1.    运行cmd,进入kettle的目录cd C:\soft\kettle\data-integration  2.    运行start pan.bat命令 Pan—转换执行器(命令行方式),一般在自动调度时借助此命令调用调试成功的转换(transform) 3.    弹出新的cmd窗口 4.    运行kitchen.bat,弹出新的窗口 kitchen—
BI:Java调用Kettle执行任务或转换
Java调用Kettle执行任务或转换,需要使用Kettle中的jar,可以先导入lib目录中的几个基本的jar,如:kettle-core.jar、kettle-db.jar、kettle-engine.jar ,其它jar根据情况进行添加,所需的jar在\lib、\libext下面都可以找到,本示例引用的jar如下图:       之后编写代码测试Java调用,调用前先使用Kett
执行oracle中的job报错:ORA-12011:无法执行作业1存储过程执行DDL语句提示ORA-01031错误:权限不足
LZ在做一个job执行每天新增一个表的操作时,存储过程运行没问题,job也创建成功,但运行job时,却报错: ,后又用sys用户登陆创建了同样的存储过程和job,结果可以执行成功。当时就猜测是权限问题。后在网上搜索发现,这是因为存储过程中执行的是DDL命令, 当前用户没有执行DDL的权限,引用另一篇文章中的内容如下: [plain] view pl
Pentaho Kettle 简单并行处理
根据Kettle的设计所有的step在transformation里是并行运行的, 所以在transformation里无法做到针对某一个step记日志, 因为记日志那步会在transformation一开始就执行 而不会等待你要关注的那个step完成才开始.  可以把记日志的功能放到job里去: 对于job, job不是并行的, 而是根据箭头有先后执行顺序的. 1. 在一个
linux下使用crond定时执行kettlejob任务
部署kettle        1.         将pdi-ce-4.1.0-stable.zip上传到linux服务器 2.         使用unzip命令解压pdi-ce-4.1.0-stable.zip unzip pdi-ce-4.1.0-stable.zip -d "/mnt/kettle" 3.         赋予解压目录下.sh文件的执行权力 chmo
Kettle配置自动发送邮件并在数据库中记录运行日志
①通过在WINDOWS下的任务计划程序,在D:\kettle下创建一个bat文件,在D:\kettle\dispatchPRODTCT\mail\创建一个JOB调用KTR文件来实现定时发送邮件的任务。 ②每一次执行操作记录日志:data_etl.t_mail_task 步骤说明 1.1,配置数据库连接,创建一个转换 1.2双击表输入,注意:表连接里不能出现truncat
kettle远程和集群执行
设置子服务器,默认用户名密码为cluster 密码保存在pwd目录下 启动carte服务,端口号自定义 集群执行 右键步骤,选择集群
kettle工具二次开发-代码启动JOB
kettle工具是一款优秀的数据同步、数据处理的BI工具,收到了很多人的青睐。kettle软件通过可视化的图标可以让我们很轻易的能完成数据同步、处理的开发工作。但是使用kettle可视化界面在跑JOB久之后,会报JAVA SWT的错误,故为了程序的稳定性,我们需要对其进行二次开发。 1.kettle可视化界面设计 由于业务不同,使用kettle工具做出的设计也不同,故在此只写一下如何设置连接参
基于B/S架构的kettle7版本的作业和转换集成管理工具
https://gitee.com/1967988842/kettle-master
kettle资源库中找某一个表或sql在哪个job中使用的
--1.在步骤属性表r_step_attribute寻找需要查询的sql select * from r_step_attribute aa where aa.value_str like '%join ucweb_user_info%' ; ID_TRANSFORMATION 就是转换的id,VALUE_STR 字段中存放相关的sql; --2.根据转换id查询job的id se
Kettle实现循环的两种方法
Kettle实现循环有两种方式: 一种是在Job中引用Transformation时,可通过设置Transformation 的高级属性(”执行每一个输入行”)来实现Transformation 的循环,具体例子可以参考下面的链接: Kettle实现Transformation 循环及跳出 另一种方式是通过job中的"Evaluatiing Javascript" 和 "
java调用kettle中的资源库文件(job\trans)
先截图看看我的kettle中的目录结构
kettle发送邮件(监控ETL的执行信息) QQ邮箱 126邮箱
回复地址可以不写(默认回复地址就是发件人地址,即就是你126邮箱的地址),当然你也可以将恢复地址设置为和发件人地址一样gongxindezile@126.com,也可以设置为12251941@qq.com这个邮箱地址. 使用kettle发送邮件是为了更好的监控ETL的加载信息   以下是我通过测试的一个案例 1. JOB示意图 2.邮件发送配置详细信
kettle 为转换增加日志表
参考:http://blog.csdn.net/oufua/article/details/50917775 在转换属性中【日志】页签,创建日志表,记录插入更新情况。
windows下定时任务执行kettle Job
windows下定时任务执行kettle Job
通过数据库批量向kettle中插入数据,建立trans和job的模板(按照不同的要求需要自行调整)
import psycopg2 用来操作数据库的类 class GPCommand(object): # 类的初始化 def init(self): self.hostname = ‘10.1.2.42’ self.username = ‘di_repository’ self.password = ‘di_repository...
kettlejob中执行每行
etl kettle 进阶学习教程 权威 关于循环的示例
KETTLE 执行转换时遇到错误,记录并继续运行
参考:http://blog.csdn.net/qq_22073849/article/details/71809243 http://blog.csdn.net/xiaosemei/article/details/78562992 http://blog.csdn.net/feng19821209/article/details/9120561 (1)实现-当转换出错可以继续运
【Kettle】作业和转换中的内置变量
作业和转换参数中使用Kettle内置变量,可以更方便的工作。下面是Kettle中常用的内置变量:变量描述Internal.Kettle.Version这是kettle的版本号,比如4.0.0Internal.Kettle.Build.Version这是kettle源代码的SVN的修订号Internal.Kettle.Build.Date这是kettle的build日期Internal.Job.F...
kettle实践
./kitchen.sh /norep /file /usr/local/job/ssh/spark.kjb  ps -ef|grep kitchen.sh 可用linux定时任务管理kettlejob //后台启动 ./kitchen.sh /norep /file /usr/local/job/ssh/spark.kjb &  //集群windos做master
Kettle DB链接异常报错
kettle点击DB链接报以下错误,那位大神能帮忙解决下,新手求助 org.pentaho.di.ui.core .database.dialog.XulDatabaseDialog.open(XulDatabaseDialog.java:97) org.pentaho.di.ui.core.database.dialog.DatabaseDialog.open(DatabaseDialog...
kettle作业设置为定时任务
@echo off D:\soft\Kettle6.0\data-integration\Kitchen.bat /norep /file D:\soft\Kettle6.0\kettleTask\抽取监测日数据作业.kjb @pause     E: cd E:\tool\Kettle\dist Pan.bat /norep /file E:\tool\Kettle\KettleTask...
KETTLE系列4--新建转换
4.1 部分组件介绍: 4.1.1 转换核心对象: 4.1.1.1 表输入:     位置:在 “输入” 文件夹下。      功能:从数据库表中输入数据,通过 SQL 语句过滤数据。     前提:需要连接数据库。     开发界面:                         说明:              如果勾选了 “允许延迟转换”,会发现中文会出现
在linux下设置kettle的定时任务方法
1.     安装centos 2.     安装java环境参考网址:  http://www.cnblogs.com/haoliansheng/p/5832979.html 3.     解压kettle.zip  进入kettle.zip目录, 4.     运行 unzip kettle.zip 5.     等待解压完成 6.    进入解压目录,找到./kit
我们是很有底线的