社区
数据仓库
帖子详情
kettle如何通过propeties文件动态连接数据库?
u010134157
2016-10-01 01:33:05
我远程和本地各一个mysql数据库,我想用kettle读取properties文件,动态连接数据库,这样我就可以通过修改properties文件,将客户到的oracle,mysql,sqlserver数据库中的数据指定是提到本地还是远程,请问kettle如何配置,java代码如何写。
请高手赐教!
...全文
1478
回复
打赏
收藏
kettle如何通过propeties文件动态连接数据库?
我远程和本地各一个mysql数据库,我想用kettle读取properties文件,动态连接数据库,这样我就可以通过修改properties文件,将客户到的oracle,mysql,sqlserver数据库中的数据指定是提到本地还是远程,请问kettle如何配置,java代码如何写。 请高手赐教!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
史上最强-
Kettle
-培训教程.pdf
Kettle
工具使用 培训教程 目录 ETL 简介
KETTLE
简介
KETTLE
安装和运行
KETTLE
菜单简介
KETTLE
案例讲解 控件介绍 日志介绍 一、ETL 简介 ETL 概念简介 ETL相关的质量特性 ETL 在数据仓库项目中的位置 二、
kettle
工具简介
Kettle
是一款国外开源的ETL工具, 纯java编写,可以在Window、 Linux、Unix上运行,数据抽取高效 稳定
Kettle
中有两种脚本
文件
, transformation(转换)和job (作业),transformation完成 针对数据的基础转换,job则完 成整个工作流的控制。
Kettle
工具的模型架构
kettle
工具的优缺点 优点: 系统开源、免费 安装方便、图形化安装 支持多种数据源 支持多种字符集 具有简单的权限管理 支持各种复杂数据转换 缺点 稳定性差 性能差 缺乏元数据管理
KETTLE
的下载
Kettle
可以在 http://
kettle
.pentaho.org/网站下载 下载
kettle
压缩包,因
kettle
为绿色软 件,解压缩到任意本地路径即可
Kettle
运行步骤 双击运行
kettle
文件
夹下的
Kettle
文件
,出 现
kettle
欢迎界面。 创建资料库(可省略) 创建数据库连接 创建转换 创建Jobs,进行流程化控制
KETTLE
的使用 进入到
Kettle
目录,如果
Kettle
部署在windows环 境下,双击运行spoon.bat
文件
,出现如下界面:
Kettle
使用步骤 (1)创建转换 大概的来说一般由三步组成: 输入+转换等中间步骤+输出 (2)创建作业 将已经创建好的转换和相关的作业组件串联起来, 形成一个整体的任务。
Kettle
的执行顺序 作业:分串行执行和并行执行,串行执行是先执行完其中一条线再执 行另一条线,并行是两条线同时执行,同一条线上的两个步聚会先执 行前面的再执行后面的。每个步骤执行结果分两种:true(成 功)/false(失败),根据返回结果可以控制流程走向。 转换:一开始所有步骤同时运行,记录会从最前端的步骤向后传递, 传递到相应步骤则该记录被该步骤作相应处理,处理完成再把记录往 后传递,记录传递分复制和分发两种模式。
KETTLE
的目录介绍 根目录
文件
夹介绍: 【Docs】存放
Kettle
各种语言版本的API文档。 【 Launcher 】存放
Kettle
Spoon加载的一些配置信息。 【 Lib 】存放
Kettle
所使用到的第三方jar包。比如:数据库驱动包, 如缺少时需要把对应的数据库驱动包放入此
文件
夹中。 【 Libswt 】存放
Kettle
对应不同平台的相关UI jar包。 【 Plugins 】存放
Kettle
自定义插件时,需要把自定义好的插件打成 jar放在此目录。 【 Pwd 】存放
Kettle
配置集群时所需要的配置
文件
与加密
文件
。 【 Samples 】存放
Kettle
自带的一些Job与Trans实例。 【 Simple-jndi 】存放
Kettle
使用JNDI方式连接数据源方式的
文件
存放目录。目录下的jdbc.properties配置
文件
中有相应的实例提供 参考。 【 Ui 】存放
Kettle
初始化使用到的图片及配置信息。
Kettle
菜单介绍-transformation Main Tree菜单列出的是一个 transformation中基本的属性, 可以通过各个节点来查看。 DB连接:显示当前transformation 中的数据库连接,每一个 transformation的数据库连接都需要 单独配置。 Steps:一个transformation中应用 到的环节列表 Hops:一个transformation中应用 到的节点连接列表 转换的菜单介绍:
Kettle
菜单介绍-transformation Core Objects菜单列出的是 transformation中可以调用 的环节列表,可以通过鼠标 拖动的方式对环节进行添加。 Input:输入环节 Output:输出环节 Lookup:查询环节 Transform:转化环节 Joins:连接环节 Scripting:脚本环节 转换的菜单介绍:
Kettle
菜单介绍-transformation 每一个环节可以通过鼠标拖动来将环节添加到主窗 口中。 并可通过shift+鼠标拖动,实现环节之间的连接。
Kettle
菜单介绍-transformation 转换的常用环节介绍:
Kettle
菜单介绍-job Main Tree菜单列出的是一 个Job中基本的属性,可以 通过各个节点来查看。 DB连接:显示当前Job中的数据 库连接,每一个Job的数据库连接 都
access同步数据到mysql(支持jdk8、不限1000条)
JAVA+UTF8+JDK8 access(支持带密码)同步到mysql数据库; 右击导出时候直接选Runnable jar file; 导出之后复制config
文件
夹与jar包放到同一个目录下; 我是导出为可执行jar之后,做了个系统任务,定时的跑; 此项目支持jdk8并且读取access不限制1000条; tips: 导出时候config
文件
夹不会被导出,这个
文件
夹里的file.properties是配置连接信息及用户名密码的; 如果file.properties里的中文显示为code,你需要右击此
文件
,点击Properties—Text file encoding设置为utf8。
基于
Kettle
+Clickhouse+Superset构建实时大数据
Kettle
这个ETL工具集,它允许你管理来自不同数据库的数据,通过提供一个图形化的用户环境来描述你想做什么,而不是你想怎么做。
Kettle
中有两种脚本
文件
,transformation和job,transformation完成针对数据的基础...
kettle
使用记录-
动态
配置数据库连接
kettle
使用记录-
动态
配置数据库连接前言step 1、新建主kjb脚本,编写配置
文件
step 2、修改数据库连接配置 前言 新进的项目组用到了
kettle
,主要用于取数和转换。第一次接触这个东西,网上能查到的资料也很少很旧,为方便自己复习,同时方便他人,特此记录。 step 1、新建主kjb脚本,编写配置
文件
如图1,在主kjb中新建一个“设置变量”控件,填写参数。 在主kjb的统计目录下新建“
kettle
.properties”
文件
,并使用notpad++打开。填写数据库连接信息。 以key
Kettle
数据库
动态
连接
KETTLE
的
动态
数据库连接
kettle
数据库连接使用变量
Kettle
数据库连接采用文本
文件
进行配置
数据仓库
7,388
社区成员
6,742
社区内容
发帖
与我相关
我的任务
数据仓库
其他数据库开发 数据仓库
复制链接
扫一扫
分享
社区描述
其他数据库开发 数据仓库
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章