社区
数据仓库
帖子详情
kettle不同数据库表关联速度很慢
hal_sakai
2016-09-22 03:49:39
现有A表在SQL SERVER中,B表在MYSQL中,用记录关联(笛卡尔积)进行关联,关联字段为“ID”(INT型),A表中有数据8000多条,B表中有32000多条。照理说数据量不算大,但实际写一条记录要将近0.5秒,为何会这么慢?
...全文
1630
1
打赏
收藏
kettle不同数据库表关联速度很慢
现有A表在SQL SERVER中,B表在MYSQL中,用记录关联(笛卡尔积)进行关联,关联字段为“ID”(INT型),A表中有数据8000多条,B表中有32000多条。照理说数据量不算大,但实际写一条记录要将近0.5秒,为何会这么慢?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
1 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
ivan362
2016-11-23
打赏
举报
回复
kettle的表关联在内存中实现,不是kettle的长项,最好在数据库端做关联,排序操作。
ETL之PDI/
Kettle
9.x/8.x案例培训实战从入门到应用案例
学完本课程,您将掌握: PDI/
Kettle
数仓技术 PDI/
Kettle
开源免费的ETL推送工具 PDI/
Kettle
数据清洗 PDI/
Kettle
数据抽取 PDI/
Kettle
数据挖掘 PDI/
Kettle
案例实战 PDI/
Kettle
技巧 PDI/
Kettle
9.1版本 PDI/
Kettle
通用 ...
kettle
之记录
关联
-笛卡尔积输出
最近由于工作涉及的OLTP系统升级ETL工具的原因,接触了
kettle
工具,由于没有做好基础工作,公司大牛给的关于
kettle
的资料《PDI构建开源ETL解决方案》,没有认真了解,导致使用起来步履维艰。记录
关联
-笛卡尔输出例:按照旧ETL工具,需要将基础
表
A、
表
B、
表
C、
表
D,4张
表
的数据保存到本地
数据库
,然后,再通过SQL将4张
表
的数据
关联
到一张结果
表
,过程共产生5张
表
,严重浪费
数据库
资源,以及...
kettle
效率提升
Kettle
作为一款ETL工具,肯定无法避免遇到效率问题,当很大的数据源输入的时候,就会遇到效率的问题。对此有几个解决办法: 1)
数据库
端创建索引。对需要进行查询的
数据库
端字段,创建索引,可以在很大程度上提升查询的效率,最多的时候,我不创建索引,一秒钟平均查询4条记录,创建索引之后,一秒钟查询1300条记录。 2)
数据库
查询和流查询注意使用环境。因为
数据库
查询为数据输入端输入一条记...
kettle
学习笔记03_转换的使用和
数据库
连接
一.功能简介
kettle
主要由转换作为任务点,一个转换代
表
一次具体的任务,它可以做数据的同步以及很多很多功能。。。总之,他就是你想要完成某种操作的具体实施者。每一个环节可以通过鼠标拖动来将环节添加到主窗口中。 并可通过shift+鼠标拖动,实现环节之间的hop连接。 二、新建转换 我们用一个简单案例做一下吧 1.文件–>新建–>转换 2.
数据库
连接 首先连接要操作的
数据库
(如果涉及...
ETL 工具
Kettle
记录
ETL 工具
Kettle
记录,ETL 工具
Kettle
记录,ETL 工具
Kettle
记录
数据仓库
7,388
社区成员
6,742
社区内容
发帖
与我相关
我的任务
数据仓库
其他数据库开发 数据仓库
复制链接
扫一扫
分享
社区描述
其他数据库开发 数据仓库
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章