社区
数据仓库
帖子详情
kettle不同数据库表关联速度很慢
hal_sakai
2016-09-22 03:49:39
现有A表在SQL SERVER中,B表在MYSQL中,用记录关联(笛卡尔积)进行关联,关联字段为“ID”(INT型),A表中有数据8000多条,B表中有32000多条。照理说数据量不算大,但实际写一条记录要将近0.5秒,为何会这么慢?
...全文
1635
1
打赏
收藏
kettle不同数据库表关联速度很慢
现有A表在SQL SERVER中,B表在MYSQL中,用记录关联(笛卡尔积)进行关联,关联字段为“ID”(INT型),A表中有数据8000多条,B表中有32000多条。照理说数据量不算大,但实际写一条记录要将近0.5秒,为何会这么慢?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
1 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
ivan362
2016-11-23
打赏
举报
回复
kettle的表关联在内存中实现,不是kettle的长项,最好在数据库端做关联,排序操作。
kettle
之记录
关联
-笛卡尔积输出
记录
关联
-笛卡尔输出例:按照旧ETL工具,需要将基础
表
A、
表
B、
表
C、
表
D,4张
表
的数据保存到本地
数据库
,然后,再通过SQL将4张
表
的数据
关联
到一张结果
表
,过程共产生5张
表
,严重浪费
数据库
资源,以及...
kettle
效率提升
Kettle
作为一款ETL工具,肯定无法避免遇到效率问题,当很大的数据源输入的时候,就会遇到效率的问题。对此有几个解决办法: 1)
数据库
端创建索引。对需要进行查询的
数据库
端字段,创建索引,可以在很大程度上提升...
kettle
学习笔记03_转换的使用和
数据库
连接
kettle
主要由转换作为任务点,一个转换代
表
一次具体的任务,它可以做数据的同步以及很多很多功能。。。总之,他就是你想要完成某种操作的具体实施者。每一个环节可以通过鼠标拖动来将环节添加到主窗口中。 并可通过...
ETL 工具
Kettle
记录
ETL 工具
Kettle
记录,ETL 工具
Kettle
记录,ETL 工具
Kettle
记录
Kettle
--MySQL生产
数据库
千万、亿级数据量迁移方案及性能优化
Kettle
数据量迁移方案及性能优化
数据仓库
7,388
社区成员
6,742
社区内容
发帖
与我相关
我的任务
数据仓库
其他数据库开发 数据仓库
复制链接
扫一扫
分享
社区描述
其他数据库开发 数据仓库
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章