社区
数据仓库
帖子详情
kettle 数据 表输出的时候慢就跟卡死了一样
qiu9870
2017-11-03 05:24:59
使用的sybase 提取到oracle 求各位大神 指教
...全文
4595
1
打赏
收藏
kettle 数据 表输出的时候慢就跟卡死了一样
使用的sybase 提取到oracle 求各位大神 指教
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
1 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
【
Kettle
】如何解决Excel
输出
卡死
或太
慢
当Excel
输出
大量
数据
时(10w+),此步骤可能会
卡死
导致真个转换报错。只需勾选如下即可解决:
Kettle
——
表
输出
步骤异常处理方式探究
在使用开源ETL工具
Kettle
定义转换时,为了保证transformation脚本的健壮性,我们会在关键的步骤上进行异常捕获处理。
kettle
工具的transformation中的多数步骤都是支持定义错误处理的。因TableOutput涉及
数据
库事务,所以本篇文章以TableOutput步骤来探究
kettle
异常处理的方式。文章中难免错在遗漏和错误之处,敬请谅解。1 测试环境2 普通方
如何提高
kettle
在大
数据
量下的读写速度
背景:最近公司项目重构,准备
数据
迁移,之前的
表
结构都会有变动,然后就准备用
kettle
做
数据
迁移,发现
表
的
数据
量大的时候,
kettle
对
表
的读写操作的速度很
慢
,并且是达到一定
数据
量以后速度会特别
慢
,
数据
量小的时候读的速度是很快的 在5000条
数据
量和16000条
数据
量下读取
数据
的速度 可以看出
数据
量增加三倍以后,我读取
数据
的速度直接下降了五六十倍 在5000条
数据
量和16000条
数据
量下读写操作的速度 这里读写操作的
数据
量差异之所以会这么大,是因为我没有修改
输出
表
的提交记录
数据
,导致每次
输出
只能100
Kettle
处理300万条
数据
-问题整理
Kettle
处理300万条
数据
。 初始配置都没有更改,运行,一直报timeout。问题定位:
表
输入,读取来源
数据
数据
量太大报错。 进行以下过程进行优化: 1.调整java内存占用为最大 2.调整
表
输出
线程,将线程数调整为8 3.修改
表
输入(mysql)的连接参数。原始参数全部为空,增加参数优化
表
输入 优化后,重新运行,
数据
处理完成。 转载于:https://juejin.im/post/5c...
ETL工具
kettle
批量插入
数据
异常或
kettle
批量提交
数据
不完整
ETL工具
kettle
批量插入
数据
异常情况 众多的Etl工具中,
kettle
是一个不是特别稳定的一个工具,不是特别建议使用,那么在使用
kettle
进行
数据
转换时,经常会出现的一个问题:批量
数据
插入目标库时,会中途异常,导致插入目标库不全,并且报的错主要有三类,如下图片。 此问题十分恶心,这四类错误是随机报出来的,总共才同步个几万条记录,.bat运行十次中,大概有4次会出现以下四种报错的一种,剩下的...
数据仓库
7,393
社区成员
6,740
社区内容
发帖
与我相关
我的任务
数据仓库
其他数据库开发 数据仓库
复制链接
扫一扫
分享
社区描述
其他数据库开发 数据仓库
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章