社区
数据仓库
帖子详情
kettle 数据 表输出的时候慢就跟卡死了一样
qiu9870
2017-11-03 05:24:59
使用的sybase 提取到oracle 求各位大神 指教
...全文
4484
1
打赏
收藏
kettle 数据 表输出的时候慢就跟卡死了一样
使用的sybase 提取到oracle 求各位大神 指教
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
1 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
【
Kettle
】如何解决Excel
输出
卡死
或太
慢
当Excel
输出
大量
数据
时(10w+),此步骤可能会
卡死
导致真个转换报错。只需勾选如下即可解决:
Kettle
——
表
输出
步骤异常处理方式探究
在使用开源ETL工具
Kettle
定义转换时,为了保证transformation脚本的健壮性,我们会在关键的步骤上进行异常捕获处理。
kettle
工具的transformation中的多数步骤都是支持定义错误处理的。因TableOutput涉及
数据
库事务,所以本篇文章以TableOutput步骤来探究
kettle
异常处理的方式。文章中难免错在遗漏和错误之处,敬请谅解。1 测试环境2 普通方
如何提高
kettle
在大
数据
量下的读写速度
背景:最近公司项目重构,准备
数据
迁移,之前的
表
结构都会有变动,然后就准备用
kettle
做
数据
迁移,发现
表
的
数据
量大的时候,
kettle
对
表
的读写操作的速度很
慢
,并且是达到一定
数据
量以后速度会特别
慢
,
数据
量小的时候读的速度是很快的 在5000条
数据
量和16000条
数据
量下读取
数据
的速度 可以看出
数据
量增加三倍以后,我读取
数据
的速度直接下降了五六十倍 在5000条
数据
量和16000条
数据
量下读写操作的速度 这里读写操作的
数据
量差异之所以会这么大,是因为我没有修改
输出
表
的提交记录
数据
,导致每次
输出
只能100
解决使用Spoon(
Kettle
)连接Hive
数据
库的卡顿问题
在使用软件Spoon进行本地MySQL
数据
传输到Hive的时候,连接本地MySQL和Hive后,创建MySQL
表
输入进行操作的时候不卡顿,但是创建Hive
表
输出
进行操作的时候,出现点一下卡一下的严重卡顿情况
【错误处理】
Kettle
表
输入ORA-00911
不要使用分号
数据仓库
7,388
社区成员
6,742
社区内容
发帖
与我相关
我的任务
数据仓库
其他数据库开发 数据仓库
复制链接
扫一扫
分享
社区描述
其他数据库开发 数据仓库
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章