kettle 数据表输出的时候慢就跟卡死了一样

qiu9870 2017-11-03 05:24:59

使用的sybase 提取到oracle 求各位大神指教

...全文

4641 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

当Excel输出大量数据时（10w+），此步骤可能会卡死导致真个转换报错。只需勾选如下即可解决：

3.1，原因是在表输出界面，操作时，会自动连接数据库扫描表；因为数据库db连接配置的不对，所以每次要等待几分钟；把db连接，配置为可以访问通的即可解决问题；3，修改db连接，改为可以访问通的地址，然后再操作表输出，发现没问题；2，等工具不卡之后，尝试关闭，表输出界面，点击其他部分，发现都正常；在编辑表输出时，点击修改目标表，这个工具立刻卡主，提示无响应；1，ai告诉我要查看log，发现没有明显报错。每操作1下，就要卡好几分钟；

在使用开源ETL工具Kettle定义转换时，为了保证transformation脚本的健壮性，我们会在关键的步骤上进行异常捕获处理。 kettle工具的transformation中的多数步骤都是支持定义错误处理的。因TableOutput涉及数据库事务，所以本篇文章以TableOutput步骤来探究kettle异常处理的方式。文章中难免错在遗漏和错误之处，敬请谅解。1 测试环境2 普通方

背景：最近公司项目重构，准备数据迁移，之前的表结构都会有变动，然后就准备用kettle做数据迁移，发现表的数据量大的时候，kettle对表的读写操作的速度很慢，并且是达到一定数据量以后速度会特别慢，数据量小的时候读的速度是很快的在5000条数据量和16000条数据量下读取数据的速度可以看出数据量增加三倍以后，我读取数据的速度直接下降了五六十倍在5000条数据量和16000条数据量下读写操作的速度这里读写操作的数据量差异之所以会这么大，是因为我没有修改输出表的提交记录数据，导致每次输出只能100

Kettle处理300万条数据。初始配置都没有更改，运行，一直报timeout。问题定位：表输入，读取来源数据数据量太大报错。进行以下过程进行优化： 1.调整java内存占用为最大 2.调整表输出线程，将线程数调整为8 3.修改表输入（mysql）的连接参数。原始参数全部为空，增加参数优化表输入优化后，重新运行，数据处理完成。转载于:https://juejin.im/post/5c...

7,394

社区成员

6,741

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章