kettle 数据表输出的时候慢就跟卡死了一样

qiu9870 2017-11-03 05:24:59

使用的sybase 提取到oracle 求各位大神指教

...全文

4595 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

当Excel输出大量数据时（10w+），此步骤可能会卡死导致真个转换报错。只需勾选如下即可解决：

在使用开源ETL工具Kettle定义转换时，为了保证transformation脚本的健壮性，我们会在关键的步骤上进行异常捕获处理。 kettle工具的transformation中的多数步骤都是支持定义错误处理的。因TableOutput涉及数据库事务，所以本篇文章以TableOutput步骤来探究kettle异常处理的方式。文章中难免错在遗漏和错误之处，敬请谅解。1 测试环境2 普通方

背景：最近公司项目重构，准备数据迁移，之前的表结构都会有变动，然后就准备用kettle做数据迁移，发现表的数据量大的时候，kettle对表的读写操作的速度很慢，并且是达到一定数据量以后速度会特别慢，数据量小的时候读的速度是很快的在5000条数据量和16000条数据量下读取数据的速度可以看出数据量增加三倍以后，我读取数据的速度直接下降了五六十倍在5000条数据量和16000条数据量下读写操作的速度这里读写操作的数据量差异之所以会这么大，是因为我没有修改输出表的提交记录数据，导致每次输出只能100

Kettle处理300万条数据。初始配置都没有更改，运行，一直报timeout。问题定位：表输入，读取来源数据数据量太大报错。进行以下过程进行优化： 1.调整java内存占用为最大 2.调整表输出线程，将线程数调整为8 3.修改表输入（mysql）的连接参数。原始参数全部为空，增加参数优化表输入优化后，重新运行，数据处理完成。转载于:https://juejin.im/post/5c...

ETL工具kettle批量插入数据异常情况众多的Etl工具中，kettle是一个不是特别稳定的一个工具，不是特别建议使用，那么在使用kettle进行数据转换时，经常会出现的一个问题：批量数据插入目标库时，会中途异常，导致插入目标库不全，并且报的错主要有三类，如下图片。此问题十分恶心，这四类错误是随机报出来的，总共才同步个几万条记录，.bat运行十次中，大概有4次会出现以下四种报错的一种，剩下的...

7,393

社区成员

6,740

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章