kettle 数据表输出的时候慢就跟卡死了一样

qiu9870 2017-11-03 05:24:59

使用的sybase 提取到oracle 求各位大神指教

...全文

4693 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

背景：最近公司项目重构，准备数据迁移，之前的表结构都会有变动，然后就准备用kettle做数据迁移，发现表的数据量大的时候，kettle对表的读写操作的速度很慢，并且是达到一定数据量以后速度会特别慢，数据量小的时候读的速度是很快的在5000条数据量和16000条数据量下读取数据的速度可以看出数据量增加三倍以后，我读取数据的速度直接下降了五六十倍在5000条数据量和16000条数据量下读写操作的速度这里读写操作的数据量差异之所以会这么大，是因为我没有修改输出表的提交记录数据，导致每次输出只能100

3.1，原因是在表输出界面，操作时，会自动连接数据库扫描表；因为数据库db连接配置的不对，所以每次要等待几分钟；把db连接，配置为可以访问通的即可解决问题；3，修改db连接，改为可以访问通的地址，然后再操作表输出，发现没问题；2，等工具不卡之后，尝试关闭，表输出界面，点击其他部分，发现都正常；在编辑表输出时，点击修改目标表，这个工具立刻卡主，提示无响应；1，ai告诉我要查看log，发现没有明显报错。每操作1下，就要卡好几分钟；

当Excel输出大量数据时（10w+），此步骤可能会卡死导致真个转换报错。只需勾选如下即可解决：

Kettel右键转换出现卡死Kettel右键、切换JDK版本jdk8安装正常安装效果 Kettel右键、切换JDK版本安装kettel后，无法正常使用。我在网上查阅了相关问题，终于在重新安装jdk版本后正常使用。本人安装了最新版jdk14.0，无法正常使用也尝试修改了内存大小，但是没有效果，依旧卡死。最终下载jdk8后，重新打开kettel，正常。 jdk8安装 Oracle官网下载jdk8,本人网上找的压缩包。不需要单独配置环境。直接记事本修改Spoon.bat。正常安装效果 ...

ETL（Extract-Transform-Load）作为数据集成领域的核心技术，其性能直接影响数据处理效率。在Kettle等ETL工具中，数据库连接池配置与大数据量处理是核心挑战点。通过合理设置连接池参数（如initial_pool_size和max_pool_size）可以避免线程死锁，而采用分批处理策略（Limit size和Commit size）能有效防止内存溢出。针对实际工程中常见的界面卡死问题，结合线程转储分析和JVM调优（如G1垃圾回收器配置）可显著提升稳定性。这些优化手段在金融数据迁移、电

7,394

社区成员

6,741

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章