kettle 数据表输出的时候慢就跟卡死了一样

qiu9870 2017-11-03 05:24:59

使用的sybase 提取到oracle 求各位大神指教

...全文

4694 1 打赏收藏举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

在ETL数据同步任务中，Kettle等工具出现界面无响应或任务长时间停滞，往往不是单一原因所致。其背后可能涉及JDBC游标读取方式不当、事务提交策略不合理、数据库锁竞争激烈，甚至目标表索引与触发器拖累写入性能。理解数据库执行原理、连接参数配置以及日志分析方法是快速定位问题的基础。通过调整fetch size、commit size、下推复杂计算到数据库，并结合数据库会话与锁等待监控，可以高效解决同步卡顿。此类排查思路广泛适用于数据仓库构建、报表平台数据刷新以及实时数仓初始化等场景。本文围绕Kettle表输入

在数据集成与ETL开发中，数据同步任务偶发停滞是常见困扰，具体表现为读取或写入环节长时间无响应。其背后往往涉及数据库锁冲突、查询负载过高、JDBC驱动配置不当、批量提交参数失衡，以及Java虚拟机内存不足等底层技术因素。理解数据库会话、事务隔离级别、游标与抓取大小、连接池复用等基础原理，对于快速定位问题根源至关重要。掌握规范的性能调优与异常排查方法，不仅能优化数据抽取效率，还能保障数据仓库构建和实时数据处理管道的稳定运行。本文由通用问题定位思路切入，系统梳理从数据库端到Kettle运行环境的全链路诊断逻辑，

背景：最近公司项目重构，准备数据迁移，之前的表结构都会有变动，然后就准备用kettle做数据迁移，发现表的数据量大的时候，kettle对表的读写操作的速度很慢，并且是达到一定数据量以后速度会特别慢，数据量小的时候读的速度是很快的在5000条数据量和16000条数据量下读取数据的速度可以看出数据量增加三倍以后，我读取数据的速度直接下降了五六十倍在5000条数据量和16000条数据量下读写操作的速度这里读写操作的数据量差异之所以会这么大，是因为我没有修改输出表的提交记录数据，导致每次输出只能100

3.1，原因是在表输出界面，操作时，会自动连接数据库扫描表；因为数据库db连接配置的不对，所以每次要等待几分钟；把db连接，配置为可以访问通的即可解决问题；3，修改db连接，改为可以访问通的地址，然后再操作表输出，发现没问题；2，等工具不卡之后，尝试关闭，表输出界面，点击其他部分，发现都正常；在编辑表输出时，点击修改目标表，这个工具立刻卡主，提示无响应；1，ai告诉我要查看log，发现没有明显报错。每操作1下，就要卡好几分钟；

当Excel输出大量数据时（10w+），此步骤可能会卡死导致真个转换报错。只需勾选如下即可解决：

7,394

社区成员

6,741

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章