为什么Kettle启动时CPU占用这么高?

私の未来は夢じゃない 2021-10-13 15:21:33

Kettle启动时CPU直接飙升至90%

...全文

840 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

ETL工具 KETTLE数据抽取简介 KETTLE简介 KETTLE工具下载 KETTLE 8.1 http://mirror.bit.edu.cn/pentaho/Pentaho%208.1/client-tools/pdi-ce-8.1.0.0-365.zip KETTLE 8.2 http://mirror.bit.edu.cn/pentaho/Pentaho%208.2/client-tools/pdi-ce-8.2.0.0-342.zip KETTLE安装 ...

这个平台支持用户上传自己的测试场景，比如不同的数据量级、复杂转换规则等。测试发现：当数据量超过500万行时，KETTLE的优势更加明显；但对于需要复杂条件判断的场景，Python的可编程性就体现出来了。这次实验让我深刻体会到：对于标准化的ETL任务，可视化工具能大幅提升开发效率；而需要高度定制的场景，编程方式仍然不可替代。建议根据项目特点灵活选择：常规数据处理用KETTLE，特殊需求再考虑编程实现。整个实验平台我是在。

smartkettle可以解决频繁启动kettle而导致的cpu占用问题，但之前的采集文件中包含的ktr文件路径为了方便移植，都是使用${Internal.Entry.Current.Directory}内置变量写的，不使用kettle执行后，这个变量就不生效了，直接报错，无法找到ktr文件了。现有采集流程使用Kettle执行采集文件，通过shell脚本定时执行采集文件，但是随着表数量、数量增加，特别是采集出现依赖关系后，一个采集文件重复执行多次，kettle占用cpu的问题就显现出来。

对于需要持续运行的数据处理服务，一键部署功能真的能省心不少——我上次做的订单分析系统，部署后稳定运行了三个月没出过问题。选取了电商订单数据清洗作为测试案例，需要完成：从CSV文件读取10万条订单记录、过滤无效数据、转换日期格式、计算订单金额汇总，最后写入MySQL数据库。最近我尝试用KETTLE工具和传统编程方式分别实现相同的ETL流程，实测对比了两者的效率差异，结果让人惊喜。这次对比让我深刻体会到：对于常规ETL需求，KETTLE能节省约70%的开发维护时间，且随着流程复杂度增加，效率优势会愈加明显。

一个应用占用CPU很高，除了确实是计算密集型应用之外，通常原因都是出现了死循环。（友情提示：本博文章转载 hankchen，http://www.blogjava.net/hankchen）以我们最近出现的一个实际故障为例，介绍怎么定位和解决这类问题。根据top命令，发现PID为28555的Java进程占用CPU高达200%，出现故障。通过ps aux | grep PID命令...

51,407

社区成员

86,108

社区内容

发帖

与我相关

我的任务

javaspring bootspring cloud 技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章