datastage抽取hdfs文件,job为什么一直处于running状态?

pengbinpb 2018-04-12 03:48:36
今天凌晨5点左右跑了一个从hdfs文件加载数据到数据库的job,该作业一直处于运行状态(持续了4个多小时,到9点中左右人工干预把job给kill掉了)。正常情况下该作业只需要几分种就可以跑完。下图是作业两次运行的日志,红色标记1是有问题时的日子,标记2是正常的日志。对比2次日志,发现有问题的日志一直停留在查找148rows的文件,按照我的理解该份数据在hdfs上是存储在两个节点上,问题1只找到了一个节点的数据,另一个节点的数据一直找不到?不知道是不是这样,为什么会出现这种现象?请各位大神解释下。
...全文
678 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
五哥 2018-07-25
  • 打赏
  • 举报
回复
job control process(pid 49833) has failed

20,811

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧