Spark正常运行在快结束时导致系统注销

_nMaple_ 2016-09-19 02:26:39
求教哪位大神。我的Hadoop运行在本机(Ubuntu16.04),伪分布式。我安装了Spark后提交实例作业(SparkPI),运行一段时间突然电脑黑屏,最后又回到登录界面,重新登录进来发现之前开的Hadoop、HBase和SparkMaster都被回收了。查看日志也没有出现什么报错的情况。
之前运行MapReduce作业时也出现这个状况,当时用Sqoop1将Oracle11g中的数据导入到本地HBase中,在快要结束时自动注销了,当然数据确实导进去了。Sqoop1导数据是生成MapReduce作业。现在一头雾水,不知道怎么回事,完全蒙了。求路过的前辈大神们赐教,完全不知该如何下手了。
...全文
229 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
_nMaple_ 2016-09-24
  • 打赏
  • 举报
回复
这么多天了,没人回答么?算了吧!我自己回答吧! 1)看看系统的hosts文件有没有配置正确,主要是格式,还有就是localhost的配置,主机名的ip映射是否正确。我因为跑的是本地伪分布式,直接配的localhost别名。 2)查看各个模块绑的地址是否绑对了,比如regionserer所监听的IP等。这些很重要。我之前就是yarn.resourcemanager.host配错了。 OK,希望对遇到这问题的朋友有帮助。

20,809

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧