社区
Hadoop生态社区
帖子详情
hadoop 集群突然 down掉了,我该怎么排查
skins_LI
2017-12-06 10:05:19
如题,我们是用 ambari 监控的,第二天早上 一看 集群都停掉了。
我应该怎么排查,
查log的话 怎么查,去哪查
查谁的。
目的是知道为什么会停掉。
...全文
472
3
打赏
收藏
hadoop 集群突然 down掉了,我该怎么排查
如题,我们是用 ambari 监控的,第二天早上 一看 集群都停掉了。 我应该怎么排查, 查log的话 怎么查,去哪查 查谁的。 目的是知道为什么会停掉。
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
3 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
ggzone
2017-12-08
打赏
举报
回复
集群挂了这个描述说的有点笼统。一直在用CM,ambari 没实际用过。但是我感觉有些东西应该是类似的。 CM管理页面可以看到每个node的每个服务的状态以及警告、失败原因,而且可以查看每个node上每个服务相应的详细日志,要先通过CM定位是哪个node的哪个服务出现问题。确定了问题服务后再去查看相应node服务的日志。 日志目录:一般都在/var/log/服务名下目录下 hadoop本身是容错的,我感觉丢失一个datanode或者一个nodemanager的话,应该算不上楼主说的集群挂了,估计应该是namenode、resourcemanager问题。 对于一个新手可能会遇到的坑:ip地址是可能会导致整个集群挂掉的。
dinghun8leech
2017-12-06
打赏
举报
回复
1、看主机情况是否正常,是否有主机失效; 2、看hdfs哪些节点失效,去所在主机看日志。
shiter
2017-12-06
打赏
举报
回复
先看zk,在看namenode,log在各个节点的var log 对应角色下面
遇到
hadoop
集群
挂
掉
情况处理情况分析
早上起来发现我们的spark调度任务挂
掉
(spark运行报错日志报错是数据块丢失),当时查看
hadoop
集群
节点状态,发现bd-node01节点是Down状态(当时是挂
掉
了)。但是节点挂
掉
不应该导致任务运行不了,因为正常情况下
hadoop
集群
数据都是有备份的,至少得是2份,即使bd-node01挂
掉
,也会在其它节点找bd-node01上数据的备份数据就行读取。于是带着疑问看了下overview页面发现确实是有块丢失。 于是查看
hadoop
集群
相关数据的副本数: hiveods库副...
Hadoop
集群
配置(最全面总结)
Hadoop
集群
配置(最全面总结) huangguisu 通常,
集群
里的一台机器被指定为 NameNode,另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\ 官方地址:(http://
hadoop
.apache.org/common/docs/r0.19.2/cn/cl
Hadoop
集群
搭建详细教程
Hadoop
集群
搭建详细教程
CentOS7下
Hadoop
集群
搭建(版本
hadoop
-2.7.3)
文章目录1、概念1.1、主从结构1.2、
Hadoop
集群
角色名称2、安装前准备2.1、安装软件准备2.2、
Hadoop
集群
服务器规划3、安装3.1 解压文件3.2 修改配置文件3.2.1.修改`
hadoop
-env.sh`配置3.2.2.修改`core-site.xml`配置3.2.3.修改`hdfs-site.xml`配置3.2.4.修改`mapred-site.xml`配置3.2.5.修改`yarn-site.xml`配置3.2.6.修改`slaves`配置3.3 增加
Hadoop
环境变量3.4 将Ha
Hadoop
集群
安装部署
hadoop
集群
的搭建
Hadoop生态社区
20,848
社区成员
4,696
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章