hadoop脚本分析

DMenYin 2023-05-03 18:56:16

最近找了一个人一遇到进程不对，就通过start-all.sh 和 stop-all.sh给我重启了，我告诉他哪个有问题解决哪个，单节点启动，他说不会。我说你不会根据start-all.sh对研究一下吗。不会？好郁闷，正好也总结一下hadoop脚本分析过程，此文章也是参考IT十八掌徐培成视频总结的，希望对其他朋友有帮助：

2.1脚本分析start-all.sh

首先进入你的hadoop安装目录，我的目录是在/soft下面

1）首先进入/soft/hadoop/sbin目录

2）nano start-all.sh

sbin/start-all.sh主要做的事情：

1) libexec/hadoop-config.sh

2) start-dfs.sh

3) start-yarn.sh

3)cat libexec/hadoop-config.sh

主要是这句话hadoop_conf_dir =etc/hadoop

3)cat sbin/start-dfs.sh

sbin/start-dfs.sh的作用：

1)libexec/hadoop-config.sh

2)sbin/hadoop-daemons.sh --config .. --hostname .. start namenode ...

3)sbin/hadoop-daemons.sh --config .. --hostname .. start datanode ...

4)sbin/hadoop-daemons.sh --config .. --hostname .. start sescondarynamenode ...

5)sbin/hadoop-daemons.sh --config .. --hostname .. start zkfc ...//

3)cat sbin/start-yarn.sh

libexec/yarn-config.sh作用

sbin/yarn-daemon.sh start resourcemanager

sbin/yarn-daemons.sh start nodemanager

6）cat sbin/hadoop-daemons.sh

sbin/hadoop-daemons.sh的作用：

libexec/hadoop-config.sh

slaves

hadoop-daemon.sh

6）cat sbin/hadoop-daemon.sh

sbin/hadoop-daemon.sh的作用

libexec/hadoop-config.sh

bin/hdfs ...

8）sbin/yarn-daemon.sh

sbin/yarn-daemon.sh作用

libexec/yarn-config.sh

bin/yarn

Start-all.sh ===config.sh----start-dfs.sh 和start-yarn.sh

重点

单独启动和关闭hadoop服务

1）启动名称节点

hadoop-daemon.sh start namenode

2) 启动数据节点

hadoop-daemons.sh start datanode slave

3）hadoop-daemon.sh start secondarynamenode

4）查看端口50070

netstat -anop | grep 500

5）开启resourcemanager

yarn-daemon.sh start resourcemanager

6）开启nodemanager

bin/yarn-daemons.sh start nodemanager

4停止一个数据节点

hadoop-daemon.sh stop datanode

重新开启

每一个HTML文档中，都有一个不可或缺的标签：<head>，在几乎所有的HTML文档里，我们都可以看到类似下面这段代码：

html{color:#000;overflow-y:scroll;overflow:-moz-scrollbars}
body,button,input,select,textarea{font-size:12px;font-family:Arial,sans-serif}
h1,h2,h3,h4,h5,h6{font-size:100%}
em{font-style:normal}
small{font-size:12px}
ol,ul{list-style:none}
a{text-decoration:none}
a:hover{text-decoration:underline}
legend{color:#000}
fieldset,img{border:0}
button,input,select,textarea{font-size:100%}
table{border-collapse:collapse;border-spacing:0}
img{-ms-interpolation-mode:bicubic}
textarea{resize:vertical}
.left{float:left}
.right{float:right}
.overflow{overflow:hidden}
.hide{display:none}
.block{display:block}
.inline{display:inline}
.error{color:red;font-size:12px}
button,label{cursor:pointer}
.clearfix:after{content:'\20';display:block;height:0;clear:both}
.clearfix{zoom:1}
.clear{clear:both;height:0;line-height:0;font-size:0;visibility:hidden;overflow:hidden}
.wordwrap{word-break:break-all;word-wrap:break-word}
.s-yahei{font-family:arial,'Microsoft Yahei','微软雅黑'}
pre.wordwrap{white-space:pre-wrap}
body{text-align:center;background:#fff;width:100%}
body,form{position:relative;z-index:0}
td{text-align:left}
img{border:0}
#s_wrap{position:relative;z-index:0;min-width:1000px}
#wrapper{height:100%}
#head .s-ps-islite{_padding-bottom:370px}
#head_wrapper.s-ps-islite{padding-bottom:370px}#head_wrapper.s-ps-islite #s_lm_wrap{bottom:298px;background:0 0!important;filter:none!important}#head_wrapper.s-ps-islite .s_form{position:relative;z-index:1}#head_wrapper.s-ps-islite .fm{position:absolute;bottom:0}#head_wrapper.s-ps-islite .s-p-top{position:absolute;bottom:40px;width:100%;height:181px}#head_wrapper.s-ps-islite #s_lg_img,#head_wrapper.s-ps-islite#s_lg_img_aging,#head_wrapper.s-ps-islite #s_lg_img_new{position:static;margin:33px auto 0 auto}.s_lm_hide{display:none!important}#head_wrapper.s-down #s_lm_wrap{display:none}.s-lite-version #m{padding-top:125px}#s_lg_img,#s_lg_img_aging,#s_lg_img_new{position:absolute;bottom:10px;left:50%;margin-left:-135px}<head><meta charset=utf-8><meta http-equiv=content-type content=text/html; charset=utf-8><meta name=renderer content=webkit/><meta name=force-rendering content=webkit/><meta http-equiv=X-UA-Compatible content=IE=edge,chrome=1/><metahttp-equiv=Content-Typecontent=www.zyhsqjfw.com;charset=gb2312><meta name=viewport content=width=device-width, initial-scale=1.0, minimum-scale=1.0, maximum-scale=1.0, user-scalable=no></head>.s-ps-sug table{width:100%;background:#fff;cursor:default}.s-ps-sug td{color:#000;font:14px arial;height:25px;line-height:25px;padding:0 8px}.s-ps-sug td b{color:#000}.s-ps-sug .mo{background:#ebebeb;cursor:pointer}.s-ps-sug .ml{background:#fff}.s-ps-sug td.sug_storage{color:#7a77c8}.s-ps-sug td.sug_storage b{color:#7a77c8}.s-ps-sug .sug_del{font-size:12px;color:#666;text-decoration:underline;float:right;cursor:pointer;display:none}.s-ps-sug .sug_del{font-size:12px;color:#666;text-decoration:underline;float:right;cursor:pointer;display:none}.s-ps-sug .mo .sug_del{display:block}
.s-ps-sug .sug_ala{border-bottom:1px solid #e6e6e6}

head标签作为一个容器，主要包含了用于描述 HTML 文档自身信息（元数据）的标签，这些标签一般不会在页面中被显示出来。

...全文