hadoop jps后没有 jobtracker和 tasktracker 请求大神指点

树s林 2018-01-14 08:00:56

hadoop jps后，jobtracker和DataNode的tasktracker无法正常启动，请求大神能帮忙看下吗？
[root@localhost bin]# start-all.sh
starting namenode, logging to /usr/local/hadoop/libexec/../logs/hadoop-root-namenode-localhost.localdomain.out
localhost: starting datanode, logging to /usr/local/hadoop/libexec/../logs/hadoop-root-datanode-localhost.localdomain.out
localhost: starting secondarynamenode, logging to /usr/local/hadoop/libexec/../logs/hadoop-root-secondarynamenode-localhost.localdomain.out
starting jobtracker, logging to /usr/local/hadoop/libexec/../logs/hadoop-root-jobtracker-localhost.localdomain.out
localhost: starting tasktracker, logging to /usr/local/hadoop/libexec/../logs/hadoop-root-tasktracker-localhost.localdomain.out
[root@localhost bin]# jps
6721 NameNode
6834 DataNode
6940 SecondaryNameNode
7180 Jps

配置
core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop0:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>

hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>

mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
<property>
<name>mapred.jop.tracker</name>
<value>hadoop0:9000</value>
</property>

</configuration>
[root@localhost conf]#

...全文

832 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

1.a1 192.168.9.1 (master) a2 192.168.9.2 (slave1) a3 192.168.9.3 (slave2) 修改/etc/hosts 2.3台机器创建hadoop 用户 hadoop 密码:123 3.安装JDK (3台都安装) [root@a1 ~]# chmod 777 jdk-6u38-ea-bin-b04-linux-i586-31_oct_2012-rpm.bin [root@a1 ~]# ./jdk-6u38-ea-bin-b04-linux-i586-31_oct_2012-rpm.bin [root@a1 ~]# cd /usr/java/jdk1.6.0_38/ [root@a1 jdk]# vi /etc/profile export JAVA_HOME=/usr/java/jdk1.7.0_25 export JAVA_BIN=/usr/java/jdk1.7.0_25/bin export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME JAVA_BIN PATH CLASSPATH 重启你的系统或 source /etc/profile [root@a1 ~]# /usr/java/jdk1.6.0_38/bin/java -version java version "1.6.0_38-ea" Java(TM) SE Runtime Environment (build 1.6.0_38-ea-b04) Java HotSpot(TM) Client VM (build 20.13-b02, mixed mode, sharing) 4.安装hadoop (3台都安) [root@a1 ~]# tar zxvf hadoop-0.20.2-cdh3u5.tar.gz -C /usr/local 编辑hadoop 配置文件 [root@a1 ~]# cd /usr/local/hadoop-0.20.2-cdh3u5/conf/ [root@a1 conf]# vi hadoop-env.sh 添加 export JAVA_HOME=/usr/java/jdk1.7.0_25 设置namenode启动端口 [root@a1 conf]# vi core-site.xml 添加 fs.default.name hdfs://hadoop1:9000 设置datanode节点数为2 [root@a1 conf]# vi hdfs-site.xml 添加 dfs.replication 2 设置jobtracker端口 [root@a1 conf]# vim mapred-site.xml mapred.job.tracker hadoop1:9001 [root@a1 conf]# vi masters 改为 a1(主机名) [root@a1 conf]# vi slaves 改为 a2 a3 拷贝到其他两个节点 [root@a1 conf]# cd /usr/local/ [root@a1 local]# scp -r ./hadoop-0.20.2-cdh3u5/ a2:/usr/local/ [root@a1 local]# scp -r ./hadoop-0.20.2-cdh3u5/ a3:/usr/local/ 在所有节点上执行以下操作，把/usr/local/hadoop-0.20.2-cdh3u5的所有者，所有者组改为hadoop并su成该用户 [root@a1 ~]# chown hadoop.hadoop /usr/local/hadoop-0.20.2-cdh3u5/ -R [root@a2 ~]# chown hadoop.hadoop /usr/local/hadoop-0.20.2-cdh3u5/ -R [root@a3 ~]# chown hadoop.hadoop /usr/local/hadoop-0.20.2-cdh3u5/ -R [root@a1 ~]# su - hadoop [root@a2 ~]# su - hadoop [root@a3 ~]# su - hadoop 所有节点上创建密钥 [hadoop@a1 ~]$ ssh-keygen -t rsa [hadoop@a2 ~]$ ssh-keygen -t rsa [hadoop@a3 ~]$ ssh-keygen -t rsa [hadoop@a1 ~]$ ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub a1 [hadoop@a1 ~]$ ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub a2 [hadoop@a1 ~]$ ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub a3 [hadoop@a2 ~]$ ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub a1 [hadoop@a2 ~]$ ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub a2 [hadoop@a2 ~]$ ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub a3 [hadoop@a3 ~]$ ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub a1 [hadoop@a3 ~]$ ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub a2 [hadoop@a3 ~]$ ssh-copy-id -i /home/hadoop/.ssh/id_rsa.pub a3 格式化 namenode [hadoop@a1 ~]$ cd /usr/local/hadoop-0.20.2-cdh3u5/ [hadoop@a1 hadoop-0.20.2-cdh3u5]$ bin/hadoop namenode -format 开启 [hadoop@a1 hadoop-0.20.2-cdh3u5]$ bin/start-all.sh 在所有节点查看进程状态验证启动 [hadoop@a1 hadoop-0.20.2-cdh3u5]$ jps 8602 JobTracker 8364 NameNode 8527 SecondaryNameNode 8673 Jps [hadoop@a2 hadoop-0.20.2-cdh3u5]$ jps 10806 Jps 10719 TaskTracker 10610 DataNode [hadoop@a3 hadoop-0.20.2-cdh3u5]$ jps 7605 Jps 7515 TaskTracker 7405 DataNode [hadoop@a1 hadoop-0.20.2-cdh3u5]$ bin/hadoop dfsadmin -report

⼤数据⾯试题，唬住50k 1. 选择题 1. 下⾯哪个程序负责 HDFS 数据存储。 a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker 答案 C datanode 1. 1. HDfS 中的 block 默认保存⼏份？ a)3 份 b)2 份 c)1 份 d)不确定答案 A 默认 3 份 1. 1. 下列哪个程序通常与NameNode在⼀个节点启动? a)SecondaryNameNode b)DataNode c)TaskTracker d)Jobtracker 答案 D 1. 1. HDFS 默认 Block Size a)32MB b)64MB c)128MB 答案：B 1. 1. 下列哪项通常是集群的最主要瓶颈 a)CPU b)⽹络 c)磁盘 IO d)内存答案：C 磁盘⾸先集群的⽬的是为了节省成本，⽤廉价的 pc 机，取代⼩型机及⼤型机。⼩型机和⼤型机有什么特点？ 1.cpu 处理能⼒强 2.内存够⼤，所以集群的瓶颈不可能是 a 和 d 3.如果是互联⽹有瓶颈，可以让集群搭建内⽹。每次写⼊数据都要通过⽹络（集群是内⽹），然后还要写⼊ 3 份数据，所以 IO 就会打折扣。 1. 1. 关于 SecondaryNameNode 哪项是正确的？ a)它是 NameNode 的热备 b)它对内存没有要求 c)它的⽬的是帮助 NameNode 合并编辑⽇志，减少 NameNode 启动时间 d)SecondaryNameNode 应与 NameNode 部署到⼀个节点答案 C。 1. 1. 下列哪项可以作为集群的管理？ a)Puppet b)Pdsh c)Cloudera Manager d)Zookeeper 答案 ABD 具体可查看什么是 Zookeeper，Zookeeper 的作⽤是什么，在 Hadoop 及 hbase 中具体作⽤是什么。 1. 1. Client 端上传⽂件的时候下列哪项正确 a)数据经过 NameNode 传递给 DataNode b)Client 端将⽂件切分为 Block，依次上传 c)Client 只上传数据到⼀台 DataNode，然后由 NameNode 负责 Block 复制⼯作答案 B 分析：Client 向 NameNode 发起⽂件写⼊的请求。NameNode 根据⽂件⼤⼩和⽂件块配置情况，返回给 Client 它所管理部分 DataNode 的信息。Client 将⽂件划分为多个 Block，根据 DataNode 的地址信息，按顺序写⼊到每⼀个DataNode 块中。具体查看HDFS 体系结构简介及优缺点。 1. 1. 下列哪个是 Hadoop 运⾏的模式 a)单机版 b)伪分布式 c)分布式答案 ABC 单机版,伪分布式只是学习⽤的。 1. ⾯试题 1. Hadoop的核⼼配置是什么？ Hadoop的核⼼配置通过两个xml⽂件来完成：1，hadoop-default.xml；2，hadoop-site.xml。这些⽂件都使⽤xml格式，因此每个xml 中都有⼀些属性，包括名称和值，但是当下这些⽂件都已不复存在。 1. 1. 那当下⼜该如何配置？ Hadoop现在拥有3个配置⽂件：1，core-site.xml；2，hdfs-site.xml；3，mapred-site.xml。这些⽂件都保存在conf/⼦⽬录下。 1. 1. "jps"命令的⽤处？这个命令可以检查Namenode、Datanode、Task Tracker、 Job Tracker是否正常⼯作。 1. 1. mapreduce的原理? 1. 1. HDFS存储的机制? 1. hdfs写流程流程： 1. client链接namenode存数据 2. namenode记录⼀条数据位置信息（元数据），告诉client存哪。 3. client⽤hdfs的api将数据块（默认是64M）存储到datanode上。 4. datanode将数据⽔平备份。并且备份完将反馈client。 5. client通知namenode存储块完毕。 6. namenode将元数据同步到内存中。 7. 另⼀块循环上⾯的过程。 1. 1. 读流程流程： 1. client链接namenode，查看元数据，找到数据的存储位置。 2. client通过hdfs的api并发读取数据。 3. 关闭连接。 1. 举⼀个简单的例⼦说明mapreduce是怎么来运⾏的 ? wordcount的例⼦ 1. 1. ⽤mapreduce来实现下⾯需求？现在有10个⽂件夹,每个⽂件夹都有1000000个url.现在让你找出top1000000url

Hadoop入门和大数据应用视频教程，该课程主要分享Hadoop基础及大数据方面的基础知识。讲师介绍：翟周伟，就职于百度，Hadoop技术讲师，专注于Hadoop&大数据、数据挖掘、自然语言处理等领域。2009年便开始利用Hadoop构建商业级大数据系统，是国内该领域早的一批人之一，负责设计过多个基于Hadoop的大数据平台和分析系统。2011年合著出版《Hadoop开源云计算平台》。在自然语言处理领域申请过一项发明专利。新出版书籍《Hadoop核心技术》。

原因是hadoop2.0以后的版本采用的是YARN作为资源管理器，包含了1.x版本的jobtracker和tasktracker功能。2.0之后的版本，安装成功后namenode节点用jps只会显示以下几个进程：转载：http://www.aboutyun.com/thread-7678-1-1.html问题导读：1、什么是yarn？2、Yarn 和MapReduce相比，它有什么特殊作用？背景...

原因是Hadoop2.0以后的版本采用的是YARN作为资源管理器，包含了1.x版本的JobTracker和TaskTracker功能，即YARN 替代了单独存在的 JobTracker 与 TaskTracker。 2.0之后的版本，安装配置成功后启动Hadoop后，通过jps命令将如图只显示以下几个进程参考：https://blog.csdn.net/ASN_forev...

Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章