社区
下载资源悬赏专区
帖子详情
单节点hadoop-0.20.2下载
weixin_39821620
2019-08-10 08:00:31
单节点配制,这个jar已经将单节点xml已经配好,下载下来解压就可以运行!版本hadoop-0.20.2
相关下载链接:
//download.csdn.net/download/liuhongjavaen/4641354?utm_source=bbsseo
...全文
10
回复
打赏
收藏
单节点hadoop-0.20.2下载
单节点配制,这个jar已经将单节点xml已经配好,下载下来解压就可以运行!版本hadoop-0.20.2 相关下载链接://download.csdn.net/download/liuhongjavaen/4641354?utm_source=bbsseo
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
单
节点
hadoop
-
0.20
.2
单
节点
配制,这个jar已经将
单
节点
xml已经配好,
下载
下来解压就可以运行!版本
hadoop
-
0.20
.2
hadoop
安装
1.a1 192.168.9.1 (master) a2 192.168.9.2 (slave1) a3 192.168.9.3 (slave2) 修改/etc/hosts 2.3台机器 创建
hadoop
用户
hadoop
密码:123 3.安装JDK (3台都安装) [root@a1 ~]# chmod 777 jdk-6u38-ea-bin-b04-linux-i586-31_oct_2012-rpm.bin [root@a1 ~]# ./jdk-6u38-ea-bin-b04-linux-i586-31_oct_2012-rpm.bin [root@a1 ~]# cd /usr/java/jdk1.6.0_38/ [root@a1 jdk]# vi /etc/profile export JAVA_HOME=/usr/java/jdk1.7.0_25 export JAVA_BIN=/usr/java/jdk1.7.0_25/bin export PATH=$PATH:$JAVA_HOME/bin export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME JAVA_BIN PATH CLASSPATH 重启你的系统 或 source /etc/profile [root@a1 ~]# /usr/java/jdk1.6.0_38/bin/java -version java version "1.6.0_38-ea" Java(TM) SE Runtime Environment (build 1.6.0_38-ea-b04) Java HotSpot(TM) Client VM (build 20.13-b02, mixed mode, sharing) 4.安装
hadoop
(3台都安) [root@a1 ~]# tar zxvf
hadoop
-
0.20
.2-cdh3u5.tar.gz -C /usr/local 编辑
hadoop
配置文件 [root@a1 ~]# cd /usr/local/
hadoop
-
0.20
.2-cdh3u5/conf/ [root@a1 conf]# vi
hadoop
-env.sh 添加 export JAVA_HOME=/usr/java/jdk1.7.0_25 设置namenode启动端口 [root@a1 conf]# vi core-site.xml 添加
fs.default.name
hdfs://
hadoop
1:9000
设置datanode
节点
数为2 [root@a1 conf]# vi hdfs-site.xml 添加
dfs.replication
2
设置jobtracker端口 [root@a1 conf]# vim mapred-site.xml
mapred.job.tracker
hadoop
1:9001
[root@a1 conf]# vi masters 改为 a1(主机名) [root@a1 conf]# vi slaves 改为 a2 a3 拷贝到其他两个
节点
[root@a1 conf]# cd /usr/local/ [root@a1 local]# scp -r ./
hadoop
-
0.20
.2-cdh3u5/ a2:/usr/local/ [root@a1 local]# scp -r ./
hadoop
-
0.20
.2-cdh3u5/ a3:/usr/local/ 在所有
节点
上执行以下操作,把/usr/local/
hadoop
-
0.20
.2-cdh3u5的所有者,所有者组改为
hadoop
并su成该用户 [root@a1 ~]# chown
hadoop
.
hadoop
/usr/local/
hadoop
-
0.20
.2-cdh3u5/ -R [root@a2 ~]# chown
hadoop
.
hadoop
/usr/local/
hadoop
-
0.20
.2-cdh3u5/ -R [root@a3 ~]# chown
hadoop
.
hadoop
/usr/local/
hadoop
-
0.20
.2-cdh3u5/ -R [root@a1 ~]# su -
hadoop
[root@a2 ~]# su -
hadoop
[root@a3 ~]# su -
hadoop
所有
节点
上创建密钥 [
hadoop
@a1 ~]$ ssh-keygen -t rsa [
hadoop
@a2 ~]$ ssh-keygen -t rsa [
hadoop
@a3 ~]$ ssh-keygen -t rsa [
hadoop
@a1 ~]$ ssh-copy-id -i /home/
hadoop
/.ssh/id_rsa.pub a1 [
hadoop
@a1 ~]$ ssh-copy-id -i /home/
hadoop
/.ssh/id_rsa.pub a2 [
hadoop
@a1 ~]$ ssh-copy-id -i /home/
hadoop
/.ssh/id_rsa.pub a3 [
hadoop
@a2 ~]$ ssh-copy-id -i /home/
hadoop
/.ssh/id_rsa.pub a1 [
hadoop
@a2 ~]$ ssh-copy-id -i /home/
hadoop
/.ssh/id_rsa.pub a2 [
hadoop
@a2 ~]$ ssh-copy-id -i /home/
hadoop
/.ssh/id_rsa.pub a3 [
hadoop
@a3 ~]$ ssh-copy-id -i /home/
hadoop
/.ssh/id_rsa.pub a1 [
hadoop
@a3 ~]$ ssh-copy-id -i /home/
hadoop
/.ssh/id_rsa.pub a2 [
hadoop
@a3 ~]$ ssh-copy-id -i /home/
hadoop
/.ssh/id_rsa.pub a3 格式化 namenode [
hadoop
@a1 ~]$ cd /usr/local/
hadoop
-
0.20
.2-cdh3u5/ [
hadoop
@a1
hadoop
-
0.20
.2-cdh3u5]$ bin/
hadoop
namenode -format 开启 [
hadoop
@a1
hadoop
-
0.20
.2-cdh3u5]$ bin/start-all.sh 在所有
节点
查看进程状态验证启动 [
hadoop
@a1
hadoop
-
0.20
.2-cdh3u5]$ jps 8602 JobTracker 8364 NameNode 8527 SecondaryNameNode 8673 Jps [
hadoop
@a2
hadoop
-
0.20
.2-cdh3u5]$ jps 10806 Jps 10719 TaskTracker 10610 DataNode [
hadoop
@a3
hadoop
-
0.20
.2-cdh3u5]$ jps 7605 Jps 7515 TaskTracker 7405 DataNode [
hadoop
@a1
hadoop
-
0.20
.2-cdh3u5]$ bin/
hadoop
dfsadmin -report
CentOS下
Hadoop
-
0.20
.2集群配置文档
集群包含三个
节点
:1 个namenode,2 个datanode,
节点
之间局域网连接,可以相互ping通,三台
节点
上均是CentOS系统,并且有一个相同的用户
hadoop
(具有管理员权限)!
Hadoop
作业执行时间在线计算方法
在
Hadoop
MapReduce环境中,如果能预知作业的执行时间,就可在资源分配、任务调度以及负载均衡过程中作出更合理的决策,改善系统性能.在分析
Hadoop
MapReduce作业执行模式后,提出了一种作业执行时间在线预测方法.该方法在结合历史信息的基础上,可根据作业在不同阶段的执行进度在线预测执行时间.该方法已在
Hadoop
-
0.20
.2中实现,并在一个包含19个
节点
的Linux集群中进行了验证.实验结果表明,在最好情况下,根据该方法预测的执行时间和真实执行时间的误差约2%.
Hadoop
单
机模式的配置与安装
前言: 由于
Hadoop
属于java程序,所以,安装
Hadoop
之前需要先安装jdk。 对于
hadoop
0.20
.2的
单
机模式安装就需要在一个
节点
(一台主机)上运行5个
节点
。 分别是: JobTracker:负责
Hadoop
的Job任务分发和管理。 TaskTracker:负责在
单
个
节点
上执行MapReduce任务。 对于
Hadoop
里面的HDFS的
节点
又有 NameNode:主
节点
,负责管理文件存储的名称
节点
DateNode:数据
节点
,负责具体的文件存储
节点
。 由于HDFS中NameNode非常繁忙,容易产生故障。说以对于HDFS文件系统来说,需要一个
节点
随时给他复制编辑到名称
节点
NameNOde里面去。这样的一个类似于备份的
节点
叫做SecondaryNameNode。
下载资源悬赏专区
12,879
社区成员
12,430,145
社区内容
发帖
与我相关
我的任务
下载资源悬赏专区
CSDN 下载资源悬赏专区
复制链接
扫一扫
分享
社区描述
CSDN 下载资源悬赏专区
其他
技术论坛(原bbs)
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章