配置了两个节点,为什么启用之后只有一个?

loveniki 2013-10-23 11:52:39
按照视频教程配置的,视频上,start-all.sh之后是:hadoop.main....hadoop.slave...
我的都是localhost...就跟只配置一个节点一样;
hadoop.main可以免密码ssh登陆haddoop.slave
core-site.xml和maprdu-site.xml都配置好了,咋回事呢?跟教程一模一样
...全文
457 13 打赏 收藏 转发到动态 举报
写回复
用AI写文章
13 条回复
切换为时间正序
请发表友善的回复…
发表回复
  • 打赏
  • 举报
回复
引用 12 楼 loveniki 的回复:
解决了,多谢大家! 视频中没说要配置master和slaves, 还有个问题是两个节点hadoop文件夹名不一样
所有节点的都要保证相同路径的。 hadoop 1中要配置masters和slaves;hadoop2中只要配置slaves就ok。
loveniki 2013-10-25
  • 打赏
  • 举报
回复
解决了,多谢大家! 视频中没说要配置master和slaves, 还有个问题是两个节点hadoop文件夹名不一样
loveniki 2013-10-25
  • 打赏
  • 举报
回复
引用 10 楼 killua_hzl 的回复:
把masters,slaves和hosts文件贴下。 masters和slaves里面最好写hostname,不要写什么localhost。
哪些文件?配置文件?
  • 打赏
  • 举报
回复
把masters,slaves和hosts文件贴下。 masters和slaves里面最好写hostname,不要写什么localhost。
loveniki 2013-10-25
  • 打赏
  • 举报
回复
core-site.xml <property> <name>fs.default.name</name> <value>hdfs://hadoop.main:9000</value> </property> mapred-site.xml <property> <name>mapred.job.tracker</name> <value>hadoop.main:9001</value> </property> 没错啊
loveniki 2013-10-25
  • 打赏
  • 举报
回复
namenode起来了,但是只有一个节点: starting namenode, logging to /usr/hadoop1/libexec/../logs/hadoop-dujs2-namenode-hadoop.main.out localhost: starting datanode, logging to /usr/hadoop1/libexec/../logs/hadoop-dujs2-datanode-hadoop.main.out localhost: starting secondarynamenode, logging to /usr/hadoop1/libexec/../logs/hadoop-dujs2-secondarynamenode-hadoop.main.out starting jobtracker, logging to /usr/hadoop1/libexec/../logs/hadoop-dujs2-jobtracker-hadoop.main.out localhost: starting tasktracker, logging to /usr/hadoop1/libexec/../logs/hadoop-dujs2-tasktracker-hadoop.main.out 正常的话,这里不应该是localhost,二是hadoop.main,哪里的原因?network文件和hosts都配好了
eft21 2013-10-25
  • 打赏
  • 举报
回复
找不到,就再hdfs-site.xml里面配置下这两个参数
eft21 2013-10-25
  • 打赏
  • 举报
回复
${hadoop.tmp.dir}/dfs/data
loveniki 2013-10-25
  • 打赏
  • 举报
回复
引用 4 楼 eft21 的回复:
如果format之后仍不能成功,可能是节点间版本不匹配,需要将dfs.name.dir和dfs.data.dir对应的目录删除,重新format就可以了
dfs.data.dir没有定义的话,data在哪个目录?
eft21 2013-10-25
  • 打赏
  • 举报
回复
如果format之后仍不能成功,可能是节点间版本不匹配,需要将dfs.name.dir和dfs.data.dir对应的目录删除,重新format就可以了
撸大湿 2013-10-25
  • 打赏
  • 举报
回复
NameNode is not formatted. 你运行hadoop namenode -format 之后没报错?
rucypli 2013-10-24
  • 打赏
  • 举报
回复
两台机器看看是否都正常启动了 jps看下 另外看错误日志
loveniki 2013-10-24
  • 打赏
  • 举报
回复
引用 1 楼 rucypli 的回复:
两台机器看看是否都正常启动了 jps看下 另外看错误日志
错误如下: 2013-10-24 23:44:43,607 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties 2013-10-24 23:44:43,619 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered. 2013-10-24 23:44:43,620 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s). 2013-10-24 23:44:43,620 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system started 2013-10-24 23:44:43,908 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source ugi registered. 2013-10-24 23:44:43,925 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source jvm registered. 2013-10-24 23:44:43,926 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source NameNode registered. 2013-10-24 23:44:43,946 INFO org.apache.hadoop.hdfs.util.GSet: VM type = 32-bit 2013-10-24 23:44:43,946 INFO org.apache.hadoop.hdfs.util.GSet: 2% max memory = 19.33375 MB 2013-10-24 23:44:43,946 INFO org.apache.hadoop.hdfs.util.GSet: capacity = 2^22 = 4194304 entries 2013-10-24 23:44:43,946 INFO org.apache.hadoop.hdfs.util.GSet: recommended=4194304, actual=4194304 2013-10-24 23:44:44,119 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: fsOwner=dujs2 2013-10-24 23:44:44,120 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: supergroup=supergroup 2013-10-24 23:44:44,120 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: isPermissionEnabled=true 2013-10-24 23:44:44,125 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: dfs.block.invalidate.limit=100 2013-10-24 23:44:44,126 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s) 2013-10-24 23:44:44,301 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Registered FSNamesystemStateMBean and NameNodeMXBean 2013-10-24 23:44:44,328 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: Caching file names occuring more than 10 times 2013-10-24 23:44:44,337 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed. java.io.IOException: NameNode is not formatted. at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:315) at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:97) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:386) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:360) at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:276) at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:496) at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1279) at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1288) 2013-10-24 23:44:44,338 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.io.IOException: NameNode is not formatted. at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:315) at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:97) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:386) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:360) at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:276) at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:496) at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1279) at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1288) 可是我已经运行过 ./hadoop namenode -format了啊

20,807

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧