hadoop namenode节点格式化出错！看日志感觉看不出什么问题。

u010955353 2016-03-30 07:15:45

Re-format filesystem in /home/coderhuang/hadoop-1.0.0/name ? (Y or N) Y
16/03/30 17:10:15 INFO util.GSet: VM type = 64-bit
16/03/30 17:10:15 INFO util.GSet: 2% max memory = 19.17 MB
16/03/30 17:10:15 INFO util.GSet: capacity = 2^21 = 2097152 entries
16/03/30 17:10:15 INFO util.GSet: recommended=2097152, actual=2097152
16/03/30 17:10:15 INFO namenode.FSNamesystem: fsOwner=root
16/03/30 17:10:15 INFO namenode.FSNamesystem: supergroup=supergroup
16/03/30 17:10:15 INFO namenode.FSNamesystem: isPermissionEnabled=true
16/03/30 17:10:15 INFO namenode.FSNamesystem: dfs.block.invalidate.limit=100
16/03/30 17:10:15 INFO namenode.FSNamesystem: isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s)
16/03/30 17:10:15 INFO namenode.NameNode: Caching file names occuring more than 10 times
16/03/30 17:10:15 ERROR common.Storage: Cannot create lock on /home/coderhuang/hadoop-1.0.0/name/in_use.lock
java.io.IOException: Function not implemented
at sun.nio.ch.FileDispatcherImpl.lock0(Native Method)
at sun.nio.ch.FileDispatcherImpl.lock(FileDispatcherImpl.java:90)
at sun.nio.ch.FileChannelImpl.tryLock(FileChannelImpl.java:1063)
at java.nio.channels.FileChannel.tryLock(FileChannel.java:1154)
at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.tryLock(Storage.java:619)
at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.lock(Storage.java:597)
at org.apache.hadoop.hdfs.server.namenode.FSImage.format(FSImage.java:1219)
at org.apache.hadoop.hdfs.server.namenode.FSImage.format(FSImage.java:1237)
at org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:1164)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1271)
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1288)
16/03/30 17:10:15 ERROR namenode.NameNode: java.io.IOException: Function not implemented
at sun.nio.ch.FileDispatcherImpl.lock0(Native Method)
at sun.nio.ch.FileDispatcherImpl.lock(FileDispatcherImpl.java:90)
at sun.nio.ch.FileChannelImpl.tryLock(FileChannelImpl.java:1063)
at java.nio.channels.FileChannel.tryLock(FileChannel.java:1154)
at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.tryLock(Storage.java:619)
at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.lock(Storage.java:597)
at org.apache.hadoop.hdfs.server.namenode.FSImage.format(FSImage.java:1219)
at org.apache.hadoop.hdfs.server.namenode.FSImage.format(FSImage.java:1237)
at org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:1164)
at

...全文

476 5 打赏收藏转发到动态举报

写回复

5 条回复

切换为时间正序

请发表友善的回复…

发表回复

碧水幽幽泉 2017-09-19

打赏
举报

回复

建议转移到大数据/hadoop版块

the_fool_ 2017-09-18

打赏
举报

回复

引用 3 楼 xx1710 的回复:

[quote=引用 2 楼 the_fool_ 的回复:] 都报错了还感觉没问题呢，我今天没报错还起不来郁闷

你为什么要挖这个坟=。=[/quote] 查资料查不到，无聊回复下哈哈，话说初始化成功了还报个SHUTDOWN信息，真的坑哈哈哈哈

上海菁数信息——实时数字智能 2017-09-18

打赏
举报

回复

引用 2 楼 the_fool_ 的回复:

都报错了还感觉没问题呢，我今天没报错还起不来郁闷

你为什么要挖这个坟=。=

the_fool_ 2017-09-13

打赏
举报

回复

都报错了还感觉没问题呢，我今天没报错还起不来郁闷

tingyingg 2016-03-31

打赏
举报

回复

我菜鸟一名，只是提醒一下是部署出现问题的吗？如果是的话，配置没问题的话，估计是对应目录没有权限问题，给目当前用户权限。

Apache Ambari是一种基于Web的运维工具，支持Apache Hadoop集群的自动化部署、管理和监控。Ambari目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。 Ambari使用Ganglia收集度量指标，用Nagios支持系统报警，当需要引起管理员的关注时（比如，节点停机或磁盘剩余空间不足等问题），系统将向其发送邮件。本课程主要讲解Ambari工具的使用，主要涉及Ambari的安装部署、在Ambari下自动化部署一套hadoop3.x集群、在Ambari下扩容hadoop集群节点、在Ambari下添加Hive、hbase、spark等服务，以及如何实现hadoop集群中服务的自动化管理，还介绍了Ambari下如何进行故障告警和故障通知功能。本课程采用Centos7.x版本，Ambari版本为Ambari2.7.x，hadoop版本为HDP3.1(hadoop3.x)。 1、Ambari的工作原理与架构2、安装与部署Ambari3、通过Ambari部署一个Hadoop3.x集群4、通过Ambari扩容hadoop集群节点5、通过Ambari在hadoop集群中新增hive/hbase/tez服务组件6、通过Ambari在hadoop中新增spark计算引擎7、通过Ambari管理hadoop集群中的各种组件和服务8、通过Ambari修改hadoop集群各个组件配置参数9、在Ambari平台配置监控告警、并设置通知策略

1、重新格式化意味着集群的数据会被全部删除，格式化前需考虑数据备份或转移问题；2、先删除主节点（即namenode节点），Hadoop的临时存储目录tmp、namenode存储永久性元数据目录dfs/name、Hadoop系统日志文件目录log 中的内容（注意是删除目录下的内容不是目录）；3、删除所有数据节点(即datanode节点) ，Hadoop的临时存储目录tmp、namenode存储永久性元数据目录dfs/name、Hadoop系统日志文件目录log 中的内容；...

首先理解什么是namenode格式化 格式化namenode即使配置文件生效，并格式化hdfs文件系统。重新格式化意味着集群所有的数据都会被删除，格式化之前要做好数据的备份。 格式化过程（1）删除主节点（namenode节点），包括：hadoop的临时存储目录tmp；namenode存储永久性元数据目录tmp/dfs/name；hadoop日志文件log目录中的文件（而不是log目录！！！）（2）删除从节点（datanode），包括：同上删除上述的原因是每一次重新格式化都会重建上述目录或内容，如果.

前言 格式化NameNode后集群的数据会全部丢失，格式化之前需做好数据备份工作。 格式化步骤 格式化之前，首先需删除Hadoop系统日志，默认路径为${HADOOP_HOME}/logs。然后删除主节点目录以及数据节点目录，默认路径分别为${hadoop.tmp.dir}/dfs/name和${hadoop.tmp.dir}/dfs/data。hadoop.tmp.dir默认值是/tmp/hadoop-${user.name}，可以在core-site.xml配置文件中的hadoop.tmp.dir属

今天用hadoop的hdfs和Hbase时不知道怎么回事总是发生了崩溃，我最终试了重新格式化namenode节点的方式进行解决，但是重新格式化之后发生了一系列问题，不是namenode启动不了就是datanote启动不了。后来上网查询才知道格式化namenote需要注意一些事项： 1.重新格式化namenote相当于格式化元数据，会破坏整个集群数据，格式化前需考虑数据备份或者转移问题。 2.先

590

社区成员

254,056

社区内容

发帖

与我相关

我的任务

其他技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章