hadoop中无法上传文件到HDFS文件系统（hadoop集群成功搭建并启动）

SandyHu88 2014-08-18 03:47:35

hadoop集群成功搭建并启动，如下所示，但是无论怎么改都无法上传文件到HDFS文件系统！是不是内存不够啊？ 求大神帮忙！

问题：
[hadoop@Master ~]$ ll /opt
total 24
-rwxrwxrwx 1 hadoop hadoop 66 Aug 8 16:30 file1.txt
-rwxrwxrwx 1 hadoop hadoop 67 Aug 8 16:31 file2.txt
drwxr-xr-x 2 root root 4096 Aug 4 15:23 tools

[hadoop@Master ~]$ hadoop fs -ls /home
14/08/18 15:17:22 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 1 items
drwxr-xr-x - hadoop supergroup 0 2014-08-18 14:07 /home/input

[hadoop@Master ~]$ hadoop fs -put /opt/file*.txt /home/input
14/08/18 15:18:01 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
14/08/18 15:18:03 WARN hdfs.DFSClient: DataStreamer Exception
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /home/input/file1.txt._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 2 datanode(s) running and no node(s) are excluded in this operation.
at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget(BlockManager.java:1384)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2477)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:555)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:387)
at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java:59582)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2048)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2044)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2042)

at org.apache.hadoop.ipc.Client.call(Client.java:1347)
at org.apache.hadoop.ipc.Client.call(Client.java:1300)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)
at $Proxy9.addBlock(Unknown Source)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:186)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
at $Proxy9.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.addBlock(ClientNamenodeProtocolTranslatorPB.java:330)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.locateFollowingBlock(DFSOutputStream.java:1226)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1078)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:514)
put: File /home/input/file1.txt._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 2 datanode(s) running and no node(s) are excluded in this operation.
14/08/18 15:18:03 WARN hdfs.DFSClient: DataStreamer Exception
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /home/input/file2.txt._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 2 datanode(s) running and no node(s) are excluded in this operation.
at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget(BlockManager.java:1384)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2477)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:555)

....................


[/size]
...全文
16534 18 打赏 收藏 转发到动态 举报
写回复
用AI写文章
18 条回复
切换为时间正序
请发表友善的回复…
发表回复
xun-ming 2018-06-13
  • 打赏
  • 举报
 回复
我的问题的原因是防火墙没关闭
freetts 2016-11-23
  • 打赏
  • 举报
 回复
引用 16 楼 qq_34975884 的回复:
[quote=引用 3 楼 zh_yi 的回复:] 在你的datanode上jps一下。看有没有datanode。应该是没有。 你的datanode没有启动成功。查看一下每个datanode的dfs/data/VERSION文件，看与master上的CLUSTERID是否对应？ 应该是你格式化namenode之后master上的CLUSTERID变了，没有同步到datanode上。 修改每个datanode的VERSION的CLUSTERID就可以了。
每个datanode的dfs/data/VERSION和master的clusterid文件在哪找到呀？[/quote] 这个如果你没在core_site.xml配置的话，是会在linux的/tmp目录下的，当然最好是在core_site.xml把这个路径指向到你hadoop安装路径下
qq_34975884 2016-11-22
  • 打赏
  • 举报
 回复
引用 3 楼 zh_yi 的回复:
在你的datanode上jps一下。看有没有datanode。应该是没有。 你的datanode没有启动成功。查看一下每个datanode的dfs/data/VERSION文件，看与master上的CLUSTERID是否对应？ 应该是你格式化namenode之后master上的CLUSTERID变了，没有同步到datanode上。 修改每个datanode的VERSION的CLUSTERID就可以了。
每个datanode的dfs/data/VERSION和master的clusterid文件在哪找到呀？
galiniur0u 2016-02-03
  • 打赏
  • 举报
 回复
一般情况下都是空间不足，或者备份数大于节点数导致吧
ebnewyangyang 2016-02-01
  • 打赏
  • 举报
 回复
为了赚积分 也不要误人子弟啊 可恶 可悲 可叹
qq_27059213 2016-01-09
  • 打赏
  • 举报
 回复
前两天我也遇到过。。。最后删了好多压缩包解决的。。。就是空间不足了。。。
zstarstone 2015-12-25
  • 打赏
  • 举报
 回复
最烦这种有问题了自己猴急猴急的，解决问题了拍屁股走人，也给个解决方案，告诉大家怎么解决的啊
lvhongjin1993 2015-11-04
  • 打赏
  • 举报
 回复
引用 9 楼 snchenjt 的回复:
楼主，你的内存不够是如何修改的啊
请问 你知道怎么增加了吗？
跃进河 2015-09-24
  • 打赏
  • 举报
 回复
楼主，你的内存不够是如何修改的啊
arsenal04 2015-06-02
  • 打赏
  • 举报
 回复
楼主，你是怎么解决的，能不能公布一下，我也遇到但无法解决
xjauzcy 2015-06-02
  • 打赏
  • 举报
 回复
DataNode并没有启动，可以删除hadoop临时目录再试试。 解决方法： 
 sbin/stop-all.sh
 rm -rf /tmp/hadoop-root/* 
bin/hadoop namenode -format
其中“hadoop-root”替换成你本机的临时目录，在/tmp下可以找到。
weitao1234 2014-08-19
  • 打赏
  • 举报
 回复
dataNode没启动，重新启动。
SandyHu88 2014-08-19
  • 打赏
  • 举报
 回复
引用 3 楼 zh_yi 的回复:
在你的datanode上jps一下。看有没有datanode。应该是没有。 你的datanode没有启动成功。查看一下每个datanode的dfs/data/VERSION文件，看与master上的CLUSTERID是否对应？ 应该是你格式化namenode之后master上的CLUSTERID变了，没有同步到datanode上。 修改每个datanode的VERSION的CLUSTERID就可以了。
嗯，谢谢，都已经启动了，hadoop dfsadmin -report 有结果： [hadoop@Master ~]$ hadoop dfsadmin -report DEPRECATED: Use of this script to execute hdfs command is deprecated. ........... Configured Capacity: 8256880640 (7.69 GB) Present Capacity: 1155317760 (1.08 GB) DFS Remaining: 1155268608 (1.08 GB) DFS Used: 49152 (48 KB) DFS Used%: 0.00% Under replicated blocks: 0 Blocks with corrupt replicas: 0 Missing blocks: 0 ------------------------------------------------- Datanodes available: 2 (2 total, 0 dead) ............ 我解决了，是内存不够，修改HDFS文件系统的目录就可以了！
SandyHu88 2014-08-19
  • 打赏
  • 举报
 回复
嗯，谢谢，都已经启动了，hadoop dfsadmin -report 有结果： [hadoop@Master ~]$ hadoop dfsadmin -report DEPRECATED: Use of this script to execute hdfs command is deprecated. ........... Configured Capacity: 8256880640 (7.69 GB) Present Capacity: 1155317760 (1.08 GB) DFS Remaining: 1155268608 (1.08 GB) DFS Used: 49152 (48 KB) DFS Used%: 0.00% Under replicated blocks: 0 Blocks with corrupt replicas: 0 Missing blocks: 0 ------------------------------------------------- Datanodes available: 2 (2 total, 0 dead) ............ 我解决了，是内存不够，修改HDFS文件系统的目录就可以了！
zh_yi 2014-08-19
  • 打赏
  • 举报
 回复
在你的datanode上jps一下。看有没有datanode。应该是没有。 你的datanode没有启动成功。查看一下每个datanode的dfs/data/VERSION文件，看与master上的CLUSTERID是否对应？ 应该是你格式化namenode之后master上的CLUSTERID变了，没有同步到datanode上。 修改每个datanode的VERSION的CLUSTERID就可以了。
SandyHu88 2014-08-18
  • 打赏
  • 举报
 回复
防火墙已关闭，也不是在在安全模式下，求解啊 ，感激不尽~
SandyHu88 2014-08-18
  • 打赏
  • 举报
 回复
其他信息： Master节点： [hadoop@Master ~]$ jps 19649 SecondaryNameNode 19481 NameNode 19825 ResourceManager 20174 Jps [hadoop@Master ~]$ hadoop dfsadmin -report DEPRECATED: Use of this script to execute hdfs command is deprecated. Instead use the hdfs command for it. 14/08/18 15:06:41 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Configured Capacity: 8256880640 (7.69 GB) Present Capacity: 1155317760 (1.08 GB) DFS Remaining: 1155268608 (1.08 GB) DFS Used: 49152 (48 KB) DFS Used%: 0.00% Under replicated blocks: 0 Blocks with corrupt replicas: 0 Missing blocks: 0 ------------------------------------------------- Datanodes available: 2 (2 total, 0 dead) Live datanodes: Name: 192.168.137.129:50010 (Salve2.Hadoop) Hostname: Salve2.Hadoop Decommission Status : Normal Configured Capacity: 4128440320 (3.84 GB) DFS Used: 24576 (24 KB) Non DFS Used: 3545190400 (3.30 GB) DFS Remaining: 583225344 (556.21 MB) DFS Used%: 0.00% DFS Remaining%: 14.13% Last contact: Mon Aug 18 15:06:42 CST 2014 Name: 192.168.137.128:50010 (Salve1.Hadoop) Hostname: Salve1.Hadoop Decommission Status : Normal Configured Capacity: 4128440320 (3.84 GB) DFS Used: 24576 (24 KB) Non DFS Used: 3556372480 (3.31 GB) DFS Remaining: 572043264 (545.54 MB) DFS Used%: 0.00% DFS Remaining%: 13.86% Last contact: Mon Aug 18 15:06:41 CST 2014 [/size][/size] [hadoop@Master ~]$ df -hl Filesystem Size Used Avail Use% Mounted on /dev/sda2 3.8G 3.2G 446M 88% / /dev/sda3 15G 172M 14G 2% /home /dev/sda1 46M 11M 33M 25% /boot tmpfs 252M 0 252M 0% /dev/shm /dev/hdc 3.7G 3.7G 0 100% /mnt/cdrom [hadoop@Master ~]$ Slave1节点： [hadoop@Salve1 hadoop]$ jps 8381 NodeManager 8543 Jps 8281 DataNode [hadoop@Salve1 hadoop]$ df -hl Filesystem Size Used Avail Use% Mounted on /dev/sda2 3.9G 3.2G 546M 86% / tmpfs 306M 272K 306M 1% /dev/shm /dev/sda1 49M 40M 6.3M 87% /boot /dev/sda5 15G 167M 14G 2% /home /dev/sr0 3.5G 3.5G 0 100% /mnt/cdrom df: `/root/.gvfs': Permission denied Slave2节点： [hadoop@Salve2 ~]$ jps 7433 Jps 6976 NodeManager 6874 DataNode [hadoop@Salve2 ~]$ df -hl Filesystem Size Used Avail Use% Mounted on /dev/sda2 3.9G 3.2G 557M 86% / tmpfs 306M 276K 306M 1% /dev/shm /dev/sda1 49M 40M 6.2M 87% /boot /dev/sda5 15G 167M 14G 2% /home /dev/sr0 3.5G 3.5G 0 100% /mnt/cdrom df: `/root/.gvfs': Permission denied [hadoop@Salve2 ~]$
HadoopHA集群配置文件
Hadoop HA 集群搭建所需要的配置文件：core-site，hdfs-site，mapred-site，yarn-site四个xml文件和一个slaves文件
Hadoop集群搭建-完全分布式
本文通过12个步骤实现Hadoop集群的完全分布式搭建 刚刚入门，如有错误请指出 文章目录1. 服务器准备2. 网络环境准备3. 服务器系统设置4. JDK环境安装5. Hadoop安装6. Hadoop文件配置：hadoop-env.sh（hadoop运行环境相关脚本）core-site.xml（hadoop核心配置）hdfs-site.xml（分布式文件系统HDFS相关配置）mapred-site.xml（MapReduce相关配置）yarn-site.xml（Yarn相关配置）slaves文件（里面写从节点所在的主机名，会在这些主机上启动DataNode）关于配置文件7. 将Hadoop
CentOS7下Hadoop3.2.1集群的安装与部署（下）
在《CentOS7下Hadoop3.2.1集群的安装与部署（上）》中我们我们完成了对Hadoop集群的安装与启动。接下来，重点对HDFS和Yarn的HA配置进行介绍。 HDFS高可用 在上述Hadoop集群搭建完成之后，若要启用HA还需要对hdfs-site.xml和core-site.xml两个文件进行一点额外的配置。 hdfs-site.xml dfs.nameservices hadoop-cluster dfs.ha.namenodes.hadoop-cluster
Hadoop上传文件到hdfs中
hadoop常见指令： hdfs dfs -copyFromLocal /local/data /hdfs/data：将本地文件上传到 hdfs 上（原路径只能是一个文件） hdfs dfs -put /tmp/ /hdfs/ ：和 copyFromLocal 区别是，put 原路径可以是文件夹等 hadoop fs -ls / ：查看根目录文件 hadoop fs -ls /tmp/da...
Hadoop基础操作--上传文件到HDFS
一、什么是HDFS文件系统 文件系统是对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索的系统。即：为用户建立文件、存入、读出、修改、转储文件，控制文件的存取，当用户不再使用时删除文件。 现在我们的计算机基本上都是windows操作系统，文件都存储在磁盘驱动器（C、D、E盘）的文件目录中，在Linux系统中提供了树状文件目录结构，可供使用者存储或读取文件。Hadoop集群也有专有的文件系统--HDFS文件系统，也使用了类Linux的目录结构来进行...
Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区，致力于有Hadoop，hive，Spark，Hbase，Flink，ClickHouse，Kafka，数据仓库，大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章