求助大神们!hadoop 入门遇到的一个问题

callmebilly 2019-01-07 08:23:21
大神们请帮帮忙,最近开始学习hadoop,遇到一个疑难点:







明明hdfs里面1.txt文件的内容都输出来了,但datanode的cmd窗口还是会报一个关闭现有连接的错误。
...全文
46 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
callmebilly 2019-01-08
  • 打赏
  • 举报
回复
我这这做的是伪分布式(window版的hadoop,单结点), 我并未设置时间同步 core-site.xml

<configuration>
    <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
   </property>
</configuration>
hdfs-site.xml

<configuration>
	<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/D:/dev/hadoop-2.9.2/workplace/dataname</value>
    </property>
	 <property>
        <name>dfs.datanode.data.dir</name>
        <value>/D:/dev/hadoop-2.9.2/workplace/datanode</value>
    </property>
	<property>   
		<name>dfs.datanode.max.transfer.threads</name>   
		<value>8192</value>   
		<description>   
			Specifies the maximum number of threads to use for transferring data  
			in and out of the DN.   
		</description>  
	</property> 
	
	<property>
		<name>dfs.datanode.socket.write.timeout</name>
		<value>6000000</value>
	</property>

    <property>
		<name>dfs.socket.timeout</name>
		<value>6000000</value>
    </property>
</configuration>
mapred-site.xml

<configuration>
	<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>
yarn.xml

<configuration>

	<property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>
露落梨花 2019-01-07
  • 打赏
  • 举报
回复
根据个人经验看,可能有两个原因: 1、集群是否都做了时间同步 2、配置文件可能有问题 在一般的情况下不会有这个问题的。 还有建议楼主,语言改成英语版的,因为汉语版的报错了之后,从网上找相关词搜索,不一定能搜索出来

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧