hadoop自带wordcount卡在map 0% reduce 0%不动

weixin_41220355 2017-11-30 08:33:28
问题如图


下面是yarn-site的配置，ubuntu虚拟机分配了4G内存，为啥就是跑不出结果


...全文
1518 17 打赏 收藏 转发到动态 举报
写回复
用AI写文章
17 条回复
切换为时间正序
请发表友善的回复…
发表回复
SMALLl_White 2019-10-09
  • 打赏
  • 举报
 回复
权限不够 在虚拟机上运行hadoop fs -chmod -R 777 / 加权限
五哥 2018-07-25
  • 打赏
  • 举报
 回复
估计是没有资源了，我这边用CDH，直接在CM上面的资源池中，可以看到具体信息
gamedev˚ 2017-12-19
  • 打赏
  • 举报
 回复
对方很困，并通过你给的日志信息，google之后 向你抛来一个url http://blog.sina.com.cn/s/blog_40d46ec20101fkzw.html 通过这篇博客中所给的信息，升级集群机器配额。 要是不行，再参考另外一篇，完整的yarn.nodemanager.vmem-pmem-ratio参数配置https://stackoverflow.com/questions/30533501/hadoop-mapper-is-failing-because-of-container-killed-by-the-applicationmaster 自学不易，多多google (逃...
weixin_41220355 2017-12-18
  • 打赏
  • 举报
 回复
引用 13 楼 Coder__CS 的回复:
基础程序跑不起来，说明是集群环境配置的不成功。 可以从四个配置文件 逐一检查，看是否有遗漏配置项 core-site.xml 
<configuration>
<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://yourHostname(主机名):9000/</value>
	</property>
	<!-- 指定hadoop运行时产生文件的存储目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>$Hadoop_HOME(Hadoop安装路径)/tmp</value>
	</property>
</configuration>
mapred-site.xml 
<configuration>
<!-- 指定mr运行在yarn上 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>
hdfs-site.xml 
<configuration>
<!-- 指定HDFS副本的数量 -->
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
</configuration>
yarn-site.xml 
<configuration>
<!-- Site specific YARN configuration properties -->
	<!-- 指定YARN的老大（ResourceManager）的地址 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop</value>
	</property>
	<!-- reducer获取数据的方式 -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>
启动集群时，记得多查找日志信息，所有的问题都会记录在启动日志中
我这些都是设的没问题的 我现在看了下日志 应该是nodemanager的日志有问题 日志里面不停的刷下面的这段内容 2017-12-18 05:43:39,154 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainersMonitorImpl: Memory usage of ProcessTree 2940 for container-id container_1513603995759_0001_01_000001: 160.4 MB of 2 GB physical memory used; 3.1 GB of 4.2 GB virtual memory used 2017-12-18 05:43:39,380 INFO org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl: Sending out status for container: container_id {, app_attempt_id {, application_id {, id: 1, cluster_timestamp: 1513603995759, }, attemptId: 1, }, id: 1, }, state: C_RUNNING, diagnostics: "", exit_status: -1000, 2017-12-18 05:43:40,388 INFO org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl: Sending out status for container: container_id {, app_attempt_id {, application_id {, id: 1, cluster_timestamp: 1513603995759, }, attemptId: 1, }, id: 1, }, state: C_RUNNING, diagnostics: "", exit_status: -1000, 2017-12-18 05:43:41,399 INFO org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImpl: Sending out status for container: container_id {, app_attempt_id {, application_id {, id: 1, cluster_timestamp: 1513603995759, }, attemptId: 1, }, id: 1, }, state: C_RUNNING, diagnostics: "", exit_status: -1000, 不停刷，终端那里就是一直停在map 0% reduce 0%不动
gamedev˚ 2017-12-17
  • 打赏
  • 举报
 回复
基础程序跑不起来，说明是集群环境配置的不成功。 可以从四个配置文件 逐一检查，看是否有遗漏配置项 core-site.xml 
<configuration>
<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://yourHostname(主机名):9000/</value>
	</property>
	<!-- 指定hadoop运行时产生文件的存储目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>$Hadoop_HOME(Hadoop安装路径)/tmp</value>
	</property>
</configuration>
mapred-site.xml 
<configuration>
<!-- 指定mr运行在yarn上 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>
hdfs-site.xml 
<configuration>
<!-- 指定HDFS副本的数量 -->
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
</configuration>
yarn-site.xml 
<configuration>
<!-- Site specific YARN configuration properties -->
	<!-- 指定YARN的老大（ResourceManager）的地址 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop</value>
	</property>
	<!-- reducer获取数据的方式 -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
</configuration>
启动集群时，记得多查找日志信息，所有的问题都会记录在启动日志中
weixin_41220355 2017-12-16
  • 打赏
  • 举报
 回复
上面的日志是resourceManager的日志 这个是nodemanager的日志，好像是这个日志里面有问题，也是截的部分，请大家帮忙看看
weixin_41421910 2017-12-16
  • 打赏
  • 举报
 回复
我是执行以后没有map也没有reduce，直接卡着不动
weixin_41220355 2017-12-16
  • 打赏
  • 举报
 回复
哪位老师前辈可以帮我解决下这个，这问题没解决我后续都没法进行了
weixin_41220355 2017-12-16
  • 打赏
  • 举报
 回复
引用 7 楼 yan5913683 的回复:
首先，检查resourceManager的日志，查看一下AM是否在申请Container，如果有看是否成功分配，如果没有去查看nodemanager的日志，还有一点你给Nodemanager配置的可用属性最好大于每个Container可申请的最小内存。建议把日志贴出来，不然没法检查。
查看一下AM是否在申请Container：这个我不太明白是在日志的哪一段能看出来 截取了部分的日志，不知道能不能看得出来
weixin_41220355 2017-12-16
  • 打赏
  • 举报
 回复
引用 6 楼 dinghun8leech 的回复:
在看看map日志，有没有异常什么的，输入内容是否过多？ 看状态job已经被受理，分配资源了。
那个输入文件是我自建的，内容只有几行，应该是其他问题吧，下面我贴了部分的resourceManager的部分日志 再帮我分析分析？
小鹿乱撞ing 2017-12-10
  • 打赏
  • 举报
 回复
首先，检查resourceManager的日志，查看一下AM是否在申请Container，如果有看是否成功分配，如果没有去查看nodemanager的日志，还有一点你给Nodemanager配置的可用属性最好大于每个Container可申请的最小内存。建议把日志贴出来，不然没法检查。
dinghun8leech 2017-12-04
  • 打赏
  • 举报
 回复
在看看map日志，有没有异常什么的，输入内容是否过多？ 看状态job已经被受理，分配资源了。
weixin_41220355 2017-12-02
  • 打赏
  • 举报
 回复
是资源不够还是可能我哪里设置的有错误或者遗漏。求各位前辈提提看法意见
weixin_41220355 2017-12-01
  • 打赏
  • 举报
 回复
引用 1 楼 zjcxc 的回复:
看看 job 是在什么状态 hadoop job -list
weixin_41220355 2017-12-01
  • 打赏
  • 举报
 回复
引用 2 楼 dinghun8leech 的回复:
看看yarn自带的ResourcesManager UI，是不是有其他作业在跑，是不是没有足够的资源分配给这个job。
看了下只有一个作业
dinghun8leech 2017-12-01
  • 打赏
  • 举报
 回复
看看yarn自带的ResourcesManager UI，是不是有其他作业在跑，是不是没有足够的资源分配给这个job。
zjcxc 2017-12-01
  • 打赏
  • 举报
 回复
看看 job 是在什么状态 hadoop job -list
大数据视频_Hadoop视频教程（上）
Hadoop完全分布式集群搭建、Hadoop源码编译、HDFS的Shell操作、HDFS的API操作、HDFS的IO流操作、HDFS读写数据流程、NameNode和SecondaryNameNode工作机制、DataNode工作机制、集群节点动态服役和退役、HDFS2.x新特性...
Hadoop 运行自带worcount map0% reduce0% 和map100%和reduce 0%问题
今天跑了一下hadoop自带的wordcount 遇到了如下问题 我的配置是 VMware上hadoop的伪分布式安装 也就是map0%，reduce0%问题，网上的博客都翻了个遍，几乎都是修改yarn-site.xmal文件的各种配置，说是内存不足，资源分配等问题，由于本人还是小白，没有查询log的能力，也不知道具体问题出在哪里，最后的解决办法是：将虚拟机的能存由2G提到3G，分配了四个核，...
hadoop3 任务卡在map 0% reduce 0%的解决方案
在VMWare上面配置好了hadoop3之后，当然是先试跑一下案例。然而在master上面运行wordcount的时候却出现了卡在map 0% reduce 0%的情况，搜索了这个问题的相关解决方案，基本是修改yarn-site.xml的配置，如 1.增大cpu数，yarn.nodemanager.resource.cpu-vcores 2.增大每个节点可用内存，yarn.scheduler.maximum-allocation-mb 3.调整虚拟内存值，yarn.nodemanager.vmem-pme
hadoop运行时出现的问题，map0%,ruduce 0% 以及 map 100% reduce 32%
1.最近在做hadoop的作业，在集群上跑wordcount ,在运行的时候遇到map 0%,reduce 0%(如下图) 在网上试了很多方法，都还是没有解决这个问题。后来，发下是hosts文件中没有修改hostname，在每个节点的hosts 文件后面添加该服务器的内网ip以及对应的hostname就可以了，一定要添加 如下 2. 修改了上面的hosts文件后，在运行的时候一直卡在map100% reduce 32%，应该是yarn配置文件出现了问题，同样试了网上很多方法都不行，后来把ya..
wordcount程序出现map 100% reduce 0%问题的解决方法
运行wordcount程序一直停在map 100% reduce 0%， input文件夹的内容： 其中: f1.txt中的内容为：hello hadoop f2.txt中的内容为：hello hadoop f3.txt中的内容为：hello world 解决方法： 在/etc/hosts中增加以下红色一行，其中第一列为127.0.0.1，第二列...
Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区，致力于有Hadoop，hive，Spark，Hbase，Flink，ClickHouse，Kafka，数据仓库，大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章