运行hadoop的MapReduce示例，在running job卡住，不能继续运行

chelseayuan21 2015-05-09 04:39:07
求大神解答！！在网上搜索解决办法，都没搜到答案
我的hadoop版本是CDH5.4的，安装了伪分布模式，想运行示例程序验证一下，结果就卡在running job上，没法继续运行
运行示例如下：

结果在running job上卡住了

查看resourcesmanager的日志，提示到了"State change from SUBMITTED to SCHEDULED"就没有了：

求大神指导阿！！要崩溃了……
...全文
7296 11 打赏 收藏 转发到动态 举报
写回复
用AI写文章
11 条回复
切换为时间正序
请发表友善的回复…
发表回复
清风半夜鸣蝉 2017-11-15
  • 打赏
  • 举报
 回复
最烦这种不负责任的人，解决问题了不贴出来分享
wisdomB 2016-08-11
  • 打赏
  • 举报
 回复
请问，楼主是怎么解决的呢？我现在也遇到这种情况，一执行mapreduce程序就卡了，然后直接注销了。
ssdmg521 2016-07-04
  • 打赏
  • 举报
 回复
咋解决的，发下啊
fullmooneur 2016-06-14
  • 打赏
  • 举报
 回复 1
和楼主遇到的是一样的问题，我的DEBUG消息和你的相同，hosts设置没有问题，而且很诡异的是，我之前跑任务是没有问题的，可是突然之间就不行了，回忆了一下也没有更改配置，想问一下楼主是怎么解决问题的，谢谢
sinat_26742267 2016-03-25
  • 打赏
  • 举报
 回复
怎么解决的？楼主
qq_32561475 2015-11-04
  • 打赏
  • 举报
 回复
我也是这个问题，大家是怎么解决的？？求解答
小哥莫骚 2015-11-01
  • 打赏
  • 举报
 回复
楼主，你是怎么解决的啊？小弟我也遇到这个问题，快搞疯我了。。。
chelseayuan21 2015-05-10
  • 打赏
  • 举报
 回复
引用 1 楼 Vigiles 的回复:
修改日志级别
export HADOOP_ROOT_LOGGER=DEBUG,console
查看下详细信息


请问这个是什么问题？
chelseayuan21 2015-05-10
  • 打赏
  • 举报
 回复
引用 1 楼 Vigiles 的回复:
修改日志级别 export HADOOP_ROOT_LOGGER=DEBUG,console 查看下详细信息
谢谢啊，终于解决问题了！hosts设置不正确导致的！
vigiles 2015-05-09
  • 打赏
  • 举报
 回复
修改日志级别 export HADOOP_ROOT_LOGGER=DEBUG,console 查看下详细信息
Hbase中文文档
目录 序 1. 入门 1.1. 介绍 1.2. 快速开始 2. 配置 2.1. Java 2.2. 操作系统 2.3. Hadoop 2.4. HBase运行模式:单机和分布式 2.5. ZooKeeper 2.6. 配置文件 2.7. 配置示例 2.8. 重要配置 2.9. Bloom Filter 3. 升级 3.1. 从HBase 0.20.x or 0.89.x 升级到 HBase 0.90.x 3.2. 从 0.90.x 到 0.92.x 4. The HBase Shell 4.1. 使用脚本 4.2. Shell 技巧 5. 数据模型 5.1. 概念视图 5.2. 物理视图 5.3. 表 5.4. 行 5.5. 列族 5.6. Cells 5.7. Data Model Operations 5.8. 版本 5.9. 排序 5.10. 列元数据 5.11. Joins 6. HBase 和 Schema 设计 6.1. Schema 创建 6.2. column families的数量 6.3. Rowkey 设计 6.4. Number 数量 6.5. 支持的数据类型 6.6. Joins 6.7. 生存时间 (TTL) 6.8. Keeping Deleted Cells 12-5-30 HBase 官方文档 2/81 abloz.com/hbase/book.htm 6.9. Secondary Indexes and Alternate Query Paths 6.10. Schema Design Smackdown 6.11. Operational and Performance Configuration Options 6.12. 限制 7. HBase 和 MapReduce 7.1. Map-Task Spitting 7.2. HBase MapReduce Examples 7.3. Accessing Other HBase Tables in a MapReduce Job 7.4. Speculative Execution 8. HBase安全 8.1. 安全客户端访问 HBase 8.2. 访问控制 9. 架构 9.1. 概述 9.2. Catalog Tables 9.3. 客户端 9.4. Client Request Filters 9.5. Master 9.6. RegionServer 9.7. Regions 9.8. Bulk Loading 9.9. HDFS 10. 外部 APIs 10.1. 非Java语言和 JVM交互 10.2. REST 10.3. Thrift 11. 性能调优 11.1. 操作系统 11.2. 网络 11.3. Java 11.4. HBase 配置 11.5. ZooKeeper 11.6. Schema 设计 11.7. 写到 HBase 11.8. 从 HBase读取 11.9. 从 HBase删除 11.10. HDFS 11.11. Amazon EC2 11.12. 案例 12. 故障排除和调试 HBase 12.1. 通用指引 12.2. Logs 12.3. 资源 12.4. 工具 12.5. 客户端 12.6. MapReduce 12.7. NameNode 12.8. 网络 12.9. RegionServer 12.10. Master 12.11. ZooKeeper 12.12. Amazon EC2 12.13. HBase 和 Hadoop 版本相关 12.14. 案例 13. 案例研究 13.1. 概要 13.2. Schema 设计 13.3. 性能/故障排除 14. HBase Operational Management 14.1. HBase Tools and Utilities 14.2. Region Management 14.3. Node Management 14.4. HBase Metrics 14.5. HBase Monitoring 14.6. Cluster Replication 14.7. HBase Backup 14.8. Capacity Planning 15. 创建和开发 HBase 15.1. HBase 仓库 15.2. IDEs 15.3. 创建 HBase 12-5-30 HBase 官方文档 3/81 abloz.com/hbase/book.htm 15.4. Publishing a new version of hbase.apache.org 15.5. 测试 15.6. Maven Build Commands 15.7. Getting Involved 15.8. 开发 15.9. 提交补丁 A. FAQ B. hbck In Depth B.1. Running hbck to identify inconsistencies B.2. Inconsistencies B.3. Localized repairs B.4. Region Overlap Repairs C. Compression In HBase C.1. CompressionTest Tool C.2. hbase.regionserver.codecs C.3. LZO C.4. GZIP C.5. SNAPPY C.6. Changing Compression Schemes D. YCSB: The Yahoo! Cloud Serving Benchmark and HBase E. HFile format version 2 E.1. Motivation E.2. HFile format version 1 overview E.3. HBase file format with inline blocks (version 2) F. Other Information About HBase F.1. HBase Videos F.2. HBase Presentations (Slides) F.3. HBase Papers F.4. HBase Sites F.5. HBase Books F.6. Hadoop Books G. HBase History H. HBase and the Apache Software Foundation H.1. ASF Development Process H.2. ASF Board Reporting Index 表列表 5.1. Table webtable 5.2. ColumnFamily anchor 5.3. ColumnFamily contents 8.1. Operation To Permission Mapping
运行hadoop的MapReduce示例，在Running job卡住
所有的hadoop机器，${hadoop_home}/etc/hadoop/yarn-site.xml有以下配置： yarn.resourcemanager.hostname master
Java大数据培训学校全套教程-50）Hadoop与MapReduce最入门
java大数据培训学校全套教材系列课程由750集视频构成，基本就 是1）时下流行的java培训学校主流内部教材，2）和市面上培训学校的通 行的课程体系几乎一样。所以这套课程都能自己学下来，等于上了培训学 校一次，完全可以找个java工程师的工作了。    通过学习Hadoop的安装与配置，hdfs常用命令，WordCount程序详解，Shuffle过程详解，WordCount程序结果分析，Hadoop,HDFS,MapReduce,NameNode和DataNode,yarn,ResourceManager,NodeManager的概念等让大家对Hadoop和MapReduce编程打下好的基础。课程特色：专业细致，偏案例，理论强。课程软件使用：必须下载 2018最新eclipse 4.7 oxygen版本重要声明：1） 如果感觉噪音大，可以选择不用耳机，加音箱或用电脑原声 2） 既然我们的名字叫最最最入门，这个讲义的特点就在于成本最低的， 让你最快速的，最容易的入门。大数据的最大的难点在于入门入不了，从而最终放弃。俗话说师傅领进门，修行在个人。只要入了门了，后面的事都好办。当然，既 然侧重点在于如何入门，内容选的就不是很多。那些已经入门的，或者想学到精通级别的同学，请千万不要选我这套课程，选课前，务必注意本章的学习目标和内容。想学更多，注意后边的课程。
MapReduce任务卡在Running Job状态的多种解决方法
问题描述： 当搭建好hadoop分布式环境测试运行MapReduce程序时有时会遇到MapReduce任务卡住，shell界面停在RunningJob后不动的情况，这种时候应当如何解决呢？ 原因分析： 正常情况下一个Job被提交上去后需要经历资源分配的过程，这往往需要数秒钟的时间，但通常不会过长，在Hadoop2.X中Yarn负责管理资源的分配和调度，那么大概率是Yarn资源分配过程遇到了毛病。 解决方案： 1、查看Hadoop详细日志 可以通过Hadoop前端web页面（一般为50070端口）查看
【爬坑】运行 Hadoop 的 MapReduce 示例卡住了
1. 问题说明 　　在以伪分布式模式运行 Hadoop 自带的 MapReduce 示例，卡在了 Running job ，如图所示 2. 解决过程 　　查看日志没得到有用的信息 　　再次确认配置信息没有错误信息 　　最终修改了 hosts 　　添加本机的 hosts ，如下 　　192.168.23.101 s101 　　重新将 SSH 进行...
Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区，致力于有Hadoop，hive，Spark，Hbase，Flink，ClickHouse，Kafka，数据仓库，大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章