Hadoop运行程序卡在map 0% reduce 0%

tkzclsp 2014-05-08 06:08:44
我搭建了3台机器的集群，运行Hadoop权威指南第二章关于气象数据的程序，运行1901-1902的数据是可以的。把数据改成从1901到1950年的所有数据，大概有500M，运行程序卡在map 0% reduce 0%.什么问题
软件版本：Hadoop1.0.3，jdk1.7.0_51,eclipse4.2.1
...全文
521 3 打赏 收藏 举报
写回复
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
五哥 2014-06-03
  • 打赏
  • 举报
 回复
看看日志， 处理50G的数据都很快就完成
闵开慧 2014-05-30
  • 打赏
  • 举报
 回复
这个问题比较复杂，可以qq聊 2965799541
闵开慧 2014-05-30
  • 打赏
  • 举报
 回复
看一下你的mapreduce程序是运行在本地还是集群上，在eclipse中的程序如果没有设置一般都是运行在本地的，你在运行程序时看一下安装eclipse机器的资源消耗，如果是在本地可能是设置的内存不够，或者是数据格式有问题
相关推荐
Apache Hadoop基础运维理论
Apache Hadoop是一套用于在由通用硬件构建的大型集群上运行应用程序的框架。它实现了Map/Reduce编程范型，计算任务会被分割成小块（多次）运行在不同的节点上。除此之外，它还提供了一款分布式文件系统（HDFS），数据被存储在计算节点上以提供极高的跨数据中心聚合带宽。
Windows xp 环境下通过MyEclipse运行hadoop map reduce程序
Windows xp 环境下通过MyEclipse运行hadoop map reduce程序
第九篇：Map/Reduce 工作机制分析 - 作业的执行流程
前言 从运行我们的 Map/Reduce 程序，到结果的提交，Hadoop 平台其实做了很多事情。 那么 Hadoop 平台到底做了什么事情，让 Map/Reduce 程序可以如此 "轻易" 地实现分布式运行？ Map/Reduce 任务执行总流程 经过之前的学习，我们已经知道一个 Map/Reduce 作业的总流程为： 代码编写...
KMeans:KMeans 算法的 Map Reduce 实现。 程序在单多节点Hadoop集群上运行，并在亚马逊Elastic Map Reduce多节点集群上进行了测试
K均值 KMeans 算法的 Map Reduce 实现。 该程序在单/多节点 Hadoop 集群上运行，并在 AMazon Elastic Map Reduce 多节点集群上进行了测试。
发帖
云存储

929

社区成员

650

社区内容

云计算 云存储相关讨论
社区管理员
  • 云存储
加入社区
帖子事件
创建了帖子
2014-05-08 06:08
社区公告
暂无公告