社区
云存储
帖子详情
Hadoop运行程序卡在map 0% reduce 0%
tkzclsp
2014-05-08 06:08:44
我搭建了3台机器的集群,运行Hadoop权威指南第二章关于气象数据的程序,运行1901-1902的数据是可以的。把数据改成从1901到1950年的所有数据,大概有500M,运行程序卡在map 0% reduce 0%.什么问题
软件版本:Hadoop1.0.3,jdk1.7.0_51,eclipse4.2.1
...全文
653
3
打赏
收藏
Hadoop运行程序卡在map 0% reduce 0%
我搭建了3台机器的集群,运行Hadoop权威指南第二章关于气象数据的程序,运行1901-1902的数据是可以的。把数据改成从1901到1950年的所有数据,大概有500M,运行程序卡在map 0% reduce 0%.什么问题 软件版本:Hadoop1.0.3,jdk1.7.0_51,eclipse4.2.1
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
3 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
五哥
2014-06-03
打赏
举报
回复
看看日志, 处理50G的数据都很快就完成
闵开慧
2014-05-30
打赏
举报
回复
这个问题比较复杂,可以qq聊 2965799541
闵开慧
2014-05-30
打赏
举报
回复
看一下你的mapreduce程序是运行在本地还是集群上,在eclipse中的程序如果没有设置一般都是运行在本地的,你在运行程序时看一下安装eclipse机器的资源消耗,如果是在本地可能是设置的内存不够,或者是数据格式有问题
hadoop
问题之
运行
一直
卡
在
map
100% ,
reduce
0%
本文探讨了在使用
Hadoop
运行
程序
时遇到的常见问题:
程序
卡
在
map
阶段100%,
reduce
任务进度为0%。解决方法包括检查并修正/etc/hosts文件中的错误配置,确保127.0.0.1对应正确的主机名,避免指向多个主机,以防止
reduce
任务回调时找不到正确的主机。
Map
Reduce
job
运行
到67%
卡
住不动(已解决)
本文分享了一次因作业配置顺序不当导致
Map
Reduce
程序
卡
在67%的教训。作者发现将
reduce
设置放在输出设置之后会导致
程序
挂起,不报错也不继续执行,最终通过调整配置顺序解决了问题。
编译器将"+"转换成了StringBuilder类
本文分析了
Map
Reduce
作业在
map
100%、
reduce
66%时出现
卡
死现象的原因,指出这可能是由于
reduce
阶段不当使用String对象导致的性能问题,并提供了优化建议。
转:集群提交
Map
Reduce
作业执行
卡
住问题解决方案
本文深入探讨
Hadoop
Map
Reduce
在执行过程中常见的故障,包括
Reduce
阶段
卡
顿、作业提交失败及资源分配问题,并提供详尽的排查与解决策略。
stm32单片机项目资料课程设计文档C语言
程序
代码原理图电路PCB实例AVRM16L转S52板DXP资料及其相关资料
stm32单片机项目资料课程设计文档C语言
程序
代码原理图电路PCB实例AVR M16L转S52板DXP资料及其相关资料
云存储
932
社区成员
652
社区内容
发帖
与我相关
我的任务
云存储
云计算 云存储相关讨论
复制链接
扫一扫
分享
社区描述
云计算 云存储相关讨论
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章