求助：hadoop reduce阶段慢，内存占用特别大

h941578187 2014-01-16 06:17:40

最近搞了一个mapreduce程序，在处理大文件时，map阶段很快完成，reduce阶段的copy和sort也很快完成，就在最后reduce特别慢，还有个别处理超时失败，这个时候cpu和磁盘io的压力都不打，但是内存一直处于99%的状态居高不下。
希望能得到各位同学的帮助哈~~

...全文

558 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

撸大湿 2014-01-17

打赏
举报

回复

把你的代码贴出来还有测试数据

大数据行业现状分析与新行业动态 Hadoop的起源与简史（包含：Hadoop的发行版本）Hadoop 2.X生态体系简介：HDFS，MapReduce，Hive等 Hadoop 3.0新特性介绍 Hadoop在互联网公司的应用案例解析 Hadoop 2.X安装部署的三种模式 Hadoop生产环境下的HDFS，MapReduce，Yarn等配置微博大数据平台架构方案

据估量，到2015年，全世界一半以上的数据将涉及Hadoop--围绕这个开源平台的生态系统日益庞大，这有力地印证了这个惊人的数字。　　然而，有些人表示，虽然Hadoop是眼下热闹非凡的大数据领域最热话题，但它肯定不是可以解决数据中央和数据治理方面所有难题的灵丹妙药。考虑到这一点，我们暂且不想推测这个平台未来会怎样，也不想推测彻底改变种种数据麋集型解决方案的开源技术未来会怎样，而是关注让Ha

虽然Hadoop是眼下热闹非凡的大数据领域最热话题，但它肯定不是可以解决数据中心和数据管理方面所有难题的灵丹妙药。考虑到这一点，我们暂且不想猜测这个平台未来会如何，也不想猜测各种数据密集型解决方案的开源技术未来会如何，而是关注让Hadoop越来越火的实际应用案例。案例之一：eBay的Hadoop环境 eBay分析平台开发小组的Anil Madan讨论了这家拍卖行业的巨擘在如何充分发挥Hado

用户命令 archive 将hadoop存档 [hadoop@linux ~]$ hadoop archive archive -archiveName NAME -p parent path> [-r replication factor>]src>* dest> Invalid usage. checknative [-a] [-h] -a 检查所有有效存储； -h

作为一种企业级OpenFlow控制器（OpenFlow是开放网络基金会管理的一项开放标准），Floodlight采用了Apache许可证，基于Java。Floodlight是一种开放的SDN控制器，可与通过OpenFlow协议进行联系的虚拟和物理交换机协同运行。此外，它还能指定用于远程控制网络设备的协议，比如交换机、路由器、虚拟交换机及其他接入点等设备。有了OpenFlow，Floodlight就能远程控制交换机的数据包转发表、流表规则、转发或阻止流量，并且充分利用自定义接口和脚本语言。

Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章