而 Hadoop 2.0 出現後，Open source 社群更是越來越少人用MapReduce 了。
連研發 MapReduce 演算法最牛的 Mahout ，也在 2014/4/25 ，也就是上周，宣布再也不支持 MapReduce的演算法。
Mahout 未來所有演算法皆由 Spark 上研發。
MapReduce的缺點，用過的都知道。
你還在學 MapReduce了嗎 ?
感覺國外都不再用了。
您覺得MapReduce會被淘汰嗎?
發表您的看法吧。
-
等级
本版专家分：0结帖率 66.67% -
這兩年Apache 相關的 Big Data 項目 ，都開始不支援 MapReduce 技術都研發，僅提供Bug 修改與維護。
而 Hadoop 2.0 出現後，Open source 社群更是越來越少人用MapReduce 了。
連研發 MapReduce 演算法最牛的 Mahout ，也在 2014/4/25 ，也就是上周，宣布再也不支持 MapReduce的演算法。
Mahout 未來所有演算法皆由 Spark 上研發。
MapReduce的缺點，用過的都知道。
你還在學 MapReduce了嗎 ?
感覺國外都不再用了。
您覺得MapReduce會被淘汰嗎?
發表您的看法吧。
展开阅读全文
-
等级
本版专家分：0
-
不懂，应该还是有价值的
-
等级
本版专家分：0
-
可能找到更好的数据分析算法了吧
-
等级
本版专家分：0勋章
-
- 铜牌 2004年5月 总版技术专家分月排行榜第三
-
-
微软MVP
2005年7月 荣获微软MVP称号
2008年7月 荣获微软MVP称号
2007年7月 荣获微软MVP称号
2006年7月 荣获微软MVP称号
-
-
黄花
2004年5月 .NET技术大版内专家分月排行榜第二
2004年4月 .NET技术大版内专家分月排行榜第二
-
- 蓝花 2004年7月 .NET技术大版内专家分月排行榜第三
-
-
个人感觉不会，分布排序，反向索引构建 这些领域里面好像还没有什么太成熟的解决方案能和MapReduce比吧，多学点不会吃亏的。
-
等级
本版专家分：0
-
Mahout转向spark是明智之举，Hadoop的mr就不太适合ML算法，用这个例子来说明MR淘汰没意义。缺点你说来听听。
-
等级
本版专家分：0
-
不可能被淘汰的，因为分布式一致性是太费功夫的一件事情了；不然hive怎么办
-
等级
本版专家分：0勋章
-
- 技术圈认证 用户完成年度认证，即可获得
-
- 签到达人 累计签到获取，不积跬步，无以至千里，继续坚持！
-
- 铜牌 2020年10月 总版技术专家分月排行榜第三
-
- 黄花 2020年10月 Java大版内专家分月排行榜第二
-
-
应该不会淘汰，即使被淘汰了也会向hadoop引入新的算法，大数据这是未来的一个趋势。
-
等级
本版专家分：0
-
嗯..spark最近很热...我觉得mr肯定会被淘汰的...
-
等级
本版专家分：0
-
不确定，多学点总不会吃亏
- MapReduce
当数据量大到一定程度，传统的技术无法进行解决的时候，那么需要采用分布式计算引擎MapReduce来尝试解决了！ 操作步骤 1. 架构图 Hadoop是由Apache基金会所开发的分布式系统基础架构，组织...
- mapreduce
mapreduce能解决的问题有一个共同特点：任务可被分解成多个子问题，且这些子问题相对独立，彼此不会相互牵制。 分治的思想。 task分为maptask和reducetask。hdfs以固定大小的block为基本的存储单元，
- （4）hadoop学习——mapreduce已死？
Hadoop的另一个核心，就是MapReduce，简单来说四个字：分而治之。 举个例子来说，我开了一家面馆，一开始知名度不够，每天也就卖个十几二十碗，一个人感觉很闲。随着时间推移，知道我家面馆的人越来越多，远远近近...
- Hadoop学习从零到一系列课程（3）：YARN和MapReduce精讲
Hadoop零基础教程，该课程主要为大家详细讲解YARN和MapReduce的构造，以及YARN和MapReduce的入门使用。通过本节课程带您一步步熟悉和掌握Hadoop基础。
- E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上，利用开源大数据生态系统，包括 Hadoop、Spark、Kafka、Storm，为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 2. 产品优势3. 产品功能4. 应用...
- MapReduce编程(一) Intellij Idea配置MapReduce编程环境
介绍如何在Intellij Idea中通过创建maven工程配置MapReduce的编程环境。
- MapReduce论文笔记
什么是MapReduce? 它是一种编程模型，其思想来自于函数式编程，和Python，Lisp语言中的map和reduce函数类似，其次它也是处理大数据集的一种实现，抽象出一个Map接口和一个Reduce接口，屏蔽底层的基础设施的细节...
- mapreduce内存分配
稍微有点mapreduce使用经验的同学肯定对OOM不陌生，对的，我目前在mapReduce里面遇到的最多的报错也是内存分配出错，所以看到好多hadoop执行脚本里面有好多关于内存的参数，虽然是知道和内存分配有关系，但是我依然...
- Mapreduce和Spark的对比
MR和Spark的对比 针对这两款计算框架从下边几个方面进行对比 1.通用性 1.1Spark 一栈式，主要说的是，Spark不仅仅可以进行离线计算(SparkCore)，同时还可以进行流式处理(SparkStreaming)、交互式计算(SparkShell,...
- MapReduce切片机制
MapReduce切片机制 为什么需要切片 MapReduce是一个分布式计算框架，处理的是海量数据的计算。那么并行运算必不可免，但是到底并行多少个Map任务来计算呢？每个Map任务计算哪些数据呢？这些我们数据我们不能够...
- MapReduce进阶：多MapReduce的链式模式
我们不可能一直沉浸在 WordCount 的成功运行当中，就像之前学习 Java 或是其他编程语言不会着迷于 HelloWord 一样。前面的 WordCount 程序只有一个 Mapper 和一个 Reducer 参与，也就是说只有一个 Job 参与。...
- MapReduce常见算法
MapReduce常见算法 作者：数据分析玩家 对于MapReduce，常见的算法有单词计数、数据去重、排序、TopK、选择、投影、分组、多表链接、单表关联。本文将具体阐述两个算法：数据去重与TopK。 为了让大家看的更清楚...
- MapReduce作业执行流程
MapReduce作业执行流程 0 准备阶段 0.1 回顾hadoop配置文件mapred-site.xml mapreduce.framework.name yarn Hadoop 2.x引入了一种新的执行机制。这种新机制（MR 2）建立在一个名为YARN的系统上。而...
- mapreduce图示原理深入详解，几张图搞定
1. MAPREDUCE原理篇 Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架； Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序...
- CSDN日报20170314——《40岁程序员真的要被淘汰了么？》
古人云：生于忧患，死于安乐。如果在事业上追求安乐和稳定，很可能在未来会迎来巨大的危机。今年43岁的我，随着自己年龄增大，职业危机就一直存在，从事软件开发行业已经17年了，职业发展的压力一直伴随着我，生怕...
- MapReduce
一、MapReduce简介 什么是MapReduce？ Mapreduce 是一个分布式运算程序的编程框架，是用户开发“基于 hadoop 的数据分析 应用”的核心框架。 Mapreduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一...
- MapReduce介绍
MapReduce产生背景 如果让你统计日志里面的出现的某个URL的总次数，让你自己去写个单机版的程序，写个逻辑：无非就是读这个文件一行,然后把那个地方截取出来，截取出来之后，然后可以把它放到一个HashMap里面...
- 从Hadoop框架与MapReduce模式中谈海量数据处理（含淘宝技术架构）
从hadoop框架与MapReduce模式中谈海量数据处理前言 几周前，当我最初听到，以致后来初次接触Hadoop与MapReduce这两个东西，我便稍显兴奋，觉得它们很是神秘，而神秘的东西常能勾起我的兴趣，在看过介绍它们的文章或...
- MapReduce
不要看百度百科上那个解释，什么映射啦，归约啦，
- MapReduce之输出结果排序
前面的案例中我们介绍了统计出每个用户的上行流量，下行流量及总流量，现在我们想要将输出的结果按照总流量倒序排序。 实现思路 MR程序在处理数据的过程中会对数据排序(map输出的kv对传输到reduce之前会...
- 一个完整的MapReduce程序
最近初学Hadoop，仿照参考书上编写了一个wordcount程序，本文主要解决运行过程中出现的一些问题，下边先看一下这个项目。 项目结构 WordMapper类package wordcount;import java.io.IOException;...
- MapReduce 按照Value值进行排序输出
文件输入： A 1 B 5 C 4 E 1 D 3 W 9 P 7 Q 2 文件输出： W 9 P 7 B 5 C 4 D 3 Q 2 E 1 A 1 代码如下： package comparator; import java.io.IOException; import org.a...
- MapReduce--2--MapReduce全局计数器
MapReduce的全局计数器 1.1、介绍 计数器是用来记录job的执行进度和状态的。它的作用可以理解为日志。我们可以在程序的某个位置插入计数器，记录数据或者进度的变化情况。 MapReduce 计数器（Counter）为我们...
- MapReduce 进阶：Partitioner 组件
Partitioner 组件可以让 Map 对 Key 进行分区，从而将不同分区的 Key 交由不同的 Reduce 处理。如果这么说让你觉得有一些笼统的话，那么本文可能很适合你，因为本文会依据一个具体的实例进行讲解。
- MapReduce编程案例系列篇（01-15）
但是MapRedcue也会吸收很多流行的内存计算的各种优点，我相信，将来，MapReduce绝对不会沦落到要淘汰的地步。甚至会后来居上。 在此，本人总结一篇关于MapReduce编程的各种典型应用场景编程案例，便于大家查阅...
- 深入理解与应用Hadoop中的MapReduce
现在大数据是越来越火了，而我自己研究这方面也很长时间了，今天就根据我自己的经验教会大家玩转MapReduce，下文中将MapReduce简写为MR。 本篇博客将结合实际案例来具体说明MR的每一个知识点。1、本篇博客核心...
- MapReduce 应用：TF-IDF 分布式实现
本文要说的 TF-IDF 分布式实现，运用了很多之前 MapReduce 的核心知识点。算是 MapReduce 的一个小应用吧。
- mapreduce中分割字符串
刚学mapreduce没多久，在默认的输入分片中，经常要对一行的数据进行划分，如果数据的格式划分的清除，在分割这一行数据的时候也就好划分了，但是有时候，数据的格式并不规整，所以划分起来就得多写些代码了。...