mapreduce的入口可以不是main嘛？

tbssl 2019-06-21 03:43:13

比如现在我想把入口做成一个api，别人只要在程序里调用一下我的接口就可以用mr跑个结果出来，这样可以嘛？

...全文

169 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

西門吹牛__Linux 2019-06-25

打赏
举报

回复

当然可以啊~把你的mr程序写好，driver(就是启动虚拟机跑mr程序的)接口暴露出来给别人调用就可以了

多文件输出MultipleOutputs，DBOutputFormat把MapReduce结果输出到mysql中，MapReduce实现join算法，map端做join，寻找用户间的共同好友等，围绕着Mapreduce知识点的相关14个问题，学过后可以基本胜任MapReduce编程...

初步认识MapReduce编程： MapReduce是简化的并行计算的编程模型，其编程思想简单来说就是：分散任务，汇总结果！执行一个大任务—&amp;amp;amp;amp;gt;执行多个小任务（Map阶段）将多个小任务的结果...

MapReduce是用于数据处理的一种编程模型，简单但足够强大，专门为并行处理大数据而设计。 1. 通俗理解MapReduce MapReduce的处理过程分为两个步骤：map和reduce。每个阶段的输入输出都是key-value的形式，key和...

hadoop离线 MapReduce中的分区和排序1、MapReduce的分区与reduceTask的数量第一步：定义我们的mapper第二步：定义我们的reducer逻辑第三步：自定义partitioner第四步：程序main函数入口2、MapReduce排序以及序列化 ...

MapReduce Shuffle 过程详解一、回顾 Shuffle功能分区问题：MapReduce中Reduce的设计本身是为了实现聚合，所以Reduce进程默认只会启动一个单个ReduceTask如果处理的数据量过多，会导致性能较差，或者资源...

Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章