mapreduce的入口可以不是main嘛？

tbssl 2019-06-21 03:43:13
比如现在我想把入口做成一个api，别人只要在程序里调用一下我的接口就可以用mr跑个结果出来，这样可以嘛？
...全文
231 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
西門吹牛__Linux 2019-06-25
  • 打赏
  • 举报
 回复
当然可以啊~把你的mr程序写好，driver(就是启动虚拟机跑mr程序的)接口暴露出来给别人调用就可以了
MapReduce-WordCount案例
有上一篇讲解了MapReduce运行原理后,相信大家能理解了,本篇以wordcount为案例了解下MapReduce编程的乐趣... 1 MR参考代码 1 .1Mapper代码 package com.mr.cf.wordcount; import java.io.IOException; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hado
MapReduce编程
MapReduce 1、MapReduce原理 (先分析，在编程) 1、WordCount 2、Yarn平台调度 3、分许WordCount单词计数的数据流程 4、开发自己的WordCount程序  2、MapReduce编程 1、三种方式运行mr windows本地运行 打包成jar，上传linux 命令hadoop jar xxx windows打成jar，然后本地运行，通知...
Mapreduce的map.py 入口main函数
if __name__ == "__main__": module = sys.modules[__name__] func = getattr(module, sys.argv[1]) args = None if len(sys.argv) > 1: args = sys.argv[2:] func(*args)
MapReduce案例之单词计数统计实现
需求：现有数据格式如下，每一行数据之间都是使用逗号进行分割，求取每个单词出现的次数 hello,helloworld,worldhadoop,hadoophello,worldhello,flumehadoop,hivehive,kafkaflume,storm MapReduce编程思路（8个步骤）如图： （1）创建maven工程并导入以下jar包 略 （2）自...
MapReduce实例2-数据分区
需求：将数据按照某一列分为两类 数据格式： [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Btt73zcN-1581055525555)(C:\Users\acer\Desktop\大数据系列笔记\7\1581048781109.png)] Step 1. 定义 Mapper 这个 Mapper 程序不做任何逻辑, 也不对 Key-Value 做任何改变, 只是接收...
Hadoop生态社区

20,843

社区成员

4,695

社区内容

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区，致力于有Hadoop，hive，Spark，Hbase，Flink，ClickHouse，Kafka，数据仓库，大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章