关于hadoop和Sping整合

zjxcsdn3069 2017-08-18 03:51:20
http://http://blog.csdn.net/lu1005287365/article/details/52052316
上面这篇文章提到了将HDFS与Spring进行整合后,能实现在程序中执行HDFS命令。

我的hadoop环境是搭在虚拟机上,现在想和本机eclipse里的web程序做一些整合,在eclipse里能执行linux上的jar包。

问题一:
我现在写好MapReduce程序都是先打成Jar包,然后传到linux机器上执行。
执行的命令是:hadoop jar jar包名 要执行类的路径。
那么能不能在我把jar传到linux机器的前提下,将hadoop与Spring进行整合,在Sping 里配置好相应linux机器的IP,让我能在web程序里直接用hadoop jar命令去执行linux机器上的jar包呢?

问题二:
如果我一个jar包了包含了两个Mapreduce程序,第一个MR的输出是第二个MR的输入,那我是不是只能用命令执行完第一个MR,然后再输入一次命令执行第二个MR,有什么思路能让两个MR连续执行?
思路一:(问题一如能解决好像可行)
思路二:(或是写一个入口c,分别先调用第一个MR的主程序a类的main方法,再调用第二个MR的主程序b类的main方法,然后hadoop jar命令执行的是c类)
...全文
513 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
zjxcsdn3069 2017-08-21
  • 打赏
  • 举报
回复
问题二,是可以用思路二的,附上代码
主入口类C:根据调用A的方法的返回值是否为true,来判断是否执行第二个MR

第一个MR类A:
_明月 2017-08-18
  • 打赏
  • 举报
回复
真的抱歉,由于我个人只懂Spring,不懂Hadoop,无法帮到你,抱歉了。

932

社区成员

发帖
与我相关
我的任务
社区描述
云计算 云存储相关讨论
社区管理员
  • 云存储
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧