http://http://blog.csdn.net/lu1005287365/article/details/52052316
上面这篇文章提到了将HDFS与Spring进行整合后,能实现在程序中执行HDFS命令。
我的hadoop环境是搭在虚拟机上,现在想和本机eclipse里的web程序做一些整合,在eclipse里能执行linux上的jar包。
问题一:
我现在写好MapReduce程序都是先打成Jar包,然后传到linux机器上执行。
执行的命令是:hadoop jar jar包名 要执行类的路径。
那么能不能在我把jar传到linux机器的前提下,将hadoop与Spring进行整合,在Sping 里配置好相应linux机器的IP,让我能在web程序里直接用hadoop jar命令去执行linux机器上的jar包呢?
问题二:
如果我一个jar包了包含了两个Mapreduce程序,第一个MR的输出是第二个MR的输入,那我是不是只能用命令执行完第一个MR,然后再输入一次命令执行第二个MR,有什么思路能让两个MR连续执行?
思路一:(问题一如能解决好像可行)
思路二:(或是写一个入口c,分别先调用第一个MR的主程序a类的main方法,再调用第二个MR的主程序b类的main方法,然后hadoop jar命令执行的是c类)