如何实现hadoop集群间通信和作业调度?

ibigdatas 2016-02-16 11:30:36
有多个hadoop集群,各集群的hadoop版本一致,这几个hadoop集群可能分布在不同地域。
1、要求能在其中一个集群的管理端看到其他集群的节点信息,比如hdfs的文件目录信息等。
2、要求在其中任意节点下发MR(或hive,spark)作业,在数据所在的集群执行此MR(或hive,spark)作业,也就是在数据所在集群执行作业。
请各位帮忙提供一些建议或者解决思路,谢谢啦!
...全文
203 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
ibigdatas 2016-02-18
  • 打赏
  • 举报
回复
考虑hadoop的federation,做适当配置修改。

1,258

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧