社区
Spark
帖子详情
如何实现hadoop集群间通信和作业调度?
ibigdatas
2016-02-16 11:30:36
有多个hadoop集群,各集群的hadoop版本一致,这几个hadoop集群可能分布在不同地域。
1、要求能在其中一个集群的管理端看到其他集群的节点信息,比如hdfs的文件目录信息等。
2、要求在其中任意节点下发MR(或hive,spark)作业,在数据所在的集群执行此MR(或hive,spark)作业,也就是在数据所在集群执行作业。
请各位帮忙提供一些建议或者解决思路,谢谢啦!
...全文
203
1
打赏
收藏
如何实现hadoop集群间通信和作业调度?
有多个hadoop集群,各集群的hadoop版本一致,这几个hadoop集群可能分布在不同地域。 1、要求能在其中一个集群的管理端看到其他集群的节点信息,比如hdfs的文件目录信息等。 2、要求在其中任意节点下发MR(或hive,spark)作业,在数据所在的集群执行此MR(或hive,spark)作业,也就是在数据所在集群执行作业。 请各位帮忙提供一些建议或者解决思路,谢谢啦!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
1 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
ibigdatas
2016-02-18
打赏
举报
回复
考虑hadoop的federation,做适当配置修改。
Hadoop
集群
部署和启动与关闭
为了提高
Hadoop
集群
的高可用性,
集群
中至少需要两个NameNode节点(一个主节点,一个备用节点)和两个ResourceManager节点 (一个主节点,一个备用节点)以满足HDFS和YARN的高可用性,同时为了满足“过半写入则成功”的原则,
集群
中至少需要三个 JournalNode节点。在虚拟机Spark01中的NameNode主节点执行初始化命令后,需要将元数据目录的内容复制到其他未格式化的 NameNode备用节点(虚拟机Spark02)上,确保主节点和备用节点的NameNode数据一致。
Hadoop
入门详解以及
Hadoop
集群
搭建
Hadoop
基础知识入门详解,CentOs8搭建
Hadoop
集群
进击大数据系列(五):
Hadoop
统一资源管理和调度平台 YARN
点击下方名片,设为星标!回复“1024”获取2TB学习资源!前面介绍了
Hadoop
基本概念与生态、安装(HDFS+YARN+MapReduce)实战操作、常用命令、架构基石 HDFS等相关的知识点,今天我将详细的为大家介绍 大数据
Hadoop
统一资源管理和调度平台 YARN 相关知识,希望大家能够从中收获多多!如有帮助,请点在看、转发支持一波!!!Yarn 概述Apache Yarn(Ye...
Hadoop
是做什么的,
hadoop
集群
搭建作用
目的 本文描述了如何安装、配置和管理有实际意义的
Hadoop
集群
,其规模可从几个节点的小
集群
到几千个节点的超大
集群
。 如果你希望在单机上安装
Hadoop
玩玩,从这里能找到相关细节。 更多精彩内容 精彩内容点我学 先决条件 确保在你
集群
中的每个节点上都安装了所有必需软件。 获取
Hadoop
软件包。 安装 安装
Hadoop
集群
通常要将安装软件解压到
集群
内的所有机器上。 通常...
Hadoop
集群
间文件拷贝
文章主要介绍了
Hadoop
集群
减文件拷贝的使用,借助源码简要分析了拷贝过程。
Spark
1,258
社区成员
1,168
社区内容
发帖
与我相关
我的任务
Spark
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
复制链接
扫一扫
分享
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章