社区
Spark
帖子详情
spark stand alone 模式集群 如何调用Java程序
andy88421
2017-12-19 03:22:59
各位大神,小弟项目组现在需要部署一个spark stand alone的集群,之前我开发的程序是基于spark local的模式,所以调用spark计算是在代码里面实现的调用的。那么请问如何改为spark 集群,如何调用我需要执行的计算代码逻辑呢?可以通过java应用直接连接上spark 集群进行调用处理吗?请教,请教!坐等解答,如果有参考文章或者实例,烦请给个链接或指个经,感激不尽。
...全文
528
回复
打赏
收藏
spark stand alone 模式集群 如何调用Java程序
各位大神,小弟项目组现在需要部署一个spark stand alone的集群,之前我开发的程序是基于spark local的模式,所以调用spark计算是在代码里面实现的调用的。那么请问如何改为spark 集群,如何调用我需要执行的计算代码逻辑呢?可以通过java应用直接连接上spark 集群进行调用处理吗?请教,请教!坐等解答,如果有参考文章或者实例,烦请给个链接或指个经,感激不尽。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
Spark
基础学习笔记05:搭建
Spark
Stand
alone
集群
文章目录 零、本讲学习目标 搭建
Spark
Stand
alone
模式
的
集群
能够启动
Spark
Stand
alone
模式
的
集群
学会
Spark
应用
程序
的提交
Spark
的两种
集群
运行
模式
:
Spark
Stand
alone
模式
和
Spark
On YARN
模式
。
Stand
alone
模式
需要启动
Spark
集群
,而
Spark
On YARN
模式
不需要启动
Spark
集群
,只需要启动YARN
集群
即可。先来搭建
Spark
Stand
alone
模式
的
集群
。一、
Spark
Stand
alone架构
Spark
Stand
al
Spark
环境搭建(
Stand
alone
模式
&&
Stand
alone HA
模式
)
Stand
alone
模式
是
Spark
自带的一种
集群
模式
,不同于前面本地
模式
启动多个进程来模拟
集群
的环境,
Stand
alone
模式
是真实地在多个机器之间搭建
Spark
集群
的环境,完全可以利用该
模式
搭建多机器
集群
,用于实际的大数据处理。开启两个任务,就会在master进程中开启两个对应的 Driver,对应的Executor各自汇报给对应的Driver,Executor数量根据你任务情况而定。在
stand
alone
模式
下, master进程和 worker进程是固定的。
spark
集群
搭建(
Stand
alone(非HA)、
Stand
alone(HA))
由于
集群
的信息,包括worker、driver和application的信息都已经持久化到文件系统,因此在切换的过程中只会影响job的提交,对应正在进行的job没有任何影响。
Spark
Stand
alone
集群
式Master-Slaves架构的
集群
模式
i,和大多数的Master-Slaves结构
集群
一样,存在着Master单点故障(SPOF)的问题。启动history(在
spark
的sbin目录下运行start-history-server.sh)配置
spark
-env.sh文件。
【
Spark
分布式内存计算框架——
Spark
基础环境】4.
Spark
Stand
alone
集群
(上)
Stand
alone 架构、
Spark
应用架构
Stand
alone
模式
是
Spark
自带的一种
集群
模式
,不同于前面本地
模式
启动多个进程来模拟
集群
的环境,
Stand
alone
模式
是真实地在多个机器之间搭建
Spark
集群
的环境,完全可以利用该
模式
搭建多机器
集群
,用于实际的大数据处理。3)、Executor在接收到Task后,会下载Task的运行时依赖,在准备好Task的执行环境后,会开始执行Task,并且将Task的运行状态汇报给Driver;将【$
SPARK
_HOME/conf/slaves.template】名称命名为【slaves】,填写从节点名称。
Spark
3.0.1环境搭建(
stand
alone
模式
)
Spark
3.0.1环境搭建(
stand
alone
模式
) 1. 背景
Spark
作为大数据分析处理引擎的准事实标准,本身并不能存储数据,只能做数据分析。
Spark
的运行需要依赖资源调度和任务管理,
Spark
自带了一套资源调度和任务管理工具,运行
stand
slone
模式
时,就是采取这套工具。
Spark
本身还可以运行在其他资源管理和任务调度平台上,如Yarn、Mesos、Kubernates容器等。 注意,本身Yarn和
Spark
内部的资源管理和任务调度也使用了容器技术,不过不是docker技术,但
Spark
1,258
社区成员
1,168
社区内容
发帖
与我相关
我的任务
Spark
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
复制链接
扫一扫
分享
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章