15spark架构原理

zhchzh1000 2023-01-12 18:48:28

课时名称	课时知识点
15spark架构原理

...全文

97 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

spark内部原理和架构电子书完整版。

Spark架构原理图形详解

Spark运行架构包括集群资源管理器（Cluster Manager）、运行作业任务的工作节点（Worker Node）、每个应用的任务控制节点（Driver）和每个工作节点上负责具体任务的执行进程（Executor）。其中，集群资源管理器可以是Spark自带的资源管理器，也可以是YARN或Mesos等资源管理框架。与Hadoop MapReduce计算框架相比，Spark所采用的Executor有两个优点：一是利用多线程来执行具体的任务（Hadoop MapReduce采用的是进程模型），减少任务的启动

一、相关名词解释 Driver：Driver是Spark集群的节点之一，我们编写的Spark程序就在Driver上，由Driver进程执行。 Master：Master是个进程，主要负责资源的调度和分配，还有集群的监控，等等职责。 Worker：Worker是个进程，主要负责两个方面，一个是用自己的内存存储RDD的某个或某些partition

Spark的资源管理架构首先介绍一下Spark的资源管理架构。Spark集群考虑到了未来对接一些更强大的资源管理系统（如Yarn、Mesos等），没有在资源管理的设计上对外封闭，所以Spark架构设计时将资源管理抽象出了一层，通过这种抽象能够构建一种插件式的资源管理模块。见上图，Master是Spark的主控节点，在实际的生产环境中会有多个Master，只有一个Master处于active状态。Worker是Spark的工作节点，向Master汇报...

张长志的课程社区_NO_1

1

社区成员

357

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章