15spark架构原理

zhchzh1000 2023-01-12 18:48:28

课时名称	课时知识点
15spark架构原理

...全文

71 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

spark内部原理和架构电子书完整版。

Spark架构原理图形详解

Spark运行架构包括集群资源管理器（Cluster Manager）、运行作业任务的工作节点（Worker Node）、每个应用的任务控制节点（Driver）和每个工作节点上负责具体任务的执行进程（Executor）。其中，集群资源管理器可以是Spark自带的资源管理器，也可以是YARN或Mesos等资源管理框架。与Hadoop MapReduce计算框架相比，Spark所采用的Executor有两个优点：一是利用多线程来执行具体的任务（Hadoop MapReduce采用的是进程模型），减少任务的启动

一、相关名词解释 Driver：Driver是Spark集群的节点之一，我们编写的Spark程序就在Driver上，由Driver进程执行。 Master：Master是个进程，主要负责资源的调度和分配，还有集群的监控，等等职责。 Worker：Worker是个进程，主要负责两个方面，一个是用自己的内存存储RDD的某个或某些partition

一、Spark架构 1.1、基本组件 Cluster Manager 在standalone模式中即为Master主节点，控制整个集群，监控worker。在YARN模式中为资源管理器。 Worker 从节点，负责控制计算节点，启动Executor或者Driver。在YARN模式中为NodeManager，负责计算节点的控制。 Driver 运行Application的main()函数并创建SparkContext。 Executor 执行器，在worker node上执行任务的组件、用于启动线程池运行任

张长志的课程社区_NO_1

1

社区成员

357

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章