3spark工作原理与RDD介绍

zhchzh1000 2023-01-12 18:48:27

课时名称	课时知识点
3spark工作原理与RDD介绍

...全文

216 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

1 Spark背景 Spark是一个加州大学伯克利分校（UC Berkeley AMP）开发的一个分布式数据快速分析项目。它的核心技术是弹性分布式数据集（Resilient distributed datasets），提供了比Hadoop更加丰富的MapReduce模型，可以快速在内存中对数据集进行多次迭代，来支持复杂的数据挖...

Spark的核心是建立在同一的抽象弹性分布式数据集（Resilient Distributed Datasets，RDD）之上的，这使得Spark的各个组件可以无缝的进行集成，能够在同一个应用程序中完成大数据处理 1.RDD基本概念 RDD是spark提供的最重要的抽象概念，它是一种有容错机制的特殊数据集合，可以分布在集群的节点上，以函数式操作集合的方式进行各种并行操作可以将RDD理解为一个分布式对象集合，本质上是一个只读的分区记录集合。每个RDD可以分成多个分区，每个分区就是一个数据集片段。一个R

RDDInfo用于描述RDD的信息，RDDInfo提供的信息如下： id：RDD的id。 name：RDD的名称。 numPartitions：RDD的分区数量。 storageLevel：RDD的存储级别（即StorageLevel）。 parentIds：RDD的父亲RDD的id序列。这说明一个RDD会有零到多个父RDD。 callSite：RDD的用户调用栈信息。 scope：...

目录1. Spark架构及生态2. Spark与Hadoop3. Spark工作原理3.1 运行流程及特点3.2 Spark运行特点3.3 常用术语3.4 Spark运行模式3.4.1 standalone：独立集群运行模式3.5 RDD运行流程4. RDD依赖关系5. 划分stage6. DAG6.1 什么是DAG6.2 DAG 解决了什么问题6.3 DAG 是怎么工作的 1. Spark架构及...

文章目录一、Spark粗粒度架构一、Spark粗粒度架构

张长志的课程社区_NO_1

1

社区成员

357

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章