3spark工作原理与RDD介绍

zhchzh1000 2023-01-12 18:48:27

课时名称	课时知识点
3spark工作原理与RDD介绍

...全文

74 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

一、spark工作原理 1、分布式 2、主要基于内存（少数情况基于磁盘） 3、迭代式计算二、RDD以及其特点 1、RDD是Spark提供的核心抽象，全称为Resillient Distributed Dataset，即弹性分布式数据集。 2、RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的，分为多个分区，每个分区分布在集群中的不同节点上，从而让RDD中的数据可以被并行操作。（分布式数据集） 3、RDD通常通过Hadoop上的文件，即HDFS文件或者Hive表，来进行创建；.

RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是 Spark 中最基本的数据处理模型。代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。简单的来说，RDD在程序中就是一个包含数据和逻辑的抽象类。RDD是一个最小计算单元。

一、Spark 是什么　　Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用分布式并行计算框架。Spark拥有Hadoop MapReduce所具有的优点，但和MapReduce 的最大不同之处在于Spark是基于内存的迭代式计算——Spark的Job处理的中间输出结果可以保存在内存中，从而不再需要读写HDFS，除此之外，一个MapReduce 在计

1.RDD设计背景为了解决 MapReduce的频繁磁盘IO开销，序列化和反序列化的开销，因为从磁盘读取数据转换为对象需要反序列化，在对象落磁盘时候需要序列化

通过基于RDD的一系列转换，丢失的数据会被重算，由于RDD的各个Partition是相对独立的，因此只需要计算丢失的部分即可，并不需要重算全部Partition。（3）即数据集的基本组成单位。）RDD和它依赖的父RDD(即可以认为是通过运算产生出新RDD)的关系有两种不同的类型，即窄依赖（narrow dependency）和宽依赖（wide dependency）。（2）理解：RDD是由分区组成，每个分区运行在不同的Worker上，通过这种方式来实现分布式计算，RDD是逻辑概念，分区是物理概念。

张长志的课程社区_NO_1

1

社区成员

357

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章