张长志的课程社区_NO_1
3spark工作原理与RDD介绍
墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网
我也要 关注 + 加入社区| 课时名称 | 课时知识点 |
|---|---|
| 3spark工作原理与RDD介绍 |
...全文
相关推荐
Spark RDD Instrocution
### Spark RDD介绍与基础知识#### 一、Apache Spark 生态系统概述Apache Spark 是一个用于大规模数据处理的开源计算框架，旨在提供高效的数据处理能力。
Spark技术内幕 深入解析Spark内核架构设计与实现原理 ,张安站著
同时，RDD的缓存策略是实现内存计算的关键，书中有详尽的解释。在分布式存储方面，Spark与HDFS、Cassandra、Amazon S3等多种存储系统兼容，允许用户从各种数据源读写数据。
Spark框架简介
Spark的工作原理##### RDD概念**弹性分布式数据集（Resilient Distributed Dataset, RDD）**是Spark的核心抽象之一。
Learning.Spark.pdf(英文版)+图解Spark核心技术与案例实战.pdf
《图解Spark核心技术与案例实战》则是面向中文读者的Spark指南，通过图形化的方式和实际案例，让读者更直观地理解Spark的工作原理和应用。
Spark核心原理深度解析：RDD与内存计算
RDD（Resilient Distributed Dataset），即弹性分布式数据集，是Spark中最基本的数据抽象。它代表一个不可变、可分区、元素可并行计算的集合。1. 分区性（Partitioned）RDD由多个分区（Partition）组成，每个分区是数据集的一个子集。分区的数量决定了并行计算的粒度。RDD的分区信息由方法提供，分区器（Partitioner）决定了键值对RDD如何分区。// 获取RDD分区数量。
