PySpark Action-上

余海峰 2023-01-13 01:11:22

课时名称	课时知识点
PySpark Action-上	PySpark Action-上

...全文

85 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

3. **Transformation 和 Action**：PySpark 应用程序通过定义一系列的转换（Transformation）和动作（Action）来构建计算逻辑，转换是延迟执行的，而动作触发实际计算。 4. **Broadcast 变量和 Accumulator**：...

PySpark_Day07：UDF and Action 本节课程主要讲解了 PySpark 的基本概念、UDF 和 Action 的应用，以及 SparkSQL 模块的结构化数据处理分析模块。首先，PySpark 是 Python API 用于 Spark 的开发，Spark 是一个...

- **内部工作机制**: RDD是只读的分区数据集，通过转换操作（Transformation）来创建新的RDD，并通过动作操作（Action）触发实际的计算。 - **创建RDD**: 可以通过文本文件、集合、其他RDD等方式创建。 - **Schema**...

- **定义**：RDD是一种只读的数据结构，它分布在集群的不同节点上。 - **特性**： - 每个RDD都包含多个分区，每个分区都可以独立计算。 - RDD支持两种类型的操作：转换（Transformation）和行动（Action）。 - ...

PySpark提供了丰富的操作，包括Action操作和Transformation操作，以及对RDD的缓存操作和共享变量功能。数据处理方面，PySpark支持包括数据收集、数据存储和数据处理在内的全过程数据操作。这使得PySpark在处理大...

余海峰的课程社区_NO_1

1

社区成员

169

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章