Spark基础与编程模型

程序员研修院

企业官方账号

2023-01-12 15:15:07

课程名称	适应人群
Spark基础与编程模型	所有人

Spark基础与编程模型视频教程，该课程主要讲解Spark基础入门知识与编程模型，全面了解Spark各个知识点，为深入学习大数据相关知识打下基础。讲师介绍，陈超：七牛云技术总监，专注于分布式计算与机器学习相关领域，是国内早的Spark研究者与使用者之一。目前专注于 Spark平台的大数据处理，尤其精通Scala语言、Machine Learning、实时计算和图计算，并致力于将实践成果应用于大数据相关的业务和产品。

...全文

296 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

TopDstar 2015-12-03

打赏
举报

回复

喜欢这种实时的教学，可以学到最新的东西，谢谢老师

Learning Spark英文版，整理版，纠正其中的错误。只有前五章

Spark学习笔记[2]-Spark基本介绍与编程模型现在大数据领域两个用的比较多的计算框架应该是Spark和Flink，两个计算框架都想做批流整合，一统天下，但是现在比较多的还是使用Spark做批数据处理，使用Flink做流数据处理本文会对Spark做简单的介绍，着重介绍其编程模型，后续会有专门的Spark源码分析专题 1、从MapReduce说起 Spark在大流程上可以看成是对MapReduce的增强，用过MapReduce的人都知道，MapReduce是真的慢啊，MapReduce的

深入理解 RDD 之后，你需要熟悉 RDD 的编程模型。在 RDD 的编程模型中，开发者需要使用 Transformations 类算子，定义并描述数据形态的转换过程，然后调用 Actions 类算子，将计算结果收集起来、或是物化到磁盘。而延迟计算指的是，开发者调用的各类 Transformations 算子，并不会立即执行计算，当且仅当开发者调用 Actions 算子时，之前调用的转换算子才会付诸执行。

Spark的基础编程 Spark的一些基本概念 1.RDD：弹性分布式数据集，是分布式内存的一个抽象概念，提供了一种高度受限的共享内容模型，即RDD是只读的记录分区的集合，只能基于稳定的物理存储中的数据集来创建RDD，或者通过其它RDD上执行确定的转换操作（如map,join,group by）来创建，这些限制使得实现容错的开销很低。一个RDD 就是一个分布式对象集合，作为数据结构，RDD本质上是一个只读的分区记录集合，每个RDD可以分成多个分区，每个分区就是一个数据集片段，并且一个RDD的不同分区可以保

CSDN讲师的课程社区_NO_2

1

社区成员

34

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章