Spark零基础入门系列在线视频培训入口

仲浩 2015-12-08 08:55:59

Spark 是当前最流行的开源大数据内存计算框架，采用Scala语言实现，由UC 伯克利大学AMPLab实验室开发（2009）并于2010年开源，在2014年成为Apache基金会的顶级项目。2014年至2015年，Spark 经历了高速发展，Databricks 2015 Spark调查报告显示[1]：2014年9月至2015年9月，已经有超过600个Spark源码贡献者，而在此之前的12个月人数只有315 个，Spark超越Hadoop，无可争议地成为大数据领域内最活跃的开源项目。除此之外，已经有超过200个公司为Spark奉献过源代码，使 Spark社区成为迄今为止开发人员参与最多的社区。

本议题的目标是引导想从事大数据处理的IT人员进行Spark入门学习，主要内容包括Scala语言核心语法、Spark集群搭建及开发环境搭建、 Spark编程模型、Spark SQL、Spark Streaming、Spark MLlib及Spark Graphx。通过本议题，能够应用Scala进行Spark应用程序开发、掌握Spark的基本运行原理及编程模型，能够熟悉运用Spark SQL进行大数据仓库的开发，掌握Spark流式计算、Spark机器学习及图计算的原理。

培训嘉宾：周志湖，绿城集团数据中心数据库工程师/管理员。

嘉宾介绍：电子科技大学计算机软件与理论硕士研究生，研究方向为计算机视觉、机器学习，毕业后先后供职于宁波银行、中共浙江省委党校，目前就职于绿城集团，担任数据中心平台架构师、数据开发主管。Scala语言、Hadoop及Spark大数据处理技术爱好者。

议题提纲（已完成到紫色章节，入口稍后会链接到每个议题，预计发布时间12.14）

Scala篇

1. Scala基本数据类型及程序控制结构。讲解Scala基本数据类型，对其中的程序控制结构特别是for循环的使用进行详细介绍。
2. Scala集合操作。对Array、List、Map等重要数据结构的操作进行介绍。
3. Scala函数。内容包括函数字面量、函数闭包、高阶函数、偏函数及集合常见高阶函数等。
4. Scala 类和对象。介绍Scala面向对象编程，包括类的定义、伴生对象、伴生类、应用程序对象、类的继承等。
5. Scala 模式匹配。内容包括模式匹配的作用、模式匹配的类型、模式匹配在for循环、正则表达式中的应用、模式匹配与Case Class。
6. Scala类型参数。对Scala中的类型变量界定、协变与逆变等进行介绍。
7. Scala 隐式转换。内容包括隐式转换函数、隐式类、隐式对象、视图界定及上正文界定中的隐式转换等。
8. Scala高级类型。对Scala中的单例类型、抽象类型等进行介绍。

Spark篇

1.Spark集群部署及开发环境搭建。内容包括Hadoop集群、Spark集群搭建，Intellij IDEA Spark开发环境搭建, Spark Shell的使用等。
2.Spark 运行原理。内容包括spark脚本文件解析、Spark 几种不同运行方式、RDD原理、宽依赖与窄依赖、Spark 任务调度等。
3.Spark 编程模型，介绍Spark编程模型、对常用的transformation及action操作进行介绍。
4.Spark SQL与DataFrame，介绍Ｓpark SQL 及ＤataFrame的运行原理及使用方法，利用案例介绍Spark SQL的使用。
5.Spark 流式计算。介绍DStream、Spark Streaming原理，并通过几个案例说明其使用。
6.Spark 机器学习。介绍Spark MLlib架构，通过K-Mean算法、随机森林等算法说明Spark MLlib的使用。
7.Spark Graphx。介绍Spark图计算及相关数据结构，用PageRank算法说明其使用。

进阶课程——TBD ……

...全文