第二章：Spark SQL 综合实战

CSDN学习官方账号

博客专家认证

2018-08-10 02:23:03

第二章：Spark SQL 综合实战
第一节使用数据源01
第二节使用数据源02
第三节使用数据源03
第四节使用数据源04
第五节使用数据源05
第六节SparkSQL编程案例01
第七节SparkSQL编程案例02
第八节SparkSQL编程案例03
第九节性能优化

CSDN就业班
专注提供优质教学内容
相关链接：https://edu.csdn.net/course/detail/9101?utm_source=edu_bbs_autocreate

...全文

49 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

其实我是真性情 2018-08-14

打赏
举报

回复

是免费课程吗？

基于*的Spark2.2.X版本，分为内核解密篇，商业案例篇，性能调优篇，共31章，学习过程中有任何疑问，可加入群，有专业人员答疑解惑。目录上篇内核解密章电光石火间体验Spark 2.2开发实战... 2 1.1 通过RDD实战电影点评系统入门及源码阅读... 2 1.1.1 Spark核心概念图解... 2 1.1.2 通过RDD实战电影点评系统案例... 4 1.2 通过DataFrame和DataSet实战电影点评系统... 7 1.2.1 通过DataFrame实战电影点评系统案例... 7 1.2.2 通过DataSet实战电影点评系统案例... 1.3 Spark 2.2源码阅读环境搭建及源码阅读体验... 11 第2章 Spark2.2技术及原理... 14 2.1 Spark 2.2综述... 14 2.1.1 连续应用程序... 14 2.1.2 新的API 15 2.2 Spark 2.2 Core. 16 2.2.1 第二代Tungsten引擎... 16 2.2.2 SparkSession. 16 2.2.3 累加器API 17 2.3 Spark 2.2 SQL. 19 2.3.1 Spark SQL. 20 2.3.2 DataFrame和DatasetAPI 20 2.3.3 Timed Window.. 21 2.4 Spark 2.2 Streaming. 21 2.4.1 StructuredStreaming. 21 2.4.2 增量输出模式... 23 2.5 Spark 2.2 MLlib. 27 2.5.1 基于DataFrame的MachineLearning API 28

手把手视频详细讲解项目开发全过程，需要的小伙伴自行百度网盘下载，链接见附件，永久有效。课程简介知识点介绍、代码演示、逻辑分析、灵活举例、使用图形的方式详细演示代码的流程和细节、整合企业级实战案例，全面讲解并突出重点，让学习也变成一种快乐。课程亮点 1，知识体系完备，阶段学习者都能学有所获。 2，综合各种方式演示代码、分析逻辑，生动形象，化繁为简，讲解通俗易懂。 3，结合工作实践及分析应用，培养解决实际问题的能力。 4，使用综合案例来加强重点知识，用切实的应用场景提升编程能力，充分巩固各个知识点的应用。 5，整个课程的讲解思路是先提出问题，然后分析问题，并编程解决解题。适用人群 1、对大数据感兴趣的在校生及应届毕业生。 2、对目前职业有进一步提升要求，希望从事大数据行业高薪工作的在职人员。 3、对大数据行业感兴趣的相关人员。课程内容第一章、Spark 基础环境 1.课程安排说明 2.Spark 框架概述 3.快速入门 4.Standalone集群及HA 5.Spark 应用开发入门 6.Spark 应用提交 7.Spark on YARN 8.应用部署模式DeployMode 第二章、SparkCore 模块 1.RDD 概念及特性 2.RDD 创建 3.RDD 函数及使用 4.RDD 持久化 5.案例：SogouQ日志分析 6.RDD Checkpoint 7.外部数据源（HBase和MySQL） 8.广播变量和累加器 9.Spark 内核调度 10.Spark 并行度第三章、SparkSQL 模块 1.快速入门：词频统计 2.SparkSQL 概述 3.DataFrame 4.RDD与DataFrame转换 5.数据分析SQL和DSL 6.案例：电影评分数据分析 7.DataSet 8.外部数据源Exeternal DataSource 9.集成Hive 10.自定义函数UDF 11.分布式SQL引擎（spakr-sql和Spark ThriftServer） 12.Catalyst 优化器第四章、离线综合实战 1.综合实战概述（需求、调研、业务） 2.环境搭建（大数据环境和应用开发环境） 3.项目初始化（工具类和属性文件） 4.广告数据ETL 5.Spark 分布式缓存 6.业务报表分析 7.应用执行部署 8.Oozie和Hue集成调度Spark 应用第五章、SparkStreaming 模块 1.Streaming流式应用概述 2.Streaming 计算模式 3.SparkStreaming计算思路 4.入门案例 5.SparkStreaming工作原理 6.DStream及函数 7.集成Kafka 8.案例：百度搜索风云榜（实时ELT、窗口Window和状态State） 9.SparkStreaming Checkpoint 10.消费Kafka偏移量管理第六章、StructuredStreaming模块 1.StructuredStreaming 概述（核心设计和编程模型） 2.入门案例：WordCount 3.输入源InputSources 4.Streaming Query 设置 5.输出终端OutputSink 6.集成Kafka（Source和Sink） 7.案例：物联网设备数据分析 8.事件时间窗口分析 9.Streaming Deduplication数据去重 10.Continues Processing连续流处理第七章、实时综合实战 1.综合实战概述（需求、环境搭建和项目初始化） 2.模拟交易订单数据 3.数据实时ETL存储Kafka 4.实时应用停止 5.实时增量存储（存储HBase和Elasticsearch） 6.实时订单报表（Kafka-StructuredStreaming-Redis） 7.实时应用性能调优（数据本地性、反压机制、动态资源和日志管理）

手把手视频详细讲解项目开发全过程，需要的小伙伴自行百度网盘下载，链接见附件，永久有效。课程简介从零开始讲解大数据分布式计算的发展及Impala的应用场景，对比Hive、MapReduce、Spark等类似框架讲解内存式计算原理，基于Impala构建高性能交互式SQL分析平台课程亮点 1，知识体系完备，从小白到大神各阶段读者均能学有所获。 2，生动形象，化繁为简，讲解通俗易懂。 3，结合工作实践及分析应用，培养解决实际问题的能力。 4，每一块知识点, 都有配套案例, 学习不再迷茫。适用人群 1、对大数据感兴趣的在校生及应届毕业生。 2、对目前职业有进一步提升要求，希望从事大数据行业高薪工作的在职人员。 3、对大数据行业感兴趣的相关人员。课程内容第一章：内存式计算发展 1.分布式计算的发展 2.大数据分布式计算分类 3.Impala内存式计算诞生 第二章：Impala原理初探 1.Impala的设计思想 2.Impala与Hive之间的联系 3.Impala的分布式架构详解 4.Impala角色概念详解第三章：基于Cloudera镜像部署分布式Impala 1.基于CDH5.14构建本地Yum镜像 2.企业级分布式Impala部署 3.企业级配置与Hadoop集成 4.企业级配置与Hive集成 5.主从架构及元数据服务管理第四章：Impala企业实战开发案例 1.基于企业案例实现Impala集群管理 2.Impala最全SQL语法详解 3.实战开发Impala数据库与表管理 4.基于分析案例实现Impala数据管理 5.Impala与应用系统集成JDBC 第五章：Impala原理深入 1.Impala各角色功能详解 2.Impala任务提交原理 3.Impala元数据同步原理

第1章 javaSE（点播）第2章 SQL课程（点播）第3章开班典礼第4章 Hadoop环境安装课程（点播）第5章 scala语法（点播）第7章 Hadoop 第8章数据仓库hive 第9章 Hbase实战第10章大数据辅助框架第11章数据仓库第12章 Zookeeper及Hadoop高可用（录播）第13章数据仓库项目（点播）第14章 Scala函数式编程语言第15章 spark 计算框架第16章 sparkstreaming开发第17章深入浅出Kafka 第18章 spark源码（点播）第19章 Spark-MLlib（点播）第20章 spark_graphx课程（点播）第21章智慧出行第22章 Flink 第23章 hadoop源码二次开发（录播）第24章 JVM（录播）第25章 Redis课程（点播）第26章 JUC（点播）第27章 kafka源码剖析（点播）第28章用户画像第29章 Presto（点播）第30章 Druid（点播）第31章 kylin（点播）第32章大数据核心进阶之ELK （点播）。。。

下载资源悬赏专区

12,879

社区成员

12,430,023

社区内容

发帖

与我相关

我的任务

其他技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章