spark大数据分析与实战

IT spreader 2023-01-13 02:45:40

课程名称	适应人群
spark大数据分析与实战	想从事spark开发的程序员，具备一定的编程语言基础

本课程总计9大章节，52课时，内容为大数据领域使用广泛spark框架。本课程完整地涵盖了scala语言、spark核心数据结构RDD、spark对结构化数据的处理、HBase分布式数据库、kafka分布式发布订阅消息系统、saprk streaming实时计算框架、spark MLlib机器学习库，最后通过完整的spark实时计算案例将课程的知识点串联进行实践，众所周知，大数据学习过程中，环境部署是一大难点，极容易发生错误，本课程创造性地利用部分脚本，极大地降低了安装环节所遇到的问题。

...全文

3079 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

永远Kennedy 2021-06-21

打赏
举报

回复

请老师分享课件和笔记

包括：《Spark大数据处理：技术、应用与性能优》《Spark大数据处理技术》《Spark高级数据分析》《Spark快速数据处理_中文版》《大数据Spark企业级实战》《Spark 编程指南》方便大家共同学习

推荐系统源码

Spark大数据分析与实战：基于Spark MLlib 实现音乐推荐基于Spark MLlib 实现音乐推荐一、实验背景：熟悉 Audioscrobbler 数据集基于该数据集选择合适的 MLlib 库算法进行数据处理进行音乐推荐（或用户推荐）二、实验目的：计算AUC评分最高的参数利用AUC评分最高的参数，给用户推荐艺术家对多个用户进行艺术家推荐利用AUC评分最高的参数，给艺术家推荐喜欢他的用户三、实验步骤：安装Hadoop和Spark 启动Hadoop与Spark 将文件上传到

Spark大数据分析与实战：基于Spark框架实现TopN 基于Spark框架实现TopN 一、实验背景：基于Spark框架实现TopN 二、实验目的：获取蜀国武将中武力值最高的5位，即通过分布式计算框架实现从原始数据查询出武力最高的Top5 三、实验步骤：启动 hadoop 创建 rank.txt 文件将 rank.txt 文件上传到 HDFS 上实现TopN计算查看 HDFS 上的结果四、实验过程： 1、启动 hadoop Shell命令： [root@master ~]# cd /

Spark大数据分析与实战：RDD编程初级实践一、安装Hadoop和Spark 具体的安装过程在我以前的博客里面有，大家可以通过以下链接进入操作 Linux基础环境搭建（CentOS7）- 安装Hadoop Linux基础环境搭建（CentOS7）- 安装Scala和Spark 二、启动Hadoop与Spark 查看3个节点的进程 master slave1 slave2 Spark shell命令界面与端口页面三、spark-shell交互式编程请到教程官网的“下载专区”的“数据集”中下载c

盛健华的课程社区_NO_1

1

社区成员

253

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章