《【大数据分析Hadoop + Spark 】10分钟搭建Hadoop（伪分布式）+ Spark（Local模式）环境》https://blog.csdn.net/qq_56022768/article/details/125019523?utm-CSDN社区

Ì_t小白 2022-05-28 17:01:15

《【大数据分析Hadoop + Spark 】10分钟搭建Hadoop（伪分布式）+ Spark（Local模式）环境》https://blog.csdn.net/qq_56022768/article/details/125019523?utm_source=app&app_version=5.5.0

...全文

132 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

一、实验目的 1．理解Spark编程思想； 2．学会在Spark Shell中编写Scala程序； 3．学会在Spark Shell中运行Scala程序。二、实验环境 Windows 10 VMware Workstation Pro虚拟机 Hadoop环境 Jdk1.8 三、实验内容（一）Spark基础知识（1）输入start-all.sh启动hadoop相应进程和相关的端口号（2）启动Spark分布式集群并查看信息（3）网页端查看集群信息（4）启动spark-shell控制台 1：local模式启动 2：登录master服务器，在集群模式下启动（5）访问http://localhost:4040可以看到spark web界面（6）从本地文件系统中加载数据（7）从分布式文件系统HDFS中加载数据（8）可以调用SparkContext的parallelize方法，在Driver中一个已经存在的数组上创建RDD。（9）可以调用SparkContext的parallelize方法，在Drive （二）spark运行wordcount程序

【大数据分析Hadoop + Spark 】10分钟搭建Hadoop（伪分布式 ）+ Spark（Local模式）环境

文章目录Hadoop（伪分布）+ Spark（Local）软件安装及环境配置前言一、安装虚拟机1.下载Ubuntu16.04镜像二、Hadoop安装及配置（伪分布式）1.创建hadoop用户2.更新apt3.安装SSH、配置SSH无密码登陆4.安装Java环境5.安装Hadoop3.1.36.Hadoop伪分布式配置三、安装 Spark2.4.01.下载Spark2.4.02.安装Spark（Local模式）3.启动Spark Shell4.退出Spark Shell总结 Hadoop（伪分布）+ Spar

一、安装Hadoop 二、安装Spark

Hadoop+Spark+Flink+Zookeeper+Kafka+Hbase+Hive完全分布式高可用集群搭建

hacker社区(带你学Python)

121,292

社区成员

30,245

社区内容

发帖

与我相关

我的任务

后端python 个人社区

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

人生苦短，我用Python

试试用AI创作助手写篇文章吧

+ 用AI写文章