《【大数据分析Hadoop + Spark 】10分钟搭建Hadoop（伪分布式）+ Spark（Local模式）环境》https://blog.csdn.net/qq_56022768/article/details/125019523?utm-CSDN社区

Ì_t小白 2022-05-28 16:57:17

《【大数据分析Hadoop + Spark 】10分钟搭建Hadoop（伪分布式）+ Spark（Local模式）环境》https://blog.csdn.net/qq_56022768/article/details/125019523?utm_source=app&app_version=5.5.0

...全文

400 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

Spark伪分布式搭建教程(Standalone:Master+Slave) 分析： 1.配置好IP 2.修改好主机名 3.做好IP映射 4.关闭防火墙 5.安装好Java（请参考Linux-Java安装文档，如果已经安装可以忽略） 6.安装好Hadoop(请参考Hadoop伪分布式搭建或Hadoop完全分布式) 7.安装scala 8.配置SSH 9.配置伪分布式集群软件提取链接:https://pan.baidu.com/s/1oxBcv6xRavVtxmBPzEWHuQ 提取码:1000 1.IP配

由于大部分学生用的都是windows系统，而且博主也是windows系统，所以想在win10上安装Spark学习大数据分析，于是开始搜索相关的文章，通过亲自挖坑Spark学习发现大多博文都比较混乱（但是自己却学会了相关很多知识），结合实际情况博主认为大家有一下四类需求（因为博主比较熟悉Python，所以只分析Python语言版，至于Scala语言版可以查询相关文献资料）：（1）Win10下安装Spark（Python+Local版+非虚拟机版）：Local版即单机版，也就是说用户无需集群版（事实上，仅仅做

安装Spark 1 基础环境 Spark支持4种不同类型的部署方式，包括： Local模式：单机模式 Standalone模式：使用Spark自带的简单集群管理器 YARN模式：使用YARN作为集群管理器 Mesos模式：使用Mesos作为集群管理器 Spark可以独立安装使用，也可以和Hadoop一起安装使用。安装了Hadoop后，就可以让Spark使用HDFS存取数据。，不安装Hadoop，Spark只能访问本地文件系统数据。需要说明的是，当安装好Spark以后，里面就自带了scala环境，不需要额外安

一：Hadoop集群环境的搭建 hadoop集群环境的安装请参考我之前的博客：博客地址：https://blog.csdn.net/qq_37469055/article/details/84405238 二：scala环境的搭建 tar -zxvf scala-2.11.4.tgz 修改/etc/profile文件 export SCALA_HOME=/usr/local/had...

目录 1. 下载相关jar包 2. 启动一个flink local模式的集群 3.配置 Flink Interpreter 1. 下载相关jar包 flink-hadoop-compatibility flink v.1.12下载地址 https://repo1.maven.org/maven2/org/apache/flink/flink-hadoop-compatibility_2.11/1.12.0/ flink-shaded-hadoop-2-uber下载地址 https://r..

Oracle 高级技术

3,499

社区成员

18,709

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章