11spark_scala_单机版本

zhchzh1000 2023-01-12 18:48:28

课时名称	课时知识点
11spark_scala_单机版本

...全文

261 回复打赏收藏举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

我的这篇博客是参照其他博客，我只是吧其中踩过的一些坑，详细写了一下，可以先看我的博客，然后具体的一些安装可以参照如下博客：安装spark和scala参照博客：https://blog.csdn.net/quiet_girl/article/details/75585709 配置IDEA参照博客：https://www.jianshu.com/p/a5258f2821fc 一定要先安装好你的...

在虚拟机上配置Scala和Spark准备阶段安装包配置文件scala部分spark部分spark初体验准备阶段一台配置好Java环境的虚拟机 scala-2.11.12.tgz spark-2.4.5-bin-hadoop2.6.tgz 安装包将scala和spark的安装包导入虚拟机解压，移动到opt目录下（或自定义），并改名 tar -zxvf scala-2.11.12.tgz -C /opt/ tar -zxvf spark-2.4.5-bin-hadoop2.6.tgz -C /opt/

1、安装jdk1.8、IDEA jdk和IDAE安装请自行百度 2、安装scala 下载地址：https://www.scala-lang.org/download/2.11.12.html 下载解压到D:\jdk\scala-2.11.12，并配置环境变量SCALA_HOME，在path下追加%SCALA_HOME%\bin 3、spark环境安装下载地址：ht...

前言关于Spark安装和使用以及Spark分布式集群环境搭建，请见参考内容1-4，这里就不作阐述了。步骤首先安装Scala插件，File->Settings->Plugins，搜索出Scla插件，点击Install安装； File->New Project->maven，新建一个Maven项目，填写GroupId和ArtifactId；编辑pom....

1 ，思路：去 maven 查看 2 ，网址： https://mvnrepository.com/artifact/org.apache.spark/spark-core 3 ，看到： 4 ，总结： 1 ，spark3.0 以后，不再支持 scala2.11 2 ，spark3.0 以后，只能用 scala2.12 5 ，题外话： 1 ，我刚才去 spark 官网查找对应关系，找了半天找不到，真心无语。 2 ，有些官网做的，真新挺不为便群众着想的。 3 ，如果不是有 maven 在，我可能还

张长志的课程社区_NO_1

1

社区成员

357

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章