Spark在集群上的安装配置操作

[木有ID]

[align=center]Spark:基于内存的数据分析框架，代替MR python java scala R 这几种都可以开发spark
4个功能
spark sql->hive
Spark streaming -->storm
Spark mlib-->机器学习
spark graphx--> 图形计算

spark的三种运行模式：
1.standlone--内置资源分配机制
2.spark on yarn --spark通过 yarn 分配资源
3.spark on mesos --spark通过 mesos 分配资源

spark下载地址：http://spark.apache.org/downloads.html

下好上传到虚拟机，解压安装重命名为 spark

在虚拟机中配置spark：
第一种模式：standlone--内置资源分配机制
conf下：
cp spark-env.sh.template spark-env-spark.sh （复制并重命名）
改1：
配置文件改：spark-env.sh
进入到这个文件后，i进入编辑模式，把下面的三行代码复制粘贴到这个文件里
export JAVA_HOME=/home/hadoop/apps/java
export SPARK_MASTER_IP=hadoop01
export SPARK_MASTER_PORT=7077
第一行是：hadoop下的java所在路径
第二行是：指定spark的Master所在节点（主机，这里hadoop01是主机映射名）
第三行是：指定spark端口号7077
改2：
conf下的slaves（配置worker）：
进入slaves直接添加如下
hadoop02
hadoop03
hadoop04 （从节点映射名）
这样一台机器就配置好了， 配置好一台机器之后，把这个spark文件发送给每个从节点一份就安装完成了。

----------------------------------------------------
下面是第二种模式：
spark on yarn --spark 通过 yarn 分配资源
同样的上传解压。
修改同样的配置文件spark-env.sh（没有的话cp spark-env.sh.template spark-env.sh）
改1：
进入spark-env.sh文件添加：
export JAVA_HOME=/home/hadoop/apps/java
export HADOOP_HOME=/home/hadoop/apps/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_LOCAL_DIRS=/home/hadoop/apps/spark
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
改2：
slaves 配置workers：
hadoop01 hadoop02 hadoop03

注：yarn 管理 只需要 配置一台主机 就可以了，不需要分发到各个从机
------------------------------------------------------
启动spark命令：
在spark/sbin下 -->./start-all.sh


-------------------------------------------------------
standlone模式下
启动spark-shell 命令（可以操作spark集群） ：
在 bin下 输入 ./spark-shell --master spark://hadoop01:7077 --executor-memory 1g --total-executor-cores 1

yarn模式下
使用yarn分配 启动命令 :在 spark根目录下输入 下列命令（相当于spark-shell）
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster --executor-memory 1G --num-executors 1 ./lib/spark-examples-* 100

[青松2]