怎么看出 spark 是单机模式还是集群模式呢？

poodle 2016-04-15 09:09:30

spark 新手请教各位大鸟。

在三台 ubuntu 服务器上安装了 spark，分别为 master、slave1 和 slave2。

运行 ./bin/run-example SparkPi 10 没问题，出了结果，但怎么知道这是在单机上运行的结果，还是在集群模式下的结果呢？在哪可以看到这是几台服务器分布计算的结果呢？

...全文

967 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

Jacky_chf 2016-04-17

打赏
举报

回复

默认下是本地部署

晚秋_梦依在 2016-04-17

打赏
举报

回复

集群模式下运行，必须有--master spark://Master:7077语句，而本地模式运行是local[N],具体执行流程可通过Web UI查看：master：8080

什么是单机模式？集群模式？单机模式：一般指的是单个节点，用户所请求或访问都是通过一台主机进行;优点：配置简单，协议简单，方便维护：缺点：并发不高、一般重启或宕机中会导致服务中断;集群模式：一般指的是通过负载均衡的组件将两台或两台以上搭建成一个集群方式，通过轮训或权重方式进行分配到具体的机器;优点：保障服务高可用，不中断服务，一台机器重启或宕机不会影响业务，可以通过心跳方式监听服务是否可用，进行转发...

2019独角兽企业重金招聘Python工程师标准>>> ...

Spark之本地模式与集群模式 1.spark-shell的本地模式和集群模式 1.1 local本地模式直接启动spark-shell命令窗口脚本启动后，会生成一个SparkContext的上下文对象sc。并且启动的是本地模式(local)。如图： 1.1.1 加载本地数据 sc.textFile("file:///home/hadoop/words.txt").fl...

部署Spark集群就两种方式，单机模式与集群模式单机模式就是为了方便开发者调试框架的运行环境。但是生产环境中，一般都是集群部署。现在Spark目前支持的部署模式：（1）Local模式：在本地部署单个Spark服务（2）Standalone模式：Spark自带的任务调度模式（3）Yarn模式：Spark使用Hadoop的YARN组件进行资源与任务调度。（4）Mesos模式：Spark使用Mesos平台进行资源与任务的调度。如果资源是当前节点提供的就是单机模式，

1,273

社区成员

1,171

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章