怎么看出 spark 是单机模式还是集群模式呢？

poodle 2016-04-15 09:09:30
spark 新手请教各位大鸟。

在三台 ubuntu 服务器上安装了 spark，分别为 master、slave1 和 slave2。

运行 ./bin/run-example SparkPi 10 没问题，出了结果，但怎么知道这是在单机上运行的结果，还是在集群模式下的结果呢？在哪可以看到这是几台服务器分布计算的结果呢？
...全文
960 2 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
Jacky_chf 2016-04-17
  • 打赏
  • 举报
 回复
默认下是本地部署
晚秋_梦依在 2016-04-17
  • 打赏
  • 举报
 回复
集群模式下运行，必须有--master spark://Master:7077语句，而本地模式运行是local[N],具体执行流程可通过Web UI查看：master：8080
单机模式与集群模式的区别？
集群模式？单机模式：一般指的是单个节点，用户所请求或访问都是通过一台主机进行;优点：配置简单，协议简单，方便维护：缺点：并发不高、一般重启或宕机中会导致服务中断;集群模式：一般指的是通过负载均衡的组件将...
spark单机模式 和 集群模式 安装
1.spark单机模式安装 实现步骤： 1）安装和配置好JDK 2）上传和解压Spark安装包 3）进入Spark安装目录下的conf目录 复制conf spark-env.sh.template 文件为 spark-env.sh 在其中修改，增加如下...
Spark单机模式以及集群模式的安装
Spark单机模式安装 Spark集群模式安装 Spark高可用集群模式安装 Spark单机模式安装 准备工作： 安装JDK 上传spark安装包 [root@lj01 software]# tar -xvf spark-2.0.1-bin-hadoop2.7.tgz //解压 [root@lj01 ...
Spark之本地模式与集群模式
Spark之本地模式与集群模式 1.spark-shell的本地模式和集群模式 1.1 local本地模式 直接启动spark-shell命令窗口 脚本启动后，会生成一个SparkContext的上下文对象sc。并且启动的是本地模式(local)。如图： ...
Spark两种运行模式与部署
部署Spark集群就两种方式，单机模式与集群模式单机模式就是为了方便开发者调试框架的运行环境。但是生产环境中，一般都是集群部署。现在Spark目前支持的部署模式：（1）Local模式：在本地部署单个Spark服务（2）...
Spark

1,270

社区成员

1,170

社区内容

发帖
与我相关
我的任务
社区描述
Spark由Scala写成，是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章