spark小demo在集群中的流程

veryhehe2011 2016-04-27 03:32:16

一个spark的单词计数程序，如下

main（）{
val a = .....
val sparkConf = new SparkConf().....
val ssc = new StreamingContext...

//业务代码
.....
ssc.start()
ssc.awaitTermination()
}

它在集群中的流程是怎么样呢，
我的理解是：
a的赋值和ssc的初始化其实都只执行一次，而跟ssc有关的业务代码却是随ssc.awaitTermination()一次又一次执行的，是这样么

...全文

307 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

SparkDemo, spark示例代码，有一些生产实践 SparkDemo我们还提供了一些实际的案例，这些案例是对真实场景的抽象，展示了一个实际项目开发需要考虑的问题，这些案例经过了充分测试，读者完全可以在实际项目中参考。hadoop: 2.6.0火花：1.6.1集群的搭建方式

火花演示关于如何使用 Spark 的演示。该程序从本地文件系统（或 HDFS、S3）读取 GPX 格式的数据。 GPX 文件应包含 GPS 轨迹。读取轨道后，使用 Ramer Douglas Peucker 减少 [1] 减少每个轨道中的点数。在最后一步中，数据以 geoJson 格式保存在本地 mongo db 中。要构建项目，并创建一个具有外部依赖项的 jar，请运行： gradle 胖罐在创建 jar 之后，它可以在 Spark 集群之上执行。可以在此处找到有关如何运行 Spark 集群或独立应用程序的信息： : [1]

Spark 3.0.0 Application 提交给集群的原理和源码详解，内容包括Spark Application 到底是如何提交给集群的：Application 提交参数配置详解、Application 提交给集群原理详解、Application 提交给集群源码详解；...

此演示处理 Meetup.com RSVP 流并将结果存储在 Cassandra 中。此应用程序的主要目的是演示和 DSE 中的 Spark Streaming 功能。它产生两种类型的结果：每个国家/地区的与会者总数（自申请开始以来）。每 5 秒刷新一次。显示简单的流处理功能。最近 5 分钟内的热门聚会主题。每 10 秒刷新一次。显示窗口转换功能。包含 Web 仪表板以可视化这些结果：实时 RSVP 流可通过。流处理在本地启动流处理： git clone git@github.com:rstml/datastax-spark-streaming-demo.git cd datastax-spark-streaming-demo sbt assembly run 在 DSE 集群上部署 Spark 应用程序： dse spark-submit --c

word源码java 说明： yarn-client相当于是命令行会将你输入的代码提交到yarn上面执行 yarn-cluster是将你写好的程序打成jar包然后提交到yarn上面去执行然后yarn会将jar包分发到各个节点并负责资源分配和任务管理 rack: null) dead for group 错误参考： kafka server.properties 需要配置： listeners=PLAINTEXT://192.168.0.104:9092 ，不能够是PLAINTEXT://:9092 参考： spark on yarn 的支持两种模式 1）yarn-cluster：适用于生产环境； 2）yarn-client：适用于交互、调试，希望立即看到app的输出 spark on yarn 开发环境搭建: 集群规划：（不启动HA）主机名 IP 安装的软件运行的进程 c7 192.168.0.107 jdk、scala、hadoop、spark nameNode、ResourceManager、Master c8 192.168.0.108 jdk、sca

1,261

社区成员

1,169

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章