企业用spark一般提交应用用什么模式？

小羽Jary 2019-10-30 10:38:24

spark-submit 提交应用有模式yarn ，local ，Standalone,Mesos等模式，一般生产是用哪一种呢？

...全文

319 5 打赏收藏转发到动态举报

写回复

用AI写文章

5 条回复

切换为时间正序

请发表友善的回复…

发表回复

Therefore丶 2020-08-18

打赏
举报

一般快速调试用本地local，开发阶段和生产环境用的spark on yarn。开发环境和生产环境是分开的

jared456 2019-12-21

打赏
举报

我们开发阶段和上生产环境也都是用的 spark on yarn

小羽Jary 2019-11-02

打赏
举报

引用 2 楼怎么全部重名了的回复:

公司用yarn

我在测试从时候用yarn模式，获取资源的阶段(Accept阶段)很慢，不知道是什么原因

怎么全部重名了 2019-11-01

打赏
举报

公司用yarn

RivenDong 2019-10-30

打赏
举报

自己可以在本地测试，生产一般是用yarn

一.Spark执行机制 1.执行机制总览 Spark应用提交后经历一系列转变，最后成为task在各个节点上执行...Spark应用(application)是用户提交的应用程序，执行模式有Local，Standalone，YARN，Mesos。根据Application的Driver

跟踪以前的部署，您可以在部署新版本的应用程序之前使用“ kill”功能杀死以前的提交。特征支持自定义Spark配置选项。取消先前提交的文件-允许您在部署新版本之前自动取消最后提交的文件。无法在不成功的部署上...

Databricks参考应用在Databricks，我们正在开发一组参考应用程序，以演示如何使用Apache Spark。... 这些示例在批处理模式下使用Spark，涵盖了Spark SQL和Spark Streaming。 -此应用程序演示如何使用Spa

Spark中，所谓资源单位一般指的是executors，和Yarn中的Containers一样，在SparkOnYarn模式下，通常使用–num-executors来指定Application使用的executors数量，而–executor-memory和–executor-cores分别用来指定...

入门要运行此应用程序：配置输入输出路径以及 gtf 文件名：以独立模式启动 spark 1.2.1（为 Hadoop 2.4 构建）：打开一个 sbt 控制台： $ sbt 在要发送到 Spark 的 sbt 控制台程序集 jar 中： $组装使用 Spark ...

Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章