有没有人spark on yarn 模式，开发spark streaming

山上一棵松 2018-10-25 10:18:22

有人遇到过container be kill 吗？查看内存，显示堆外内存一直在增长。

...全文

141 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

山上一棵松 2018-10-25

打赏
举报

回复

网上查的解决方式是，关闭yarn 的虚拟内存检查和物理内存检查。这个的原理是，堆外内存到达最大值会执行gc ，但是为什么会一直增长呢

该文档来自于英特尔大数据首席架构师戴金权，在2014中国大数据技术大会大数据技术分论坛的演讲“基于Spark软件栈的下一代大数据分析”。

spark on yarn Spark on yarn：Spark 使用了 yarn 管理器。Spark 运行在 YARN 上时，不需要启动 Spark 集群，只需要启动 YARN 即可，YARN 的 ResourceManager 相当于 Spark Standalone 模式下的 Master。 spark中的两种模式（Cluster和Client） Cluster和Clien...

本文主要介绍spark standalone模式的作业迁移到spark on yarn上的一些操作。1、代码重新编译因为之前spark standalone项目使用的是spark 1.5.2版本，而现在的spark on yarn 使用的是spark 2.0.1，所以先需要对原来代码重新编译，建议使用maven构建项目，根据需要使用下面提供的pom.xml文件即可自动下载当前部署版本所需的jar包。

Client模式和Cluster模式最最本质的区别是： Driver程序运行在哪里。Client模式：学习测试时使用，生产不推荐(要用也可以,性能略低,稳定性略低)1.Driver运行在Client上,和集群的通信成本高2.Driver输出结果会在客户端显示Cluster模式：生产环境中使用该模式1.Driver程序在YARN集群中，和集群的通信成本低2.Driver输出结果不能在客户端显示。

1 启动方式执行命令./spark-shell --master yarn默认运行的是client模式。执行./spark-shell --master yarn-client或者./spark-shell --master yarn --deploy-mode client运行的也是client。执行./spark-shell --master yarn-cluster或者./spar...

1,270

社区成员

1,170

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章