社区
Spark
帖子详情
spark ui中executors的storage memory一直在增长,是否正常?
book_reinforce
2017-07-05 05:20:03
如图所示,我发现不管我把executor的memory设成多少,最终还是会涨满,不知道是怎么回事,有谁能解释下吗?谢谢
...全文
515
1
打赏
收藏
spark ui中executors的storage memory一直在增长,是否正常?
如图所示,我发现不管我把executor的memory设成多少,最终还是会涨满,不知道是怎么回事,有谁能解释下吗?谢谢
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
1 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
Mn_H
2019-10-16
打赏
举报
回复
修改参数 spark.dynamicAllocation.enabled为false试一下
Spark
1.6内存管理(二) 实例讲解:
Spark
管理页面
中
S
tor
age
Memory
是如何计算的?
书接上文: https://blog.csdn.net/wisgood/article/details/78069753 本文主要讲解879.0MB是如何算出来的?
spark
用的是1.6版本。 对应程序的参数设置为
spark
-shell --
exec
u
tor
-
memory
1536M
S
tor
age
Memory
该页面显示的
S
tor
age
Memory
实际是上文...
s
tor
age
memory
是什么意思,如何计算得出的
但是查看GC日志发现,oldgen的内存大小是固定的,但是eden、from和to的大小是动态变化的。
s
tor
age
memory
,虽然名字看起来是存储内存的大小,但实际上由于
spark
1.6之后已经实现了统一内存管理(即执行内存和存储内存使用同一个统一内存),所以
s
tor
age
memory
实际上是统一内存的大小,是
spark
SQL
中
我们设置
spark
.
exec
u
tor
.
memory
和
spark
.
memory
.fraction,在jvm
中
能够被用来计算和存储的内存。可以说是一点都不差!
Spark
UI
超详细解释(5)——
Exec
u
tor
s
exec
u
tor
s页面展示了
exec
u
tor
和driver的一些统计信息和明细信息,汇总信息包括内存、磁盘、cpu的使用量,任务执行时间、GC时间,成功、失败、完成的task数量,以及输入输出的数据量等内容。需要注意的是,这个页面
中
显示的内存使用和
exec
u
tor
状态信息都是瞬时值,任务在执行过程
中
会
一直
变化,任务执行结束内存指标都会清零。
exec
u
tor
和driver并不是物理上的机器,而是宿主在机器上的跑在jvm上的进程,这点从address也可以看出(机器名+端口号)
spark
UI
告知已为存储内存分配了956.6 MB,是怎么计算的
spark
UI
告知已为存储内存分配了956.6 MB,是怎么计算的 参数设置为
spark
.driver.
memory
=2g web展示下过如下:
spark
1.6前后有两种不同的计算模型: 静态内存模型: 统一内存管理模型: 官方计算公式: 静态内存管理内存计算公式:
Exec
ution
Memory
= system
Memory
*
spark
.shuffle.
memory
Fraction*
spark
.shuffle.safetyFraction=
exec
u
tor
-
memory
*0.2*0.8
spark
的
UI
界面
[看图说话] 基于
Spark
UI
性能优化与调试——初级篇
Spark
有几种部署的模式,单机版、集群版等等,平时单机版在数据量不大的时候可以跟传统的java程序一样进行断电调试、但是在集群上调试就比较麻烦了...远程断点不太方便,只能通过Log的形式进行数据分析,利用
spark
ui
做性能调整和优化。 那么本篇就介绍下如何利用
Ui
做性能分析,因为本人的经验也不是
Spark
1,258
社区成员
1,168
社区内容
发帖
与我相关
我的任务
Spark
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
复制链接
扫一扫
分享
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章