spark 持续运行中executor的内存泄漏问题

BigBangBug 2019-01-17 04:46:01

最近有个任务是持续轮询的将redis的数据写入hdfs，对spark的调用就是简单的一句 spark sql insert table xxxx
spark版本 2.3.2 ，driver（16g）， 7 executor（8g）
但就是这个简单任务发现executor的内存不断上升（driver不会，rss已到5G），但看jvm却一点问题没有，以下是通过vjtools的vjtop监控截屏，初步怀疑是Netty的堆外内存导致的，但不知要如何设置才能避免这种问题？

运行一天，内存不断上升，swap也开始使用了，等swap用完估计executor就会dead了

...全文

437 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

Moody丶 2021-08-15

打赏
举报

回复

卧槽，我也是，sparkstreaming进程dump下来的日志越来越大，运行一天后直接崩溃。。。只能靠脚本重启

xxbb339 2019-04-25

打赏
举报

回复

（1）持续轮询是无限死循环？？还是外部调度spark程序？读取很快，写入比较慢，或者文件多而小，导致拥堵，一直堆积，内存持续上升，去观察观察spark的stage.

夕阳不近人 2019-01-18

打赏
举报

回复

我也碰到过，没解决，只能写个脚本每天半夜重启一次，等大牛解答。

本文主要对 Executor 的内存管理进行分析，下文中的 Spark 内存均特指 Executor 的内存堆内内存和堆外内存作为一个 JVM 进程，Executor 的内存管理建立在 JVM 的内存管理之上，此外spark还引入了堆外内存（不在JVM中的内存），在spark中是指不属于该executor的内存。堆内内存：由 JVM 控制，由GC（垃圾回收）进行内存回收，堆内内存的大小，由 Spark 应用程序启动时的 executor-memory 或 spark.executor.memory 参

问题定位：引擎里有一处代码detectDf.persist（detectDf为DataFrame），后续回收动作用的代码为 val rdds = sc.getPersistentRDDs rdds.foreach(x => x._2.unpersist())分析： 1.DataFrame跟RDD相比，就是多了schema部分； DataFrame=RDD+schema 2.根据前几天堆内存的分析，schema是会放一份在driver端的 3.代码，只unpersist了RDD，那么schema部分就一直在

Spark 内存管理模型详解

Spark 内存管理堆内内存和堆外内存作为一个 JVM 进程，Executor 的内存管理建立在 JVM(最小为六十四分之一，最大为四分之一)的内存管理之上，此外spark还引入了堆外内存（不在JVM中的内存），在spark中是指不属于该executor的内存。堆内内存：由 JVM 控制，由GC（垃圾回收）进行内存回收，堆内内存的大小，由 Spark 应用程序启动时的 executor-memory 或 spark.executor.memory 参数配置，这些配置在 spark-env.sh 配置文

一个spark streaming应用executor所耗内存随着时间的增长一直在增加，直到executor内存不足导致应用异常终止，单从代码层面上还无法定位到内存泄漏的位置。因此可通过监控executor进程内存，获取内存变化情况。这里使用java自带的jmc(java mission control)工具来监控进程。一、使用JMC工具监控executor进程（一）executor和dri...

1,261

社区成员

1,169

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章