spark yarn cluster模式下hadoop.tmp.dir指定目录磁盘99%，导致spark任务无法正常运行

Leon232 2022-05-05 12:25:53

spark yarn cluster模式下hadoop.tmp.dir指定目录磁盘99%，导致spark任务无法正常运行，请问这种情况怎么处理？

磁盘情况：

/data/apps/hadoop-3.2.2/data/tmp磁盘占用情况，基本都被这个目录占用了

配置情况：

hadoop下的core-site.xml配置如下

hadoop下的hdfs-site.xml配置如下

...全文

201 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

课程的主要内容包括： 1.ZooKeeper-分布式过程协同组件2.Hadoop3-大数据基础组件3.Tez-Yarn底层计算引擎4.Hive3-大数据仓库5.Spark2实时大数据处理6.Oozie5-大数据流程引擎课程特点： 1.最新API: Hadoop3/Spark2/Hive3/Oozie52.手工搭建集群环境:编译+搭建3.配套资源:分阶段镜像+课件+安装资源，其中安装资源包括案例源码、脚本等4.案例为主:分模块案例+天池数据分析竞赛5.故障教学6.完整实战项目:天池数据分析

spark yarn2.spark application载入yarn的方式3.— —master说明4.载入集群的命令5.注意事项6.准备工作确保HADOOP_CONF_DIR或YARN_CONF_DIR指向包含Hadoop集群(客户端)配置文件的目录。这些配置用于写HDFS和连接YARN ResourceManager。该目录中包含的配置将被分发到YARN集群，以便应用程序使用的所有容器都使用相同的配置。如果配置引用Java系统属性或不受YARN管理的环境变量，它们也应该在Spark应用程序的配置中进

在YARN上运行Spark 安全在YARN上启动Spark 添加其他JAR 准备工作组态调试您的应用程序 Spark特性重要笔记的Kerberos YARN特定的Kerberos配置 Kerberos故障排除配置外部随机播放服务使用Apache Oozie启动您的应用程序使用Spark History Server替换Spark Web U...

默认实现是 org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback, 若是JNI有效，它将发挥做用，使用Hadoop的API去获取user的groups列表。在有些场景下，特别是对一些大的，而且不可能重用的数据，缓存在操做系统的缓存区是无用的。可使用8进制数字也可使用符号，例如："022" (8进制，等同于以符号表示的u=rwx,g=r-x,o=r-x)，或者"u=rwx,g=rwx,o="(符号法，等同于8进制的007)。

昨天，在执行spark-sql时，查询数据量超过1000万行，数据量大小7.6G，出现系统盘占用突然变高的情况，Job任务在运行过程中产生大量的临时目录位置，导致某个分区磁盘写满，主要原因spark运行产生临时目录的默认路径/tmp/spark检查为 /tmp 目录下，spark生成的临时目录占用了大量的硬盘空间，生成的spark临时文件总共超过19了。解决方案为：1、删除 /tmp/spark*...

1,261

社区成员

1,169

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章