spark项目运行，提示无法删除C:/userPaht/AppData/local/Temp/下的文件

qq_37552864 2017-02-17 10:06:58

17/02/17 09:04:50 ERROR ShutdownHookManager: Exception while deleting Spark temp dir: C:\U
sers\tend\AppData\Local\Temp\spark-70484fc4-167d-48fa-a8f6-54db9752402e\userFiles-27a65cc7
-817f-4476-a2a2-58967d7b6cc1
java.io.IOException: Failed to delete: C:\Users\tend\AppData\Local\Temp\spark-70484fc4-167
d-48fa-a8f6-54db9752402e\userFiles-27a65cc7-817f-4476-a2a2-58967d7b6cc1
at org.apache.spark.util.Utils$.deleteRecursively(Utils.scala:1010)
at org.apache.spark.util.ShutdownHookManager$$anonfun$1$$anonfun$apply$mcV$sp$3.ap
ply(ShutdownHookManager.scala:65)
at org.apache.spark.util.ShutdownHookManager$$anonfun$1$$anonfun$apply$mcV$sp$3.ap
ply(ShutdownHookManager.scala:62)
at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33
)
at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:186)
at org.apache.spark.util.ShutdownHookManager$$anonfun$1.apply$mcV$sp(ShutdownHookM
anager.scala:62)
at org.apache.spark.util.SparkShutdownHook.run(ShutdownHookManager.scala:216)
at org.apache.spark.util.SparkShutdownHookManager$$anonfun$runAll$1$$anonfun$apply
$mcV$sp$1.apply$mcV$sp(ShutdownHookManager.scala:188)
at org.apache.spark.util.SparkShutdownHookManager$$anonfun$runAll$1$$anonfun$apply
$mcV$sp$1.apply(ShutdownHookManager.scala:188)
at org.apache.spark.util.SparkShutdownHookManager$$anonfun$runAll$1$$anonfun$apply
$mcV$sp$1.apply(ShutdownHookManager.scala:188)
at org.apache.spark.util.Utils$.logUncaughtExceptions(Utils.scala:1951)
at org.apache.spark.util.SparkShutdownHookManager$$anonfun$runAll$1.apply$mcV$sp(S
hutdownHookManager.scala:188)
at org.apache.spark.util.SparkShutdownHookManager$$anonfun$runAll$1.apply(Shutdown
HookManager.scala:188)
at org.apache.spark.util.SparkShutdownHookManager$$anonfun$runAll$1.apply(Shutdown
HookManager.scala:188)
at scala.util.Try$.apply(Try.scala:192)
at org.apache.spark.util.SparkShutdownHookManager.runAll(ShutdownHookManager.scala
:188)
at org.apache.spark.util.SparkShutdownHookManager$$anon$2.run(ShutdownHookManager.
scala:178)
at org.apache.hadoop.util.ShutdownHookManager$1.run(ShutdownHookManager.java:54)

...全文

5189 6 打赏收藏转发到动态举报

写回复

6 条回复

切换为时间正序

请发表友善的回复…

发表回复

weixin_43298663 2018-09-28

打赏
举报

回复

必须支持了啊

时间_实践 2018-09-27

打赏
举报

回复

你可以尝试一下把获取到的数据线cache().

Leon_liuqinburen 2018-08-10

打赏
举报

回复

根据地址看了下，的确没有删除，需要人工手动删除。。。

gnn_explorer 2018-06-15

打赏
举报

回复

这个是无法避免的。

LHaner 2017-05-10

打赏
举报

回复

楼主是否解决了这个问题？

hitkang 2017-02-21

打赏
举报

回复

目前spark在windows系统下存在这个问题。不想看的话，就把log4j.properties中log的level设置为FATAL吧。

Scala基础入门教程，解析Scala集合操作，通过本课程的学习，能够应用Scala进行Spark应用程序开发、掌握Spark的基本运行原理及编程模型，能够熟悉运用Spark SQL进行大数据仓库的开发，掌握Spark流式计算、Spark机器学习及图计算的原理。讲师介绍：周志湖，电子科技大学计算机软件与理论硕士研究生，研究方向为计算机视觉、机器学习，毕业后先后供职于宁波银行、中共浙江省委党校，目前就职于绿城集团，担任数据中心平台架构师、数据开发主管。Scala语言、Hadoop及Spark大数据处理技术爱好者。

ERROR StreamMetadata: Error writing stream metadata StreamMetadata IOException: Mkdirs failed to create C:/Users/sunxiaochuan/AppData/Local/Temp/************* 不知道还有没有小伙伴遇到我这种错误,因为这个问遍了天下无敌手,没有一人能敌,最终...

一、问题在win10，local模式执行完spark任务后不论是否可以执行出结果，都会报错： Failed to delete: C:\Users\lvacz\AppData\Local\Temp\spark-7921735f-07fa-45db-875e-5a6440eb7e79 部分日志： 21/05/26 13:01:34 WARN SparkEnv: Exception while deleting Spark temp dir: C:\Users\lvacz\AppData\Local\Temp

Exception in thread "main" java.lang.IllegalArgumentException: Pathname /C:/Users/18870/AppData/Local/Temp/temporary-acc01e20-1ddb-4bfb-bb81-89c2657e97e5 from C:/Users/18870/AppData/Local/Temp/temporary-acc01e20-1ddb-4bfb-bb81-89c2657e97e5 is not a valid D

首先确保本地hadoop环境正常运行环境：spark 3.0.2 | hdfs 3.1.1 | kafka 2.0.0 问题描述：执行idea sss读取kafka报错如下 Exception in thread "main" java.lang.IllegalArgumentException: Pathname /C:/Users/LZX/AppData/Local/Temp/temporary-e832fafa-8da6-4250-bdc7-31b91d9be96e from hdfs://xx

1,258

社区成员

1,168

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章