spark yarn-client 方式 作业提交异常

kasoula 2016-09-23 02:32:28
最近在研究用spark-yarn的工具(org.apache.spark.deploy.yarn.Client)提交app到yarn上面,作业提交失败。
查看一下yarn的日志目录,发现没有应用日志。然后在RM的服务日志里看到以下异常。


Application application_1474421667416_0032 failed 2 times due to AM Container for appattempt_1474421667416_0032_000002 exited with exitCode: -1000
For more detailed output, check application tracking page:http://node1:8088/proxy/application_1474421667416_0032/Then, click on links to logs of each attempt.
Diagnostics: File file:/tmp/spark-b07d1992-5a04-42f9-ada8-f22d27e68379/__spark_conf__5376565359242915988.zip does not exist
java.io.FileNotFoundException: File file:/tmp/spark-b07d1992-5a04-42f9-ada8-f22d27e68379/__spark_conf__5376565359242915988.zip does not exist
at org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:542)
at org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:755)
at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:532)
at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:425)
at org.apache.hadoop.yarn.util.FSDownload.copy(FSDownload.java:251)
at org.apache.hadoop.yarn.util.FSDownload.access$000(FSDownload.java:61)
at org.apache.hadoop.yarn.util.FSDownload$2.run(FSDownload.java:359)
at org.apache.hadoop.yarn.util.FSDownload$2.run(FSDownload.java:357)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1693)
at org.apache.hadoop.yarn.util.FSDownload.call(FSDownload.java:356)
at org.apache.hadoop.yarn.util.FSDownload.call(FSDownload.java:60)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)
Failing this attempt. Failing the application.


感觉application master启动失败了,所以后续的工作都没有进行。
求大神赐给我一个原因和解决方法。
阿门!
...全文
682 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
家里敷泥呀 2016-09-23
  • 打赏
  • 举报
回复
For more detailed output, check application tracking page:http://node1:8088/proxy/application_1474421667416_0032/Then, click on links to logs of each attempt. // 详情请点击上述连接 Diagnostics: File file:/tmp/spark-b07d1992-5a04-42f9-a da8-f22d27e68379/__spark_conf__5376565359242915988.zip does not exist // 这个临时文件不存在,分析一下这是个什么文件(spark_conf,配置文件?),为什么不存在。

67,513

社区成员

发帖
与我相关
我的任务
社区描述
J2EE只是Java企业应用。我们需要一个跨J2SE/WEB/EJB的微容器,保护我们的业务核心组件(中间件),以延续它的生命力,而不是依赖J2SE/J2EE版本。
社区管理员
  • Java EE
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧