spark streaming 重新启动Exception in thread "main" org.apache.spark.SparkException:

山上的太阳 2016-10-20 04:55:40

Exception in thread "main" org.apache.spark.SparkException: org.apache.spark.streaming.dstream.ShuffledDStream@3e491569 has not been initialized
有人说jar包重新编译后需要删掉checkpoint目录，但是我没有重新编译，我的运行方式是yarn-client方式，请问朋友们知道是什么原因吗

...全文

791 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

在运行sparkStreaming+kafka的时候报错 java io报错，如果broker-list的端口不对或者kafka服务端未启动，会遇到以下错误： Exception in thread "main" org.apache.spark.SparkException: java.nio.channels.ClosedChannelException at org.apach...

1、Operation category READ is not supported in state standby 2、配置spark.deploy.recoveryMode选项为ZOOKEEPER 3、多Master如何配置 4、No Space Left on the device（Shuffle临时文件过多） 5、java.lang.OutOfMemory, unable to crea...

程序一直运行正常，服务器异常kafka断开了一个broker，重新启动后抛出下面异常： 18/10/22 23:24:41 INFO YarnClientSchedulerBackend: Application application_1536983779148_0365 has started running. 18/10/22 23:24:41 INFO Utils: Successfu...

一.经验 1.Spark Streaming包含三种计算模式：nonstate .stateful .window 2.kafka可通过配置文件使用自带的zookeeper集群 3.Spark一切操作归根结底是对RDD的操作 4.部署Spark任务，不用拷贝整个架包，只需拷贝被修改的文件，然后在目标服务器上编译打包。 5.kafka的log.dirs不要设置成/tmp下的目录，貌似tmp...

项目要使用spark查询ElasticSearch中的数据。在使用spark时（创建spark context）出现这样一个错误： "D:\Program Files\Java\jdk1.8.0_221\bin\java.exe" "-javaagent:D:\Program Files\JB\apps\IDEA-U\ch-0\191.6707.61\lib\idea_rt.jar=62133:D...

1,270

社区成员

1,170

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章