关于MASTER=spark://SparkMaster:7077 ./spark-shell问题

[小白鸽]

在运行MASTER=spark://SparkMaster:7077 ./spark-shell时候

出现scala了，但是后面紧接着出现了。

14/11/25 06:02:08 WARN client.AppClient$ClientActor: Could not connect to akka.tcp://sparkMaster@SparkMaster:7070: akka.remote.EndpointAssociationException: Association failed with [akka.tcp://sparkMaster@SparkMaster:7070]
14/11/25 06:02:08 WARN client.AppClient$ClientActor: Could not connect to akka.tcp://sparkMaster@SparkMaster:7070: akka.remote.EndpointAssociationException: Association failed with [akka.tcp://sparkMaster@SparkMaster:7070]
14/11/25 06:02:28 ERROR cluster.SparkDeploySchedulerBackend: Application has been killed. Reason: All masters are unresponsive! Giving up.
14/11/25 06:02:28 ERROR scheduler.TaskSchedulerImpl: Exiting due to error from cluster scheduler: All masters are unresponsive! Giving up.

在错误日志中发现

14/11/25 21:51:40 ERROR remote.EndpointWriter: AssociationError [akka.tcp://sparkMaster@SparkMaster:7077] -> [akka.tcp://spark@SparkMaster:34726]: Error [Association failed with [akka.tcp://spark@SparkMaster:34726]] [
akka.remote.EndpointAssociationException: Association failed with [akka.tcp://spark@SparkMaster:34726]
Caused by: akka.remote.transport.netty.NettyTransport$$anonfun$associate$1$$anon$2: Connection refused: SparkMaster/192.168.64.129:34726
]这条语句
也不知道到底怎么弄。

然后我对比和别人的运行，我的是akka.tcp://sparkMaster@SparkMaster:7070:
而别人是akka.tcp://spark@SparkMaster:7070:配置都一样，是不是这个原因。


比较有意思的是，如果直接在bin文件夹下启动spark shell，倒能运行成功。

然后我把MASTER=spark://SparkMaster:7077 ./spark-shell中的SparkMaster直接改成主节点Ip，倒不出现14/11/25 06:02:08 WARN client.AppClient$ClientActor: Could not connect to akka.tcp://sparkMaster@SparkMaster:7070: akka.remote.EndpointAssociationException: Association failed with [akka.tcp://sparkMaster@SparkMaster:7070]这句话了，还是出现14/11/25 06:02:28 ERROR scheduler.TaskSchedulerImpl: Exiting due to error from cluster scheduler: All masters are unresponsive! Giving up.错误。

[人生偌只如初见]

spark-env.sh文件中export SPARK_MASTER_IP 配置的是master的IP吗？

[小白鸽]

引用 1 楼 wulinshishen 的回复:

spark-env.sh文件中export SPARK_MASTER_IP 配置的是master的IP吗？

我在spark-env.sh中设置SPARK_MASTER_IP =SparkMaster 然后在hosts中设置xxx.xxx.xx.xx SparkMaser hostname中设置SparkMaster.应该是master的ip没什么问题。 如果在bin启动spark shell ，然后跑wordcount程序没什么问题的。 就是MASTER=spark://SparkMaster:7077 ./spark-shell时候，成功启动了shell，紧接着出现了那些异常就自动退出shell了。

[人生偌只如初见]

挺怪异，我试了一下master=spark://centos.host1:7077 ./spark-shell 没有问题。楼主把MASTER改成小写试试，服务重启在执行试试。

[小白鸽]

引用 3 楼 wulinshishen 的回复:

挺怪异，我试了一下master=spark://centos.host1:7077 ./spark-shell 没有问题。楼主把MASTER改成小写试试，服务重启在执行试试。

好吧，你赢了。果然用master小写就没问题。原因有点蛋疼。。。

[cughuhao]

到底是大写还是小写，应该取决于你的/etc/hostname里面是怎么写的吧

[sysuhu]

请问我的是这样的问题，该如何解决啊？求指教，::>_<:: WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory ERROR SparkDeploySchedulerBackend: Application has been killed. Reason: All masters are unresponsive! Giving up.

[zhouyanligong]

@baifanwudi master=spark://centos.host1:7077是写在spark-env.sh文件里面吗？

[小白鸽]

@zhouyanligong 在终端中，敲的命令。不是文件配置中

[zhenmie366]

好搞笑，我都是将MASTER改为master就行了。

[晚秋_梦依在]

引用 4 楼 baifanwudi 的回复:

[quote=引用 3 楼 wulinshishen 的回复:] 挺怪异，我试了一下master=spark://centos.host1:7077 ./spark-shell 没有问题。楼主把MASTER改成小写试试，服务重启在执行试试。

好吧，你赢了。果然用master小写就没问题。原因有点蛋疼。。。[/quote] 请问楼主，你的spark-env.sh是怎么配置的？

[晚秋_梦依在]

引用 3 楼 wulinshishen 的回复:

挺怪异，我试了一下master=spark://centos.host1:7077 ./spark-shell 没有问题。楼主把MASTER改成小写试试，服务重启在执行试试。

为什么我的还是错误呢？我尝试了master=spark://Master:7077 ./spark-shell和Master=spark://Master:7077都是和楼主同样的错误呢？

[晚秋_梦依在]

引用 4 楼 baifanwudi 的回复:

[quote=引用 3 楼 wulinshishen 的回复:] 挺怪异，我试了一下master=spark://centos.host1:7077 ./spark-shell 没有问题。楼主把MASTER改成小写试试，服务重启在执行试试。

好吧，你赢了。果然用master小写就没问题。原因有点蛋疼。。。[/quote] 还有，进入spark-shell，为什么不直接用./spark-shell，而是在前面加上master=spark://Mster:7077呢？

[SummerChillCoder]

我也出现这个问题了.....使用集群standalone模式的时候用大写的MASTER可以正常的启动(MASTER=spark://192.168.1.99:7077 ./spark-shell). 但是启动HA之后必须把MASTER变成小写的....否则报(ERROR SparkDeploySchedulerBackend: Application has been killed. Reason: All masters are unresponsive! Giving up.ERROR OneForOneStrategy: java.lang.NullPointerException)错误... 改为master=spark://192.168.1.99:7077 ./spark-shell

[luguanghui55]

在日志里有没有master关闭了？我出现同样的情况，是master出错关闭了导致

[apcheng]

果然，把MASTER改成小写的master，就好了。。。。