spark-1.2.0 master-worker 通信问题

[yoruichi_7]

我在部署Spark-1.2.0集群（1master-3worker）之后，使用start-all.sh启动集群时没有问题，在webui上也能看到worker状态。
但是我提交任务到集群或者是启动spark-shell的时候，master会不停的报出错误如下：
[ERROR] [Logging.scala:75] logError: Asked to remove non-existent executor 0
[ERROR] [Logging.scala:75] logError: Asked to remove non-existent executor 1
[ERROR] [Logging.scala:75] logError: Asked to remove non-existent executor 2
[ERROR] [Logging.scala:75] logError: Asked to remove non-existent executor 3
...

而worker节点上Error log中为：
[ERROR] [Logging.scala:96] logError: Error running executor java.io.IOException: Cannot run program "/bin/java" (in directory "/usr/local/spark-1.2.0/work/app-20150113194629-0001/9"): error=2, 没有那个文件或目录 at java.lang.ProcessBuilder.start(ProcessBuilder.java:1048) at org.apache.spark.deploy.worker.ExecutorRunner.fetchAndRunExecutor(ExecutorRunner.scala:135) at org.apache.spark.deploy.worker.ExecutorRunner$$anon$1.run(ExecutorRunner.scala:65) Caused by: java.io.IOException: error=2, 没有那个文件或目录 at java.lang.UNIXProcess.forkAndExec(Native Method) at java.lang.UNIXProcess.<init>(UNIXProcess.java:187) at java.lang.ProcessImpl.start(ProcessImpl.java:134) at java.lang.ProcessBuilder.start(ProcessBuilder.java:1029)

我Google了很久也没发现有类似问题出现，望老师能给予帮助。
谢谢。

[yoruichi_7]

已解决 原来不是通信问题，仔细看了下log，是说在指定的位置（SPARK_HOME/work/app_xxxxxxx/0）无法执行'/bin/java'，顿时感觉到还是环境设置的问题。回过头来检查SPARK_HOME/conf/spark-env.sh，文件里第一行配置了JAVA_HOME=${JAVA_HOME}，原以为这样可以取到系统设置的JAVA_HOME配置，但输出了一下发现，centOS 或者 Mac OS里的jdk 是我自己安装的，不知为何，在spark里这样配置无效。 将spark-env.sh里的JAVA_HOME配置注释掉就可以正常启动spark和提交spark任务了。

[puckgod]

顶一下，以备后续必要时候查看