为什么spark所有的计算都集中到了一台机器上,所有的executor都用了一台机器上的?

会飞的犬良 2018-10-11 06:53:12
spark计算的时候,机器不是一台,但是所有的计算都只用了一台机器上的资源,但是。但是数据源是多台的机器上的。!这是什么问题,肯定是影响计算的,并且 Locality Level 都是any的,说明数据都转移到了这台机器上来计算了。哪位朋友走过路过,帮忙看下什么问题。
...全文
644 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
会飞的犬良 2018-10-16
  • 打赏
  • 举报
回复
问题已经解决了,通过查看work的错误日志发现,slave节点与主节点netty通信出现了异常,然后查看SPARK_CLASSPATH路径下的netty相关的jar包冲突了。去掉一个就好了。

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧