Spark on yarn模式报错

woshizwq2011 2018-05-08 05:36:59
代码如下图

但是报错了,不知道什么原因,在网上也没找到具体的解决方法,报错如下图

...全文
1109 7 打赏 收藏 转发到动态 举报
写回复
用AI写文章
7 条回复
切换为时间正序
请发表友善的回复…
发表回复
woshizwq2011 2018-05-10
  • 打赏
  • 举报
回复
引用 4 楼 link0007 的回复:
你是直接java命令行执行(IDE运行),还是spark-submit?yarn模式的话只能通过后者启动,前者没有尝试成功过
是直接在eclipse中运行的。
woshizwq2011 2018-05-10
  • 打赏
  • 举报
回复
引用 6 楼 link0007 的回复:
[quote=引用 5 楼 woshizwq2011 的回复:] [quote=引用 4 楼 link0007 的回复:] 你是直接java命令行执行(IDE运行),还是spark-submit?yarn模式的话只能通过后者启动,前者没有尝试成功过
是直接在eclipse中运行的。[/quote] 直接运行yarn模式没有成功过。。。yarn模式的driver必须运行在yarn 的容器里[/quote] windos环境中只能执行local模式!!!!知道了
LinkSe7en 2018-05-10
  • 打赏
  • 举报
回复
引用 5 楼 woshizwq2011 的回复:
[quote=引用 4 楼 link0007 的回复:] 你是直接java命令行执行(IDE运行),还是spark-submit?yarn模式的话只能通过后者启动,前者没有尝试成功过
是直接在eclipse中运行的。[/quote] 直接运行yarn模式没有成功过。。。yarn模式的driver必须运行在yarn 的容器里
woshizwq2011 2018-05-09
  • 打赏
  • 举报
回复
无人问津?门可罗雀?
LinkSe7en 2018-05-09
  • 打赏
  • 举报
回复
你是直接java命令行执行(IDE运行),还是spark-submit?yarn模式的话只能通过后者启动,前者没有尝试成功过
woshizwq2011 2018-05-08
  • 打赏
  • 举报
回复
自己顶第二波!!
woshizwq2011 2018-05-08
  • 打赏
  • 举报
回复
自己顶一波!!!

1,258

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧