spark-submit 在yarn模式无法解析参数,看各位同学有没有遇到这样的情况

大漠小帆 2018-01-25 08:41:40
spark版本2.1.0
原本希望在spark-submit后跟一个json字符串,给jar包使用,但无法解析最后"}}",所以特地测试如下的情况
代码很简单,就是main中打印args(0)

提交如下命令 spark-submit --master spark://ip:7077 --class mainClass myjar.jar 10}} 可以正常打印 10}}
但spark-submit --master yarn --deploy-mode cluster --class mianClass myjar.jar 10}} 就只能打印出10, 后面参数改成“10}}}”,依然只打印出10

望各位大神指教

...全文
415 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

1,258

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧