spark Streaming在local 可以运行正常 ,但是在yarn上数据不能处理(只有Ctrl+c)才能执行 这是什么问题

yisun123456 2017-10-10 09:47:15
Spark Streaming消费kafka数据 处理后保存到mongodb
目前的问题是:
在local可以实时处理并且保存到数据库里面,但是采用spark on yarn 只能接收数据(貌似是),然后不能处理数据,在Ctrl+C后可以将数据进行处理,这个是什么问题?????
...全文
1475 4 打赏 收藏 转发到动态 举报
写回复
用AI写文章
4 条回复
切换为时间正序
请发表友善的回复…
发表回复
yisun123456 2017-10-10
  • 打赏
  • 举报
回复
之前之所以不能正常是因为在窗口函数后面加了map函数,这个map函数是与mongodb连接在一起的 所以不能做到实时提交到数据库运算 如果采用local模式 则没有这样的问题
yisun123456 2017-10-10
  • 打赏
  • 举报
回复
on yarn 是正常连接的 数据库可以操作 前辈可以给调试下吗
yisun123456 2017-10-10
  • 打赏
  • 举报
回复
为什么?可以给详细讲讲吗?感觉on yarn连接mongo不是很普遍的吗
alinly 2017-10-10
  • 打赏
  • 举报
回复
on yarn 应该是连接不到mongodb数据库, 看日志.

1,258

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧