社区
Spark
帖子详情
spark Streaming在local 可以运行正常 ,但是在yarn上数据不能处理(只有Ctrl+c)才能执行 这是什么问题
yisun123456
2017-10-10 09:47:15
Spark Streaming消费kafka数据 处理后保存到mongodb
目前的问题是:
在local可以实时处理并且保存到数据库里面,但是采用spark on yarn 只能接收数据(貌似是),然后不能处理数据,在Ctrl+C后可以将数据进行处理,这个是什么问题?????
...全文
1475
4
打赏
收藏
spark Streaming在local 可以运行正常 ,但是在yarn上数据不能处理(只有Ctrl+c)才能执行 这是什么问题
Spark Streaming消费kafka数据 处理后保存到mongodb 目前的问题是: 在local可以实时处理并且保存到数据库里面,但是采用spark on yarn 只能接收数据(貌似是),然后不能处理数据,在Ctrl+C后可以将数据进行处理,这个是什么问题?????
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
4 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
yisun123456
2017-10-10
打赏
举报
回复
之前之所以不能正常是因为在窗口函数后面加了map函数,这个map函数是与mongodb连接在一起的 所以不能做到实时提交到数据库运算 如果采用local模式 则没有这样的问题
yisun123456
2017-10-10
打赏
举报
回复
on yarn 是正常连接的 数据库可以操作 前辈可以给调试下吗
yisun123456
2017-10-10
打赏
举报
回复
为什么?可以给详细讲讲吗?感觉on yarn连接mongo不是很普遍的吗
alinly
2017-10-10
打赏
举报
回复
on yarn 应该是连接不到mongodb数据库, 看日志.
Spark
实战.docx
1.
Spark
是特性 高可伸缩性 高容错 于内存计算 2.
Spark
的生态体系(BDAS,中文:伯利克分析栈) MapReduce属于Hadoop生态体系之...
Spark
on
Yarn
(
Spark
在
Yarn
上)
Spark
on Mesos (
Spark
在Mesos)
spark
-demos:
Spark
(多种版本)+
Streaming
HiveSQLUDF演示
支持
Yarn
/
local
环境下操作; 支持Java/Scala两种语言编写
Spark
相关代码; 只支持
Spark
2.1.1; TODO: 补充
Spark
SQL/Struct
Streaming
相关代码; 补充Kafka/HBase相关操作; 支持
Spark
多版本; 1.1 项目构建说明 src/main...
【
spark
】记录一次
spark
spark
streaming
使用命令行提交任务在
Yarn
集群模式无法正常消费kerberos kafka
数据
的
问题
最近在提交
spark
程序到
yarn
消费kerberos认证方式的kafka
数据
。由于配置文件 相对/绝对路径不正确配置遇到了报错,这里整理并记录一下。以上的
问题
,说白了就是在任务真正的
执行
节点,并没有成功从绝对路径中加载到...
spark
Streaming
yarn
-cluster消费到了
数据
但没有
处理
现象:
spark
Streaming
作业
local
[*] 可以正常消费到
数据
并
处理
,但提交到
yarn
-cluster后只消费到
数据
但没有
处理
,从
Streaming
Statistics 可见只有消费到
数据
,但没有
处理
原因: 提交命令时只配置了1个 ...
Spark
Streaming
架构原理详解!
Spark
Streaming
是一个基于
Spark
Core之上的实时计算框架,可以从很多
数据
源消费
数据
并对
数据
进行
处理
.
Spark
Streaming
是
Spark
核心API的一个扩展,可以实现高吞吐量的、具备容错机制的实时流
数据
的
处理
。
Spark
1,258
社区成员
1,168
社区内容
发帖
与我相关
我的任务
Spark
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
复制链接
扫一扫
分享
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章