社区
Spark
帖子详情
关于sparkStreaming 获取数据的问题
skins丶Li
2017-06-13 05:27:49
怎样用 sparkStreaming 直接对接 amqp队列(华为的数据服务提供接口),从而通过 sparkSteaming直接处理 amqp的数据
...全文
287
2
打赏
收藏
关于sparkStreaming 获取数据的问题
怎样用 sparkStreaming 直接对接 amqp队列(华为的数据服务提供接口),从而通过 sparkSteaming直接处理 amqp的数据
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
2 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
LinkSe7en
2017-06-14
打赏
举报
回复
https://github.com/radanalyticsio/streaming-amqp google一下就出来了
_明月
2017-06-13
打赏
举报
回复
个人能力有限,帮不了你,抱歉。
spark streaming
获取
数据
方式
推模式(Flume push
SparkStreaming
) VS 拉模式(
SparkStreaming
poll Flume) 采用推模式:推模式的理解就是Flume作为缓存,存有
数据
。监听对应端口,如果服务可以链接,就将
数据
push过去。(简单,耦合要低),缺点...
Spark Streaming提取
数据
Spark Streaming是一个从各种来源
获取
实时流
数据
的框架。它支持的流资包括HDFS、Kafka、Flume以及自定义流等。Spark Streaming操作可以从故障中自动恢复,这对于在线
数据
处理十分重要。Spark Streaming表示使用离散...
Spark Streaming
获取
kafka
数据
的两种方式
Spark Streaming 支持多种实时输入源
数据
的读取,其中包括Kafka、flume、socket流等等。除了Kafka以外的实时输入源,由于我们的业务场景没有涉及,在此将不会讨论。本篇文章主要着眼于我们目前的业务场景,只关注...
Spark Streaming中读取
数据
的两种方式:基于Receiver的方法,基于Direct方法
与所有接收器一样,从Kafka通过Receiver接收的
数据
存储在Spark执行器中,然后由Spark Streaming启动的作业处理
数据
。 但是,在默认配置下,此方法可能会在失败时丢失
数据
(请参阅接收器可靠性。为确保零
数据
丢失,...
使用
SparkStreaming
获取
Kafka中的流式
数据
并指定手动提交offset
第一个主要功能是使用
sparkstreaming
获取
kafka中的流式
数据
,第二个主要解决自动提交偏移量的解决方法:指定检查点,第三个示例是使用手动提交的方式解决自动提交过程中可能出错的
问题
。还可以指定存储器实现精准...
Spark
1,261
社区成员
1,169
社区内容
发帖
与我相关
我的任务
Spark
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
复制链接
扫一扫
分享
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章