关于sparkStreaming 获取数据的问题

skins丶Li 2017-06-13 05:27:49

怎样用 sparkStreaming 直接对接 amqp队列（华为的数据服务提供接口），从而通过 sparkSteaming直接处理 amqp的数据

...全文

286 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

LinkSe7en 2017-06-14

打赏
举报

回复

https://github.com/radanalyticsio/streaming-amqp google一下就出来了

_明月 2017-06-13

打赏
举报

回复

个人能力有限，帮不了你，抱歉。

推模式(Flume push SparkStreaming) VS 拉模式（SparkStreaming poll Flume）采用推模式：推模式的理解就是Flume作为缓存，存有数据。监听对应端口，如果服务可以链接，就将数据push过去。(简单，耦合要低)，缺点...

Spark Streaming是一个从各种来源获取实时流数据的框架。它支持的流资包括HDFS、Kafka、Flume以及自定义流等。Spark Streaming操作可以从故障中自动恢复，这对于在线数据处理十分重要。Spark Streaming表示使用离散...

Spark Streaming 支持多种实时输入源数据的读取，其中包括Kafka、flume、socket流等等。除了Kafka以外的实时输入源，由于我们的业务场景没有涉及，在此将不会讨论。本篇文章主要着眼于我们目前的业务场景，只关注...

与所有接收器一样，从Kafka通过Receiver接收的数据存储在Spark执行器中，然后由Spark Streaming启动的作业处理数据。但是，在默认配置下，此方法可能会在失败时丢失数据（请参阅接收器可靠性。为确保零数据丢失，...

第一个主要功能是使用sparkstreaming获取kafka中的流式数据，第二个主要解决自动提交偏移量的解决方法：指定检查点，第三个示例是使用手动提交的方式解决自动提交过程中可能出错的问题。还可以指定存储器实现精准...

1,261

社区成员

1,169

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章