sparkstreaming和kafka 得到消息自动生成代码

Swe_Turing 2016-03-04 10:32:31

问一下大神，能不能处理日志消息的时候，通过判断接收的消息类型，Spark Streaming能够自动的生成需求的处理代码，所以针对不同的消息类别，只需要修改需求，不需要修改代码了。

...全文

160 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

Swe_Turing 2016-03-16

打赏
举报

回复

引用 3 楼 link0007 的回复:

日志数据是用flume采集的吗？

可以算是的

LinkSe7en 2016-03-15

打赏
举报

回复

日志数据是用flume采集的吗？

Swe_Turing 2016-03-04

打赏
举报

回复

或者有什么日志消息中间件

Swe_Turing 2016-03-04

打赏
举报

回复

大神求助，或者说什么方法

避免流式传输前言：使用scala和java混编完成，其中也涉及到python脚本来自动生成日志，linux crontab调度工具来定时执行脚本生成实时日志。生成的数据主要是模拟某学习网站学习视频课程的访问量（其中*以“ / class”开头的表示实战课程，然后通过流水线Flume + Kafka + SparkStreaming进行实时日志的收集，HBase来存储数据）* 注意事项（使用的软件工具及环境配置） hadoop-2.6.0-cdh5.7.0 hbase-1.2.0-cdh5.7.0 zookeeper-3.4.5-cdh5.7.0 spark-2.2.0-bin-2.6

积分java源码Kafka-Spark-Consumer 的 README 文件注意：此 Kafka Spark Consumer 代码取自 Apache Storm 项目 () 的 Kafka spout，该项目最初由 wurstmeister () 创建。原始 Storm Kafka Spout 代码已被修改以与 Spark Streaming 一起使用。此实用程序将有助于使用 Spark Streaming 从 Kafka 提取消息，并更好地处理 Kafka 偏移量和处理故障。这个消费者已经实现了一个自定义可靠接收器，它使用 Kafka Consumer API 从 Kafka 获取消息并将每个接收到的块存储在 Spark BlockManager 中。该逻辑将自动检测主题的分区数量，并根据配置的接收器数量生成尽可能多的 Kafka 接收器。每个接收器都可以从一个或多个 Kafka 分区中获取消息。例如，如果 Kafka 有 100 个 Topic 分区，而 Spark Consumer 如果配置了 20 个 Receiver，则每个 Receiver 将处理 5

本课程以爱奇艺视频实时数据产生和流向的各个环节出发，通过集成主流的分布式日志收集框架Flume、分布式消息队列Kafka、分布式列式数据库HBase、及当前最火爆的Spark Streaming打造实时流处理项目实战，一套代码让你...

Spark Streaming 整合 Kafka

其中，与 Kafka 的集成使得 Spark Streaming 能够轻松地读取和处理来自 Kafka 消息队列的数据。本文将详细介绍如何使用 Spark Streaming 读取 Kafka 中的数据，并提供相应的源代码示例。需要注意的是，在实际生产环境中，你可能需要考虑更多的因素，例如容错性、数据一致性和性能优化。你可以在这个位置自定义你的数据处理逻辑，例如对数据进行过滤、转换等操作。接下来，我们将演示如何使用 Spark Streaming 从 Kafka 主题中读取数据，然后对数据进行处理和分析。

1,258

社区成员

1,168

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章