Spark
spark实时读取kafka
墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网
我也要 关注 + 加入社区val con = "10.20.30.91:2181"
val topics = "topic1"
val group = "group1"
val numThreads = 6
val ssc = new StreamingContext(sc,Seconds(2))
val sqc = new SQLContext(sc)
val topicMap = topics.split(",").map((_, numThreads.toInt)).toMap
val lines = KafkaUtils.createStream(ssc, con, group, topicMap).map(_._2)
val showLines = lines.window(Minutes(60))
showLines.foreachRDD( rdd => {
val t = sqc.jsonRDD(rdd)
t.registerTempTable("kafka_test")
})
ssc.start()
这是我写的关于spark streaming读取kafka数据的程序，但是当数据量大的时候，就会堵死，我想实现并发的功能，已达到数据的实时性，该如何去做？谢谢大家了
官网有这个 KafkaUtils.createDirectStream
但是我用的时候会出错Received -1 when reading from channel, socket has likely been closed
这个怎么用
val topics = "topic1"
val group = "group1"
val numThreads = 6
val ssc = new StreamingContext(sc,Seconds(2))
val sqc = new SQLContext(sc)
val topicMap = topics.split(",").map((_, numThreads.toInt)).toMap
val lines = KafkaUtils.createStream(ssc, con, group, topicMap).map(_._2)
val showLines = lines.window(Minutes(60))
showLines.foreachRDD( rdd => {
val t = sqc.jsonRDD(rdd)
t.registerTempTable("kafka_test")
})
ssc.start()
这是我写的关于spark streaming读取kafka数据的程序，但是当数据量大的时候，就会堵死，我想实现并发的功能，已达到数据的实时性，该如何去做？谢谢大家了
官网有这个 KafkaUtils.createDirectStream
但是我用的时候会出错Received -1 when reading from channel, socket has likely been closed
这个怎么用
...全文
相关推荐
spark与kafka集成
Apache Spark与Apache Kafka的集成是大数据处理领域中的一个重要话题，特别是在实时流处理中。
Spark Streaming 实时读取 Kafka 中的数据详解
其中，与 Kafka 的集成使得 Spark Streaming 能够轻松地读取和处理来自 Kafka 消息队列的数据。本文将详细介绍如何使用 Spark Streaming 读取 Kafka 中的数据，并提供相应的源代码示例。需要注意的是，在实际生产环境中，你可能需要考虑更多的因素，例如容错性、数据一致性和性能优化。你可以在这个位置自定义你的数据处理逻辑，例如对数据进行过滤、转换等操作。接下来，我们将演示如何使用 Spark Streaming 从 Kafka 主题中读取数据，然后对数据进行处理和分析。
阿里云emr spark kafka redis MongoDB例子demo
Kafka是一种分布式流处理平台，常被用作实时数据管道和流处理系统，用于构建实时数据流应用程序。**Spark Streaming与Kafka集成步骤：**1.
kafka-spark-spike:Apache Kafka（http
在这个项目中，可能包含的测试用例可能包括验证Spark作业是否能正确地从Kafka主题中读取数据，处理这些数据，并将结果写回到其他目的地，如另一个Kafka主题、数据库或文件系统。
spark-streaming-kafka.rar
Spark Streaming是Apache Spark项目的一部分，它提供了实时数据流处理的能力，而Kafka是一个分布式流处理平台，用于构建实时数据管道和流应用。
