kafka消费数据，一段时间后无法消费，需要重换groupId

weixin_38054592 2017-07-03 09:00:16

将图片数据base64以后，写入kafka，然后用java 写了一个消费代码，开始跑，没有问题，可以消费到数据，并处理，但是最近发现，跑一段时间无法消费到数据了，也有任何报错信息，给我的感觉有点像堵塞了，但是看kafka后台，一直有数据写入，我将groupId换一个新的，就又可以获取数据，但是用老的groupid就不可以，各位大神，有遇到过这种情况么？感觉这个bug无从下手？求指教

...全文

65 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

**创建Kafka消费者**：消费者创建过程类似，但需要配置消费者组ID、offset管理策略等： 1. 创建`Properties`，设置消费者配置，如bootstrap服务器、组ID、自动提交offset等。 2. 使用`Properties`创建`Consumer`...

Kafka消费者消费者可以通过`@KafkaListener`注解来实现。下面是一个批量消费的例子： ```java @KafkaListener(topics = "myTopic") public void listen(List<String> messages) { for (String message : ...

这段代码首先创建了一个Kafka实例，连接到本地Kafka服务器。然后，它创建了一个生产者和消费者。生产者发送一条消息到“test-topic”主题，而消费者订阅这个主题并打印接收到的消息。运行`node demo.js`，你的...

2. 编写Spark Streaming程序，连接Kafka消费数据。 3. 配置Maven的assembly插件，打包生成包含所有依赖的tar.gz文件。 4. 使用Spark的提交命令运行生成的tar包。通过以上步骤，你可以轻松地创建一个可移植的Spark-...

在本文中，我们将深入探讨如何将一个Spring Boot工程与华为平台集成，并实现带有Kerberos认证的Kafka消费者和生产者。Kafka是一款高吞吐量的分布式消息系统，广泛应用于大数据实时处理和流计算场景。Spring Boot是...

其他技术讨论专区

476

社区成员

790,963

社区内容

发帖

与我相关

我的任务

其他技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章