SpringBoot kafka partitions 相关问题

[月光下的大D丶]

在启动的时候 日志总是会显示

partitions revoked: [] 这应该是没有有回收

两个消费主题 只初始化了一个
partitions assigned: []
partitions assigned: [insertCache-0]

但是有时候会两个都初始化 但是 有时候只初始化一个 或者一个都没有

请求大佬路过帮忙看一下
版本 spring-kafka 2.1.5.RELEASE

spring-boot 2.0.1.RELEASE



2018-09-23 17:41:46.222 [org.springframework.kafka.KafkaListenerEndpointContainer#1-0-C-1] INFO o.a.k.c.consumer.internals.AbstractCoordinator - [Consumer clientId=consumer-2, groupId=test-consumer-group] Discovered group coordinator 192.168.2.86:9092 (id: 2147483647 rack: null)
2018-09-23 17:41:46.222 [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-C-1] INFO o.a.k.c.consumer.internals.AbstractCoordinator - [Consumer clientId=consumer-1, groupId=test-consumer-group] Discovered group coordinator 192.168.2.86:9092 (id: 2147483647 rack: null)
2018-09-23 17:41:46.227 [org.springframework.kafka.KafkaListenerEndpointContainer#1-0-C-1] INFO o.a.k.c.consumer.internals.ConsumerCoordinator - [Consumer clientId=consumer-2, groupId=test-consumer-group] Revoking previously assigned partitions []
2018-09-23 17:41:46.227 [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-C-1] INFO o.a.k.c.consumer.internals.ConsumerCoordinator - [Consumer clientId=consumer-1, groupId=test-consumer-group] Revoking previously assigned partitions []
2018-09-23 17:41:46.228 [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-C-1] INFO o.s.kafka.listener.KafkaMessageListenerContainer - partitions revoked: []
2018-09-23 17:41:46.228 [org.springframework.kafka.KafkaListenerEndpointContainer#1-0-C-1] INFO o.s.kafka.listener.KafkaMessageListenerContainer - partitions revoked: []
2018-09-23 17:41:46.228 [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-C-1] INFO o.a.k.c.consumer.internals.AbstractCoordinator - [Consumer clientId=consumer-1, groupId=test-consumer-group] (Re-)joining group
2018-09-23 17:41:46.228 [org.springframework.kafka.KafkaListenerEndpointContainer#1-0-C-1] INFO o.a.k.c.consumer.internals.AbstractCoordinator - [Consumer clientId=consumer-2, groupId=test-consumer-group] (Re-)joining group
2018-09-23 17:41:46.908 [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-C-1] INFO o.a.k.c.consumer.internals.AbstractCoordinator - [Consumer clientId=consumer-1, groupId=test-consumer-group] Successfully joined group with generation 217
2018-09-23 17:41:46.908 [org.springframework.kafka.KafkaListenerEndpointContainer#1-0-C-1] INFO o.a.k.c.consumer.internals.AbstractCoordinator - [Consumer clientId=consumer-2, groupId=test-consumer-group] Successfully joined group with generation 217
2018-09-23 17:41:46.916 [org.springframework.kafka.KafkaListenerEndpointContainer#1-0-C-1] INFO o.a.k.c.consumer.internals.ConsumerCoordinator - [Consumer clientId=consumer-2, groupId=test-consumer-group] Setting newly assigned partitions []
2018-09-23 17:41:46.919 [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-C-1] INFO o.a.k.c.consumer.internals.ConsumerCoordinator - [Consumer clientId=consumer-1, groupId=test-consumer-group] Setting newly assigned partitions [insertCache-0]
2018-09-23 17:41:46.919 [org.springframework.kafka.KafkaListenerEndpointContainer#1-0-C-1] INFO o.s.kafka.listener.KafkaMessageListenerContainer - partitions assigned: []
2018-09-23 17:41:46.933 [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-C-1] INFO o.s.kafka.listener.KafkaMessageListenerContainer - partitions assigned: [insertCache-0]

[verejava]

Java Web MVC 框架 http://www.verejava.com/?section_id=1697715673191

[HinanaiTenshi]

kafka默认一个实例消费一个分区，你的消费者是不是比分区多？ 这样服务端rebalance的时候就可能会有实例原本订阅的分区被其他实例占用，导致没有分区可消费。

[月光下的大D丶]

首先感谢回答 ，一个组 两个主题 每个主题分配了3个分区 1个消费组 应该不会是消费者比分区多吧。

[zwg_666]

我换消费者组就可以了 每次出问题 都是换了消费者组 但我不知道为什么，所以我想问下您是怎么解决 多个topic初始化未全部初始化 这个问题的 ?

[月光下的大D丶]

引用 5 楼 zwg_666 的回复:

我换消费者组就可以了 每次出问题 都是换了消费者组 但我不知道为什么，所以我想问下您是怎么解决 多个topic初始化未全部初始化 这个问题的 ?

不好意思，时间太长了。。。忘记了最后怎么处理的

[今夜星光如雨]

我也是通过更换消费者组来解决这个问题的，但是不知道原因。