kafka 消费能力不够?
kakfa版本0.9
处理程序 消费能力是可以处理kakfa数据
kafka积压35亿时开始消费kafka 开始一切都正常 位移 心跳发送都正常
当kafka积压到1亿左右时 处理程序开始陆续抛出Attempt to heart beat failed since the group is rebalancing, try to re-join group.
kakfa的消费者数量开始减少
由于kafka执行rebalance情况有以下几种:
1:有新的consumer加入
2:旧的consumer挂了
3:coordinator挂了,集群选举出新的coordinator
4:topic的partition新加
5:consumer调用unsubscrible(),取消topic的订阅
目前程序状况无非就是一二俩种情况
但是调低返回的一次数据条 session时间 心跳时间 一日还是报错
感觉方向错了 如果是因为消费能力不够 那么35亿积压时 就会报出 不会每次等到1亿左右才开始抛出