kafka 消费能力不够?

小公牛123 2019-01-22 10:23:04
kakfa版本0.9

处理程序 消费能力是可以处理kakfa数据
kafka积压35亿时开始消费kafka 开始一切都正常 位移 心跳发送都正常
当kafka积压到1亿左右时 处理程序开始陆续抛出Attempt to heart beat failed since the group is rebalancing, try to re-join group.
kakfa的消费者数量开始减少
由于kafka执行rebalance情况有以下几种:
1:有新的consumer加入
2:旧的consumer挂了
3:coordinator挂了,集群选举出新的coordinator
4:topic的partition新加
5:consumer调用unsubscrible(),取消topic的订阅
目前程序状况无非就是一二俩种情况
但是调低返回的一次数据条 session时间 心跳时间 一日还是报错
感觉方向错了 如果是因为消费能力不够 那么35亿积压时 就会报出 不会每次等到1亿左右才开始抛出
...全文
594 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
小公牛123 2019-02-14
  • 打赏
  • 举报
回复
消息中间件 消息队列的
aabbabababaa 2019-02-08
  • 打赏
  • 举报
回复
没用过kakfa,是做什么用的?
只用过kibana...

1,220

社区成员

发帖
与我相关
我的任务
社区描述
企业软件 中间件技术
社区管理员
  • 中间件
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧