咨询个kafka 分区迷惑

dydt dydt 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区
最近在看kafka,对分区的部分,有点不太理解。

一个topic可以分为多个分区,每个分区可以在不同的物理broker上,producer 发布的时候,kafka会符合分担发布到各个分区上,consumer 从某个分区上消费

这个容易理解,但和另一个概念混在一起,就糊涂了。

这几个分区有一个leader,其余的都是replication,而leader又是负责读写的,其余的都是做同步,但producer发布的时候,不是均匀发布到各个分区上的吗?

举个例子,比如有4个物理broker,一个topic在每个broker上都有一个partition,总共4个partition;

producer发布这个topic的时候,一个会发给partition-1,一会发给partition-4,反正4个partition轮着来,那岂不是每个partition都在读写?怎么会是只有leader负责读写呢?

而且,当producer发布给partition-1的时候,怎么和其他三个partition做同步的呢?

是不是应该理解为,针对partition-1,在其他3个broker上,有三个partition-1的备份; 同样的,针对partition-4,在其他3个borker上也有三个partition-4的备份?

如果这样,那岂不是每个broker上都有4个partition,4台broker总共就有16个partition了?

对不起,CSDN新注册的,可用分很少
...全文

相关推荐

评论 6
收藏 已收藏
分享
返回顶部
dydt
Hadoop生态社区 20,842 成员 4,695 内容