咨询个kafka 分区迷惑
dydt 2017-11-24 04:48:32 最近在看kafka,对分区的部分,有点不太理解。
一个topic可以分为多个分区,每个分区可以在不同的物理broker上,producer 发布的时候,kafka会符合分担发布到各个分区上,consumer 从某个分区上消费
这个容易理解,但和另一个概念混在一起,就糊涂了。
这几个分区有一个leader,其余的都是replication,而leader又是负责读写的,其余的都是做同步,但producer发布的时候,不是均匀发布到各个分区上的吗?
举个例子,比如有4个物理broker,一个topic在每个broker上都有一个partition,总共4个partition;
producer发布这个topic的时候,一个会发给partition-1,一会发给partition-4,反正4个partition轮着来,那岂不是每个partition都在读写?怎么会是只有leader负责读写呢?
而且,当producer发布给partition-1的时候,怎么和其他三个partition做同步的呢?
是不是应该理解为,针对partition-1,在其他3个broker上,有三个partition-1的备份; 同样的,针对partition-4,在其他3个borker上也有三个partition-4的备份?
如果这样,那岂不是每个broker上都有4个partition,4台broker总共就有16个partition了?
对不起,CSDN新注册的,可用分很少