关于Kafka分区问题！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！

隔壁老身 2015-07-14 10:14:24

最近学习这个，看了一些文章，他们画的架构图各不一，给混淆了。eg:

我开始觉得是这样的,

但是也有下面这样画的

我就请问下这个分区问题，比如有三个节点，同一个主题有多个分区，那么他的分区是存在当前主题节点上还是其他节点上的，如果是在当前节点上，对应的备份应该就是在其他节点上，像图一，如果同一个主题分区存于不同节点，像图2这样，那么分区对应的备份怎么存？

...全文

846 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

dydt 2017-11-24

打赏
举报

回复

楼主，这个问题你现在搞明白了没？我现在才看，跟你一样的疑惑，我刚才也发了个帖子咨询

kafka消息分区机制

我们有分析过【kafka源码】TopicCommand之创建Topic源码解析; 因为篇幅太长所以关于分区分配的问题单独开一篇文章写; 源码分析创建Topic的源码入口 AdminManager.createTopics() 以下只列出了分区分配相关代码其他省略 def createTopics(timeout: Int, validateOnly: Boolean, toCreate: Map[String, Creatab

kafka的分区副本机制分区Leader选举☆分区重新分配☆创建集群和主题查看主题详情再添加一个分区再添加一个节点重新分配修改副本因子分区策略RangeAssignor分配策略RoundRobinAssignor分配策略StickyAssignor自定义分配策略主要内容 : kafka分区的管理 ; 分区重新分配 Kafka可以将主题划分为多个分区（Partition），会根据分区规则选择把消息存储到哪个分区中，只要如果分区规则设置的合理，那么所有的消息将会被均匀的分布到不同的分区中，这样就实

生产者分区策略 1.分区的原因（1）方便在集群中扩展，每个Partition可以通过调整以适应它所在的机器，而一个topic又可以有多个Partition组成，因此整个集群就可以适应任意大小的数据了；（2）可以提高并发，因为可以以Partition为单位读写了 2.分区的原则（1）指明 partition 的情况下，直接将指明的值直接作为 partiton 值；（2）没有指明 partition 值但有 key 的情况下，将 key 的 hash 值与 topic 的 partition 数进行

Kafka的分区分配主要包括三点：生产者的分区分配，消费者的分区分配，broker端的分区分配。 1、生产者的分区分配 Producer调用send方法发送消息到broker时，中间可能会经过拦截器、序列化器、分区器，当消息ProducerRecord指定了partition字段，则就不需要分区器的作用，会直接发送到指定的partition中，如果没有指定partition字段，那么就会采用分区器...

1,097

社区成员

969

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章