关于Kafka分区问题！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！

隔壁老身 2015-07-14 10:14:24

最近学习这个，看了一些文章，他们画的架构图各不一，给混淆了。eg:

我开始觉得是这样的,

但是也有下面这样画的

我就请问下这个分区问题，比如有三个节点，同一个主题有多个分区，那么他的分区是存在当前主题节点上还是其他节点上的，如果是在当前节点上，对应的备份应该就是在其他节点上，像图一，如果同一个主题分区存于不同节点，像图2这样，那么分区对应的备份怎么存？

...全文

852 1 打赏收藏举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

dydt 2017-11-24

打赏
举报

回复

楼主，这个问题你现在搞明白了没？我现在才看，跟你一样的疑惑，我刚才也发了个帖子咨询

kafka的分区副本机制分区Leader选举☆分区重新分配☆创建集群和主题查看主题详情再添加一个分区再添加一个节点重新分配修改副本因子分区策略RangeAssignor分配策略RoundRobinAssignor分配策略StickyAssignor自定义分配策略主要内容 : kafka分区的管理 ; 分区重新分配 Kafka可以将主题划分为多个分区（Partition），会根据分区规则选择把消息存储到哪个分区中，只要如果分区规则设置的合理，那么所有的消息将会被均匀的分布到不同的分区中，这样就实

生产者分区策略 1.分区的原因（1）方便在集群中扩展，每个Partition可以通过调整以适应它所在的机器，而一个topic又可以有多个Partition组成，因此整个集群就可以适应任意大小的数据了；（2）可以提高并发，因为可以以Partition为单位读写了 2.分区的原则（1）指明 partition 的情况下，直接将指明的值直接作为 partiton 值；（2）没有指明 partition 值但有 key 的情况下，将 key 的 hash 值与 topic 的 partition 数进行

一、分区的概念规则 1、每个topic（逻辑名称）由一个或多个分区组成，分区是topic物理上的分组，在创建topic时被指定 2、一个partition只对应一个Broke，一个Broke可以管理多个partition 3、由消息在顺序写入，在同一个分区内的消息是有序的，在不同的分区间，kafka并不保证消息的顺序（所以kafka消息是支持跨分区的） 3.1 同一个主题下，不同分区所包含的内容是不同的，每个消息被添加到分区当中时，会被分配一个偏移量（Offset），它是消息在分区当中的唯一编号，kafk

最近在学习读写，突然想到如果生产消息到，那么这条消息如何确定发往那个分区。顺便也回顾下本身一个默认分区策略和生产策略这里整理并记录下。这里我们使用来将数据写入到 Kafka，那么KafkaSink 是如何确定一条消息要发送到那个分区？默认的策略是什么？可以看到只有这一个默认的实现。相关的分区策略代码如下：可以看出是根据运行子任务的并行度进行分区数的取余写入的。计算公式如下。 2. null 当我们代码指定分区策略为时，那么肯定就会选用Kafka 本身默认的分区策略。我

🚀 优质资源分享 🚀 学习路线指引（点击解锁）知识定位人群定位 🧡 Python实战微信订餐小程序 🧡 进阶级本课程是python flask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。 💛Python量化交易实战💛 入门级手把手带你打造一个易扩展、更安全、效率更高的量化交易系统一、副本机制 Kafka在⼀定数量的服务器上对主题分区进⾏复制。当集群中的⼀个broker宕机后系统可以⾃动故障转移到其他可⽤的副本上，不会造成数据丢失。创建主题

1,097

社区成员

969

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章