社区
数据运维
帖子详情
关于Kafka分区问题!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
隔壁老身
2015-07-14 07:41:02
最近学习这个,看了一些文章,他们画的架构图各不一,给混淆了。eg:
我开始觉得是这样的,
但是也有下面这样画的
我就请问下这个分区问题,比如有三个节点,同一个主题有多个分区,那么他的分区是存在当前主题节点上还是其他节点上的,如果是在当前节点上,对应的备份应该就是在其他节点上,像图一,如果同一个主题分区存于不同节点,像图2这样,那么分区对应的备份怎么存?
...全文
5110
4
打赏
收藏
关于Kafka分区问题!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
最近学习这个,看了一些文章,他们画的架构图各不一,给混淆了。eg: 我开始觉得是这样的, 但是也有下面这样画的 我就请问下这个分区问题,比如有三个节点,同一个主题有多个分区,那么他的分区是存在当前主题节点上还是其他节点上的,如果是在当前节点上,对应的备份应该就是在其他节点上,像图一,如果同一个主题分区存于不同节点,像图2这样,那么分区对应的备份怎么存?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
4 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
qq_25672909
2015-11-04
打赏
举报
回复
作为容灾备份是需要每个server上都有全部的分区,但是作为负载来说每个分区的leader要负载到不同的server上,如果一个server上有过多的partition leader,意味着此server将承受着更多的IO压力.在选举新leader,需要考虑到"负载均衡。 图一主要关注的是备份,图二主要是负载,两个加起来才是完整的高可用和高吞吐负载 http://blog.csdn.net/liuwei063608/article/details/46378863 参考这个,应该是这个意思吧
qq_25672909
2015-11-04
打赏
举报
回复
请问楼主,你弄明白这个问题了没?
隔壁老身
2015-07-14
打赏
举报
回复
在线求解答,主要是这个分区怎么存的,以及他的副本
kafka
-manager-2.0.0.2
kafka
-manager-2.0.0.2 Ambari的
kafka
配置
kafka
-manager。 CDH、开源也可以步骤一样。
kafka
为开启kerberos认证的。 文章中用到的
kafka
-manager 适配绝大多数。 推荐使用!!!!
kafka
-manager作用: 管理多个集群...
IT十八掌_
kafka
阶段学习笔记(课堂笔记与原理图解)
IT十八掌第三期配套笔记! 1、
kafka
消息系统的介绍 2、producer有
分区
类 3、
kafka
支持的副本模式 4、
kafka
消费者偏移量考察 5、
kafka
自定义消费者 ...7、
kafka
带
分区
生产者 8、flume集成
kafka
的几种方式
轻松玩转
Kafka
消息中间件
内容简介:
Kafka
是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与
Kafka
集成。本课程...
大厂面试专栏,冲击大厂必备
第一篇:JAVA 基础那点破事!反射、泛型、IO模型、重载、非阻塞 第二篇:JAVA 集合那点破事!集合、扩容、数组、链表 ...
分区
、副本、消费组、高可靠性 第十五篇:RocketMQ !顺序消费、堆积、事务
2017最新大数据架构师精英课程
156_
kafka
分区
服务器服务方式 157_
kafka
编程API实现生产者和消费者+ w9 l1 N( D8 E% z( D; G 158_
kafka
手动修改zk的偏移量实现消费处理( w7 s! K9 v7 U3 P7 T4 j 159_
kafka
与flume集成-source集成- _, G+ K) y% I4 D...
数据运维
1,092
社区成员
968
社区内容
发帖
与我相关
我的任务
数据运维
云计算服务器、网络、虚拟化相关讨论
复制链接
扫一扫
分享
社区描述
云计算服务器、网络、虚拟化相关讨论
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章