社区
数据运维
帖子详情
关于Kafka分区问题!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
隔壁老身
2015-07-14 10:14:24
最近学习这个,看了一些文章,他们画的架构图各不一,给混淆了。eg:
我开始觉得是这样的,
但是也有下面这样画的
我就请问下这个分区问题,比如有三个节点,同一个主题有多个分区,那么他的分区是存在当前主题节点上还是其他节点上的,如果是在当前节点上,对应的备份应该就是在其他节点上,像图一,如果同一个主题分区存于不同节点,像图2这样,那么分区对应的备份怎么存?
...全文
809
1
打赏
收藏
关于Kafka分区问题!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
最近学习这个,看了一些文章,他们画的架构图各不一,给混淆了。eg: 我开始觉得是这样的, 但是也有下面这样画的 我就请问下这个分区问题,比如有三个节点,同一个主题有多个分区,那么他的分区是存在当前主题节点上还是其他节点上的,如果是在当前节点上,对应的备份应该就是在其他节点上,像图一,如果同一个主题分区存于不同节点,像图2这样,那么分区对应的备份怎么存?
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
1 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
dydt
2017-11-24
打赏
举报
回复
楼主,这个问题你现在搞明白了没? 我现在才看,跟你一样的疑惑,我刚才也发了个帖子咨询
kafka
-manager-2.0.0.2
kafka
-manager-2.0.0.2 Ambari的
kafka
配置
kafka
-manager。 CDH、开源也可以步骤一样。
kafka
为开启kerberos认证的。 文章中用到的
kafka
-manager 适配绝大多数。 推荐使用!!!!
kafka
-manager作用: 管理多个集群 轻松检查群集状态(主题,消费者,偏移,代理,副本分发,
分区
分发) 运行首选副本选举 使用选项生成
分区
分配以选择要使用的代理 运行
分区
重新分配(基于生成的分配) 使用可选主题配置创建主题(0.8.1.1具有与0.8.2+不同的配置) 删除主题(仅支持0.8.2+并记住在代理配置中设置delete.topic.enable = true) 主题列表现在指示标记为删除的主题(仅支持0.8.2+) 批量生成多个主题的
分区
分配,并可选择要使用的代理 批量运行重新分配多个主题的
分区
将
分区
添加到现有主题 更新现有主题的配置 可随意开启对broker级别或者对topic级别的JMX轮询 可方便的过滤出没有id 、所有者、延迟或目录等的消费者
IT十八掌_
kafka
阶段学习笔记(课堂笔记与原理图解)
IT十八掌第三期配套笔记! 1、
kafka
消息系统的介绍 2、producer有
分区
类 3、
kafka
支持的副本模式 4、
kafka
消费者偏移量考察 5、
kafka
自定义消费者 6、
kafka
自定义生产者 7、
kafka
带
分区
生产者 8、flume集成
kafka
的几种方式
开源项目-confluentinc-confluent-
kafka
-go.zip
开源项目-confluentinc-confluent-
kafka
-go.zip,
Kafka
go client - Confluent
大厂面试专栏,冲击大厂必备
第一篇:JAVA 基础那点破事!反射、泛型、IO模型、重载、非阻塞 第二篇:JAVA 集合那点破事!集合、扩容、数组、链表 第三篇:JAVA 并发!JUC、死锁、CAS、线程池 第四篇:JVM 那点破事!内存结构、垃圾收集、OOM、双亲委派 第五篇:项目亮点!DDD、系统架构、分库分表、高性能、吞吐量 第六篇:面试那点破事!面试技巧、职业规划、谈薪资 第七篇:Redis 缓存那点破事 !单线程、数据类型、淘汰机制、集群模式 第八篇:MySQL 那点破事!索引、SQL调优、事务、B+树、分库分表 第九篇:Mybatis 那点破事! ORM,动态SQL、动态代理 第十篇:Spring 那点破事!IOC、AOP、生命周期、动态代理、设计模式 第十一篇:Spring Boot !starter组件、JPA、定时任务、全局异常 第十二篇:Spring Cloud !Gateway、注册发现、Hystrix、Ribbon 第十三篇:MQ 消息队列 !消息丢失、重复消费、有序、堆积、事务、高可用 第十四篇:
Kafka
!
分区
、副本、消费组、高可靠性 第十五篇:RocketMQ !顺序消费、堆积、事务
klustr:lu Klustr是Apache
Kafka
的开源监视工具和图形可视化工具,可帮助您实时跟踪有关群集的关键指标!
Apache
Kafka
的开源监视工具 目录 特征 用户友好的GUI 深入了解集群代理,主题和
分区
控制器和
分区
运行状况监视 用户选择指标的实时图形显示 克鲁斯特行动 输入您的
Kafka
实例运行所在的Broker和Exporter端口 成功提交后,即可立即获得有关您的经纪人,主题和消费者群体的重要信息。 从核心指标仪表板,您将看到控制器和
分区
数据,并可以选择关键指标... ...实时显示和更新! 安装 Klustr要求使用JMX Exporter进行配置以捕获高级指标。 如果您没有使用JMX Exporter配置的端口,请转至https://github.com/oslabs-beta/JMXScripter并按照该存储库中的指示进行操作。 克隆此仓库https://github.com/oslabs-beta/klustr.git 在根文件夹中运行以下命令npm in
数据运维
1,097
社区成员
970
社区内容
发帖
与我相关
我的任务
数据运维
云计算服务器、网络、虚拟化相关讨论
复制链接
扫一扫
分享
社区描述
云计算服务器、网络、虚拟化相关讨论
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章