关于Kafka分区问题！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！！

隔壁老身 2015-07-14 10:14:24

最近学习这个，看了一些文章，他们画的架构图各不一，给混淆了。eg:

我开始觉得是这样的,

但是也有下面这样画的

我就请问下这个分区问题，比如有三个节点，同一个主题有多个分区，那么他的分区是存在当前主题节点上还是其他节点上的，如果是在当前节点上，对应的备份应该就是在其他节点上，像图一，如果同一个主题分区存于不同节点，像图2这样，那么分区对应的备份怎么存？

...全文

809 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

dydt 2017-11-24

打赏
举报

回复

楼主，这个问题你现在搞明白了没？我现在才看，跟你一样的疑惑，我刚才也发了个帖子咨询

kafka-manager-2.0.0.2 Ambari的kafka 配置kafka-manager。 CDH、开源也可以步骤一样。 kafka为开启kerberos认证的。文章中用到的kafka-manager 适配绝大多数。推荐使用！！！！ kafka-manager作用：管理多个集群轻松检查群集状态（主题，消费者，偏移，代理，副本分发，分区分发）运行首选副本选举使用选项生成分区分配以选择要使用的代理运行分区重新分配（基于生成的分配）使用可选主题配置创建主题（0.8.1.1具有与0.8.2+不同的配置）删除主题（仅支持0.8.2+并记住在代理配置中设置delete.topic.enable = true）主题列表现在指示标记为删除的主题（仅支持0.8.2+）批量生成多个主题的分区分配，并可选择要使用的代理批量运行重新分配多个主题的分区将分区添加到现有主题更新现有主题的配置可随意开启对broker级别或者对topic级别的JMX轮询可方便的过滤出没有id 、所有者、延迟或目录等的消费者

IT十八掌第三期配套笔记! 1、kafka消息系统的介绍 2、producer有分区类 3、kafka支持的副本模式 4、kafka消费者偏移量考察 5、kafka自定义消费者 6、kafka自定义生产者 7、kafka带分区生产者 8、flume集成kafka的几种方式

开源项目-confluentinc-confluent-kafka-go.zip,Kafka go client - Confluent

第一篇：JAVA 基础那点破事！反射、泛型、IO模型、重载、非阻塞第二篇：JAVA 集合那点破事！集合、扩容、数组、链表第三篇：JAVA 并发！JUC、死锁、CAS、线程池第四篇：JVM 那点破事！内存结构、垃圾收集、OOM、双亲委派第五篇：项目亮点！DDD、系统架构、分库分表、高性能、吞吐量第六篇：面试那点破事！面试技巧、职业规划、谈薪资第七篇：Redis 缓存那点破事！单线程、数据类型、淘汰机制、集群模式第八篇：MySQL 那点破事！索引、SQL调优、事务、B+树、分库分表第九篇：Mybatis 那点破事！ ORM，动态SQL、动态代理第十篇：Spring 那点破事！IOC、AOP、生命周期、动态代理、设计模式第十一篇：Spring Boot ！starter组件、JPA、定时任务、全局异常第十二篇：Spring Cloud ！Gateway、注册发现、Hystrix、Ribbon 第十三篇：MQ 消息队列！消息丢失、重复消费、有序、堆积、事务、高可用第十四篇：Kafka ！分区、副本、消费组、高可靠性第十五篇：RocketMQ ！顺序消费、堆积、事务

Apache Kafka的开源监视工具目录特征用户友好的GUI 深入了解集群代理，主题和分区控制器和分区运行状况监视用户选择指标的实时图形显示克鲁斯特行动输入您的Kafka实例运行所在的Broker和Exporter端口成功提交后，即可立即获得有关您的经纪人，主题和消费者群体的重要信息。从核心指标仪表板，您将看到控制器和分区数据，并可以选择关键指标... ...实时显示和更新！安装 Klustr要求使用JMX Exporter进行配置以捕获高级指标。如果您没有使用JMX Exporter配置的端口，请转至https://github.com/oslabs-beta/JMXScripter并按照该存储库中的指示进行操作。克隆此仓库https://github.com/oslabs-beta/klustr.git 在根文件夹中运行以下命令npm in

1,097

社区成员

970

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章