社区
Hadoop生态社区
帖子详情
请教个新人贴:多个kafka broker,怎么确定哪几个是属于同一个集群的呢?
dydt
2017-11-25 10:24:07
在看kafka,对这个问题找了好多资料,没看明白。
比如有4台物理机器,每台都启动了kafka broker,怎么配置其中两台为一个集群,另两台为另一个集群呢?
这是在zookeeper里面配置,还是在kafka里面配置呢?
zookeeper根据什么标识来划定不同集群?
在kafka的配置里面找不到任何跟集群标识相关的配置么
可用分太少了,不好意思
...全文
1671
4
打赏
收藏
请教个新人贴:多个kafka broker,怎么确定哪几个是属于同一个集群的呢?
在看kafka,对这个问题找了好多资料,没看明白。 比如有4台物理机器,每台都启动了kafka broker,怎么配置其中两台为一个集群,另两台为另一个集群呢? 这是在zookeeper里面配置,还是在kafka里面配置呢? zookeeper根据什么标识来划定不同集群? 在kafka的配置里面找不到任何跟集群标识相关的配置么 可用分太少了,不好意思
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
4 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
Felix-Yuan
2020-03-21
打赏
举报
回复
首先时候zookeeper集群,在每个zookpper节点的zoo.cfg文件中,会有类似如下的配置: server.1=172.17.80.219:2881:3881 server.2=172.17.80.219:2882:3882 server.3=172.17.80.219:2883:3883 这就表示这三台节点组成了一个zookeeper集群。 再说kafka集群,在kafka集群中每个broker的server.propertise配置文件中,都有如下的配置, zookeeper.connect=172.17.80.219:2181,172.17.80.219:2182,172.17.80.219:2183 表示把该broker交给指定的这个zookpper集群来管理,其他的broker也会配这个,
交给同一个zk集群来管理的broker节点就组成了kafka集群
。
挨踢工程湿
2020-02-29
打赏
举报
回复
kafka的配置文件 server.propertities 里面,有个配置项 zookeeper.connect = zk-node1:2181,zk-node2:2181,zk-node3:2181/kafka1。不同的kafka集群如果需要配置在同一个Zookeeper上,只需要修改后面的节点目录就可以。
offer、绝缘体
2019-09-21
打赏
举报
回复
在zookeeper中的zoo.cfg文件的信息来划分集群
guoxiaodan1
2019-03-22
打赏
举报
回复
通过zookeeper的配置,来确认是否是同一个集群
kafka
之设置
多个
broker
集群
并测试
集群
的容错(三)
本文详细介绍如何在同一台机器上搭建
Kafka
集群
,并通过实践测试
集群
的容错能力。包括配置
多个
Broker
节点、创建Topic、启动生产者和消费者,以及模拟
Broker
故障场景。
Kafka
单机多
Broker
实例
集群
搭建 | 详情
本文详细介绍在本地搭建包含
多个
Kafka
Broker
的
集群
。先阐述
Kafka
集群
架构,接着说明环境要求,包括安装 Java 和 Zookeeper。然后介绍安装
Kafka
及相关配置,创建 Topic 并查看。最后进行生产者和消费者测试,强调搭建时要注意
Broker
ID、端口及 Zookeeper 连接。
【详解】
Kafka
单机多
broker
实例
集群
搭建
本文介绍在单机上搭建
多个
Kafka
Broker
实例
集群
的方法。先进行环境准备,包括安装Java、下载
Kafka
;接着配置
多个
Broker
实例,复制并修改配置文件;然后启动Zookeeper和
Kafka
Broker
实例;最后测试
集群
,创建主题、发布和订阅消息。这种配置可模拟生产环境,利于开发和测试。
【
Kafka
】测试
集群
中
Broker
故障对客户端的影响
本文测试
Kafka
集群
中
Broker
节点故障对客户端的影响,包括Consumer和Producer的异常情况。测试发现
Broker
故障时Producer可能丢数据,原因与acks默认值有关。通过设置acks为 -1 可避免丢消息,但会增加耗时。还给出保证消息可靠性的参数配置建议。
Docker Compose部署
Kafka
集群
并在宿主机Windows连接开发
本文详细介绍
Kafka
集群
的配置参数,包括
Kafka
broker
的ID设置、Zookeeper连接配置、监听器与广播地址的区分,以及如何在Docker环境下部署
Kafka
集群
。并通过示例展示了如何使用Docker Compose搭建由Zookeeper和
多个
Kafka
broker
组成的
集群
,并验证了生产者与消费者代码的正确运行。
Hadoop生态社区
20,844
社区成员
4,695
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章