社区
Hadoop生态社区
帖子详情
请教个新人贴:多个kafka broker,怎么确定哪几个是属于同一个集群的呢?
dydt
2017-11-25 10:24:07
在看kafka,对这个问题找了好多资料,没看明白。
比如有4台物理机器,每台都启动了kafka broker,怎么配置其中两台为一个集群,另两台为另一个集群呢?
这是在zookeeper里面配置,还是在kafka里面配置呢?
zookeeper根据什么标识来划定不同集群?
在kafka的配置里面找不到任何跟集群标识相关的配置么
可用分太少了,不好意思
...全文
1631
4
打赏
收藏
请教个新人贴:多个kafka broker,怎么确定哪几个是属于同一个集群的呢?
在看kafka,对这个问题找了好多资料,没看明白。 比如有4台物理机器,每台都启动了kafka broker,怎么配置其中两台为一个集群,另两台为另一个集群呢? 这是在zookeeper里面配置,还是在kafka里面配置呢? zookeeper根据什么标识来划定不同集群? 在kafka的配置里面找不到任何跟集群标识相关的配置么 可用分太少了,不好意思
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
4 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
Felix-Yuan
2020-03-21
打赏
举报
回复
首先时候zookeeper集群,在每个zookpper节点的zoo.cfg文件中,会有类似如下的配置: server.1=172.17.80.219:2881:3881 server.2=172.17.80.219:2882:3882 server.3=172.17.80.219:2883:3883 这就表示这三台节点组成了一个zookeeper集群。 再说kafka集群,在kafka集群中每个broker的server.propertise配置文件中,都有如下的配置, zookeeper.connect=172.17.80.219:2181,172.17.80.219:2182,172.17.80.219:2183 表示把该broker交给指定的这个zookpper集群来管理,其他的broker也会配这个,
交给同一个zk集群来管理的broker节点就组成了kafka集群
。
挨踢工程湿
2020-02-29
打赏
举报
回复
kafka的配置文件 server.propertities 里面,有个配置项 zookeeper.connect = zk-node1:2181,zk-node2:2181,zk-node3:2181/kafka1。不同的kafka集群如果需要配置在同一个Zookeeper上,只需要修改后面的节点目录就可以。
offer、绝缘体
2019-09-21
打赏
举报
回复
在zookeeper中的zoo.cfg文件的信息来划分集群
guoxiaodan1
2019-03-22
打赏
举报
回复
通过zookeeper的配置,来确认是否是同一个集群
分布式 - 消息队列
Kafka
:
Kafka
broker
常见问题总结
Kafka
Broker
是
Kafka
集群
中的一个节点,负责接收来自生产者的消息并将其存储在
Kafka
集群
中的一个或
多个
主题中。它还负责从
Kafka
集群
中的一个或
多个
主题中检索消息并将其发送给消费者。
KAFKA
权威指南笔记(一)究竟应该配置多少个
BROKER
?
一个单独的
Kafka
服务器被叫做
BROKER
,
BROKER
可以成功优酷数千个分区以及每秒百万级别的消息量。由
BROKER
组成了“
集群
”(其中由
集群
控制器角色的
BROKER
是从成员中选举出来的,负责控制管理工作)
kafka
之设置
多个
broker
集群
并测试
集群
的容错(三)
首先,感谢半兽人,他把
kafka
官方文档翻译成中文文档,所以不用浪费多余的时间来翻译,再次感谢,给大家他的地址:
kafka
安装和启动,我以后的文章基本上都需要参考上面的,顺便推荐他的命令行大全:
kafka
命令大全 不能只参考一家,所以推荐另一个命令大全,只是他是旧版的,自己多仔细一点
Kafka
集群
消息发送和消费的相关命令 上一篇基本上可以启动单个
broker
(代理)
集群
,现在我们要开
多个
bro...
【详解】
Kafka
单机多
broker
实例
集群
搭建
你可以在一台机器上成功配置并运行
多个
Kafka
Broker
实例,形成一个小型的
Kafka
集群
。这对于学习和测试
Kafka
的分布式特性非常有帮助。
Kafka
Broker
配置详解:优化与最佳实践
Apache
Kafka
是一个分布式流处理平台,主要用于构建实时数据管道和流处理应用。
Kafka
Broker
是
Kafka
集群
的核心组件,负责存储和转发消息。它接收生产者发送的消息,并将这些消息存储在磁盘上,消费者从中读取消息。一个
Kafka
集群
通常由
多个
Broker
组成,它们共同承担消息存储、消息转发等任务。每个
Broker
都有一组配置项,正确配置这些项是确保
Kafka
集群
高效稳定运行的关键。
Kafka
Broker
配置是保障
Kafka
集群
稳定性和高性能的关键。
Hadoop生态社区
20,846
社区成员
4,695
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章