CDH里的kafka 集群启动报错，zookeeper也是启动失败

薄荷不太凉 2022-06-29 16:03:38

kafka的报错

zookeeper的报错

查2181端口也没有启动

...全文

422 回复打赏收藏举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

一、问题描述 Cdh的kafka本身有三节点，然后kafka也有三个broker，但是cdh1上的broker无论如何也无法启动，报如下错误:Failed to restart service 二、问题原因不知为何，进行探索 1.查看日志重启kafka，然后同时查看kafka日志，好像没报错，没发现什么 [root@cdh1 ~]# tail -f /var/log/kafk...

Cluster1集群规划版本操作系统 Redhat7.2 JDK 1.8 mysql 5.7.20 CM 6.3.1 CDH 6.2.1 ip hostname 10.162.5.181(SERVER) dsj-4t-323 10.162.5.182 dsj-4t-324 10.162.5.183 dsj-4t-325 10.162.5.184 dsj-4t-326 10.162.5.185 dsj-4t-327 10.162.5

报错背景： CDH集群中，将kafka和Flume整合，将kafka的数据发送给Flume消费。启动kafka的时候正常，但是启动Flume的时候出现了报错现象。但是我检查了Flume，Flume的状态很正常，于是我又查看了zookeeper的日志（/var/log/zookeeper/），发现了报错。报错现象： 2019-05-15 15:03:25,981 INFO o...

环境说明:cdh版本:cdh6.3.2。

实时数据采集是大数据处理的基础环节，其核心在于构建可靠、高效的数据接入层。从技术原理上看，它涉及数据从产生、采集、缓冲到分发的完整生命周期管理。在分布式架构中，Flume作为采集Agent负责与数据源解耦，实现低延迟的增量读取和断点续传；Kafka则扮演高吞吐消息队列的角色，通过分区副本机制实现数据缓冲、解耦生产和消费，并保障数据不丢失；Zookeeper作为分布式协调服务，管理集群元数据和领导者选举，确保系统状态一致性。这套组合的价值在于为后续的流计算和离线分析提供了稳定的数据基石，广泛应用于日志监控、用

高性能WEB开发

25,979

社区成员

4,366

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章