kafka三节点集群，同节点通过topic传输数据存在中文乱码

QQ824219654 2019-12-25 05:23:54

lz搭建了3台虚拟机(130、132、133)，分别安装了zookeeper、kafka，133是leader

下面是我在133上启动的生产者消费者进程，同节点存在中文乱码，请各位大佬帮我看看，感谢啦

...全文

303 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

QQ824219654 2019-12-26

打赏
举报

回复

lz解决了，是xshell字符集设置的原因，结帖。字符集设置成utf-8,如下所示：

测试如下：

QQ824219654 2019-12-25

打赏
举报

回复

服务器的LANG值为en_US.UTF-8

kafka是一款分布式消息发布和订阅的系统，具有高性能和高吞吐率。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。本课程详细讲解原理，以及集群搭建，使用Python/Java操作Kafka、并采用Prometheus监控Kafka，结合Grafana绘制出Kafka的监控大盘。之前有报名过《ELK/ELFK企业PB级日志系统实战》的同学建议学习本门课程温馨提示：课件在最后一节(课堂总结) 可以打包下载

当broker启动的时候，都会创建KafkaController对象，但是集群中只能有一个leader对外提供服务，这些每个节点上的KafkaController会在指定的zookeeper路径下创建临时节点，只有第一个成功创建的节点KafkaController才可以成为leader，其余的都是follower。 Topic是逻辑上的概念，而partition是物理上的概念，每个partition对应于一个log文件，该log文件中存储的就是Producer生产的数据。参数设定，默认 30s。

follower发生故障后会被临时踢出ISR，待该follower恢复后，follower会读取本地磁盘记录的上次的HW，并将log文件高于HW的部分截取掉（HW之前每个节点都有，故安全），从HW开始向leader进行同步。leader发生故障之后，会从ISR中选出一个新的leader，之后，为保证多个副本之间的数据一致性，其余的follower会先将各自的log文件。Kafka中log日志是分成一块块存储的，此配置是指log日志划分成块的大小，默认值1G。每隔多久，刷数据到磁盘，默认是null。

二 Kafka集群部署 2.1 环境准备 2.1.1 集群规划 kafka102kafka103 kafka104 zk zk...

Kafka Broker 1. Kafka Broker 工作流程 1.1 Zookeeper 存储的 Kafka 信息（1）启动 Zookeeper 客户端。 bin/zkCli.sh （2）通过 ls 命令可以查看 kafka 相关信息。 ls /kafka Zookeeper中存储的Kafka 信息 1.2 Kafka Broker 总体工作流程 1）模拟 Kafka上下线，Zookeeper中数据变化（1）查看/kafka/brokers/ids 路径上的节点。 ls /kafka/b

1,220

社区成员

5,327

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章