社区
Hadoop生态社区
帖子详情
kafka的consumer.properties是做什么用的??
名明鸣冥
2017-06-23 09:51:50
近来在使用kafka,版本为0.10.0 ,
发现本地调用 kafka ,只要配置server.properties中的 advise..就行了,但好奇consumer.properties是做什么的,貌似没啥用.同理producer.properties
...全文
552
1
打赏
收藏
kafka的consumer.properties是做什么用的??
近来在使用kafka,版本为0.10.0 , 发现本地调用 kafka ,只要配置server.properties中的 advise..就行了,但好奇consumer.properties是做什么的,貌似没啥用.同理producer.properties
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
1 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
逗比123号
2017-06-27
打赏
举报
回复
可以看producer和consumer需要什么参数嘛,本地连接的时候就可以覆盖这些参数来连接kafka
kafka
-console-con
sum
er
:
Kafka
控制台使用者-从时间戳读取事件
Kafka
游戏机消费者 控制台应用程序,用于从给定的时间戳读取事件。 要求 Java> = 8 建造 ./mvn install 用法示例 配置 您需要在与工具配置相同目录中的application.
prop
er
ties
文件中进行特定设置,才能与
kafka
连接。 SASL_PLAINTEXT的示例配置: spring.
kafka
.bootstrap-s
er
v
er
s=localhost:9092 spring.
kafka
.
prop
er
ties
.security.protocol=SASL_PLAINTEXT spring.
kafka
.
prop
er
ties
.sasl.mechanism=PLAIN spring.
kafka
.
prop
er
ties
.sasl.jaas.config=org.apache.
kafka
.common.security.plain.PlainLoginModule
kafka
配置文件
s
er
v
er
.
prop
er
ties
con
sum
er
.
prop
er
ties
produc
er
.
prop
er
ties
Kafka
消息队列 (KRaft模式)
#
Kafka
消息队列 (KRaft模式) ## 课程介绍 本课程使用官网文档、源码、物理文件分析等方式带大家入门 KRaft 模式的 Apache
Kafka
。
Kafka
是一个消息队列,也称作事件流平台、消息系统、消息中间件、消息引擎、消息发布订阅系统等。 本课程主要内容为: 1. 环境搭建 - 介绍 Apache
Kafka
- 下载安装 JDK - 下载安装
Kafka
- 修改 PATH 环境变量2. 单台机器集群(KRaft)[1] - 介绍
Kafka
的 KRaft 模式 - 介绍 controll
er
和 brok
er
- 修改 controll
er
和 brok
er
配置3. 单台机器集群(KRaft)[2] - 使用
kafka
-storage.sh 格式化数据目录 - 启动 controll
er
,并分析启动日志 - 启动 brok
er
,并分析启动日志 - 使用
kafka
-metadata-shell.sh 分析集群元数据4. Brok
er
配置补充 - 补充 listen
er
s、adv
er
tised.listen
er
s 等配置 - 使用
kafka
-metadata-shell.sh 验证配置修改 - 配置支持内网、外网访问的 brok
er
配置 - 使用
kafka
-console-produc
er
.sh 验证配置修改5. 集群测试 - 介绍消息主题 topic - 使用
kafka
-topics.sh 创建主题 - 使用
kafka
-metadata-shell.sh 分析元数据 - 使用
kafka
-console-produc
er
.sh 生产消息 - 使用
kafka
-console-con
sum
er
.sh 消费消息 - 分析 brok
er
消息数据文件6. 可视化工具 - 介绍 Kafdrop - 下载、安装、运行 Kafdrop - 创建主题、删除主题、查看消息数据等 - 介绍
Kafka
主题删除过程7. 三台机器集群(KRaft) - 配置 controll
er
和 brok
er
- 格式化数据目录 - 启动 controll
er
和 brok
er
,并分析启动日志 - 分析集群元数据 - 关闭 controll
er
和 brok
er
8. 主题 分区 副本 - 介绍主题 topic - 介绍分区 partition - 介绍副本 replica,介绍 lead
er
follow
er
- 分析 brok
er
数据文件 - 分析主题、分区、副本相关的集群元数据 - 使用 Java 代码指定分区生产消息9. 生产者 - 分析生产者配置 - 分析
Kafka
源码
Kafka
Con
sum
er
Produc
er
Demo 中的生产者代码 - 使用 Java 代码生产消息,实现消息同步发送、异步发送 - 分析消息顺序问题 - 分析生产者序列化器 StringS
er
ializ
er
、分区器等源码10. 消费者消费者组 - 介绍消费者配置 - 分析
Kafka
源码
Kafka
Con
sum
er
Produc
er
Demo 中的消费者代码 - 使用 Java 代码消费消息 - 介绍并演示消费者组 con
sum
er
group - 介绍并演示消费者再平衡过程 con
sum
er
rebalance - 介绍并演示自动重置消费位移 - 分析消费者反序列化器 StringDes
er
ializ
er
、控制台消费者
kafka
.tools.ConsoleCon
sum
er
等源码 ## 相关截图
kafka
配置文件详解(s
er
v
er
.
prop
er
ties
,produc
er
.
prop
er
ties
,con
sum
er
.
prop
er
ties
)
kafka
配置文件详解 s
er
v
er
.
prop
er
ties
#
kafka
s
er
v
er
配置
kafka
最为重要三个配置依次为:brok
er
.id、log.dir、zookeep
er
.connect # 每一个brok
er
在集群中的唯一表示,要求是正数。当该服务器的IP地址发生改变时,brok
er
.id没有变化,则不会影响con
sum
er
s的消息情况 brok
er
.id=0 # bro...
Kafka
配置文件详解之:con
sum
er
.
prop
er
ties
Kafka
配置文件详解之:con
sum
er
.
prop
er
ties
2017年02月05日 22:13:05阅读数:3286[html] view plain copy [html] view plain copy#(必需)zookeep
er
连接服务器地址 zookeep
er
.connect=zk01:2181,ka02:2181,zk03:2181 #zookeep
er
的session的过...
Hadoop生态社区
20,809
社区成员
4,691
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章