社区
Hadoop生态社区
帖子详情
关于kafka的consumer_offsets一直自动增长
fitdjc
2016-12-01 09:22:17
kafka的log目录下的consumer_offsets一直在写入东西,写入量很大基本10分钟1G,同样环境的其他两台没有问题,这边把这台的消费进程关了还是会继续写入,按说这个应该是记录偏移量的,但是为什么消费进程关闭还是会写入。
...全文
872
回复
打赏
收藏
关于kafka的consumer_offsets一直自动增长
kafka的log目录下的consumer_offsets一直在写入东西,写入量很大基本10分钟1G,同样环境的其他两台没有问题,这边把这台的消费进程关了还是会继续写入,按说这个应该是记录偏移量的,但是为什么消费进程关闭还是会写入。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
KAFKA
__con
sum
er
_
offset
s 清理
KAFKA
的TOPIC __con
sum
er
_
offset
s 的清理 生产环境因
kafka
日志数据量过大,导致磁盘空间占用满了,通过查看发现
kafka
的日志储存目录
kafka
data占用90%的存储。 再进一步查找,发现目录下好多__con
sum
er
_
offset
s 生成的储存文件,每个文件1GB。 查找了一下
kafka
配置,发现
kafka
对部分topic的清理策略做了特殊处理,所以导致我们自己配置的清理策略未生效。 查看现有的__con
sum
er
_
offset
s 清理策略 ./
kafka
-con
kafka
offset
__con
sum
er
_
offset
s_ 原理/Compact 整理
我们在
kafka
的log文件中发现了还有很多以__con
sum
er
_
offset
s_的文件夹;总共50个; 由于Zookeep
er
并不适合大批量的频繁写入操作,新版
Kafka
已推荐将con
sum
er
的位移信息保存在
Kafka
内部的topic中,即__con
sum
er
_
offset
stopic,并且默认提供了
kafka
_con
sum
er
_groups.sh脚本供用户查看con
sum
er
信息。 __con
sum
er
_
offset
s是
kafka
自行创建的,和普通的 topic 相同。它存在的目的之一...
【
kafka
原理】 消费者偏移量__con
sum
er
_
offset
s_相关解析
我们在
kafka
的log文件中发现了还有很多以 __con
sum
er
_
offset
s_的文件夹;总共50个; 由于Zookeep
er
并不适合大批量的频繁写入操作,新版
Kafka
已推荐将con
sum
er
的位移信息保存在
Kafka
内部的topic中,即__con
sum
er
_
offset
s topic,并且默认提供了
kafka
_con
sum
er
_groups.sh脚本供用户查看con
sum
er
信息。 __con
sum
er
_
offset
s 是
kafka
自行创建的,和普通的 topic 相同。它存在的目的之一就
kafka
内部topic __con
sum
er
_
offset
s
kafka
__con
sum
er
_
offset
s 介绍
kafka
在0.10.x版本后默认将消费者组的位移提交到自带的topic__con
sum
er
_
offset
s里面,当有消费者第一次消费
kafka
数据时就会
自动
创建,它的副本数不受集群配置的topic副本数限制,分区数默认50(可以配置),默认压缩策略为compact 结构 key v
er
sion: 版本字段,不同
kafka
版本的v
er
sion不同 group: 对应消费者组的groupid,这条消息要发送到__con
sum
er
_of..
关于
kafka
:con
sum
er
_
offset
s日志不能
自动
清理,设置
自动
清理规则
关于
kafka
:con
sum
er
_
offset
s日志不能
自动
清理,设置
自动
清理规则 起因
Kafka
服务器在运行几个月后,存储空间耗尽了。剖析
Kafka
的占用空间状况,发现
Kafka
主动生成的“__con
sum
er
_
offset
”topic,占用了大量空间,它用于记录每个用户topic的生产偏移量。这一topic实用的清理规定与其余topic不同,某些状况下,它可能始终得不到清理,耗尽服务器资源。 查看清理策略 因为服务器上的
Kafka
版本较老,这里应用的参数是–zookeep
er
,而非–bootstrap
Hadoop生态社区
20,808
社区成员
4,690
社区内容
发帖
与我相关
我的任务
Hadoop生态社区
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
复制链接
扫一扫
分享
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章