社区
Java
帖子详情
kafka的client宕机掉线了。 重启后,怎么取到中间当机那段时间的消息。 auto_offset设置“earliest”, "from begining"
kingmax54212008
2018-10-27 06:31:22
kafka的client宕机掉线了。 重启后,怎么取到中间当机那段时间的消息。 auto_offset设置“earliest”, "from begining",是都不适合的?
具体这个offset怎么设置? 有对应的sample例子么?
如何取到client上次宕机上的对应offset偏移?
...全文
562
2
打赏
收藏
kafka的client宕机掉线了。 重启后,怎么取到中间当机那段时间的消息。 auto_offset设置“earliest”, "from begining"
kafka的client宕机掉线了。 重启后,怎么取到中间当机那段时间的消息。 auto_offset设置“earliest”, "from begining",是都不适合的? 具体这个offset怎么设置? 有对应的sample例子么? 如何取到client上次宕机上的对应offset偏移?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
2 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
kingmax54212008
2018-10-28
打赏
举报
回复
@dijia478
好像有道理。
有时间,我写个DEMO试验。再回复您 ;-)
dijia478
2018-10-27
打赏
举报
回复
kafka自身是通过offset来确定自己是从哪里开始消费的。服务器宕机期间,offset肯定没有提交过,启动后,本来就是从上一次提交的offset开始消费的,也就是你所说的宕机期间的消息。不用特别设置什么
【分布式学习】
消息
中间
件(MQ)学习:
kafka
1,概念
Kafka
是一种高吞吐量的分布式发布订阅
消息
系统,是观察者模式的一种实现。...支持通过
Kafka
服务器和消费机集群来分区
消息
。 支持Hadoop并行数据加载。 Broker
Kafka
集群包含一个或............
kafka
一、
Kafka
概述
Kafka
是点对点的方式 1、
消息
队列
消息
队列内部实现原理 (1)点对点模式(一对一,消费者主动拉取数据,
消息
收到后
消息
清除) 点对点模型通常是一个基于拉取或者轮询的
消息
传送模型,...
Kafka
消息
中间
件(二)(生产与消费全流程)
key.serializer必须
设置
为实现org.apache.
kafka
.common.serialization.Serializer的接口类,
Kafka
的...在发送
消息
时,实现
kafka
Client
的Callback方法,可以以异步的方式接收到RecordMetadata,从而获得
消息
的各种属性。
Kafka
消息
队列详解
Kafka
在0.10.0.0版本以前的定位是分布式,分区化的,带备份机制的日志提交服务。而
kafka
在这之前也没有提供数据处理的顾服务。大家的流处理计算主要是还是依赖于Storm,Spark Stream
ing
,Flink等流式处理框架。Storm...
kafka
基础学习(六):
kafka
代码示例
kafka
代码示例 生成者API在不同版本间无较大变动;消费者(Consumer)提供了两套API 低版本(8.0版本及其以前)API ...消费者断线后会自动根据上次记录在zookeeper中的
offset
接着消费
消息
。 高版本Cons
Java
50,528
社区成员
85,607
社区内容
发帖
与我相关
我的任务
Java
Java相关技术讨论
复制链接
扫一扫
分享
社区描述
Java相关技术讨论
java
spring boot
spring cloud
技术论坛(原bbs)
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章