kafka的client宕机掉线了。重启后，怎么取到中间当机那段时间的消息。 auto_offset设置“earliest”, "from begining"

kingmax54212008 2018-10-27 06:31:22

kafka的client宕机掉线了。重启后，怎么取到中间当机那段时间的消息。 auto_offset设置“earliest”, "from begining",是都不适合的？
具体这个offset怎么设置？有对应的sample例子么？

如何取到client上次宕机上的对应offset偏移？

...全文

672 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

kingmax54212008 2018-10-28

打赏
举报

回复

@dijia478
好像有道理。
有时间，我写个DEMO试验。再回复您 ;-)

dijia478 2018-10-27

打赏
举报

回复

kafka自身是通过offset来确定自己是从哪里开始消费的。服务器宕机期间，offset肯定没有提交过，启动后，本来就是从上一次提交的offset开始消费的，也就是你所说的宕机期间的消息。不用特别设置什么

前言 Kafka有offset的概念，offset记录每个groupId对于每个topic的每个partition里已经提交的读取位置。当comsumer程序失败重启时，可以从这个位置重新读取数据。可以通过如下方法查看一个groupId的offset： root@h2:~# /opt/kafka/bin/kafka-consumer-groups.sh --bootstrap-server h2...

在Kafka服务端中每个分区的每条消息都有唯一的offset，用来表示消息在分区中对应的位置。对于消费者客户端而言，也有一个offset，表示的是消费到分区中某个消息所在的位置。消费者客户端每次调用poll时返回的是未被消费的消息，为了能够知道哪些消息被消费过，哪些消息未被消费，消费者客户端使用offset来记录上一次消费位置。为了做到这一点，需要将消费位移进行持久化而不是简单的保存在内存中，这...

Kaffa 按照时间重置 Topic 的所有分区 offset，时区问题？重置命令无效？一、问题原因本质是 Timestamp 转成 DateTime 会默认读取 JVM 的时区，导致我们指定参数的时间比实际 Kafka 重置 offset 时间早了 8 小时。例如：我们指定参数的时间是 08:00:00 ，但是 kafka 内部的时间会以 16:00:00 重置 offset 。如果我们指定的时间是 8 点，现在时间是 9点，还没有到16:00:00。这样就会导致一个问题，重置命令一直会吧 of

在现代实时应用开发中，WebSocket技术已经成为构建高效双向通信的关键组件。然而，单纯使用WebSocket往往无法满足企业级应用对消息可靠性和持久化的需求。本文将为您详细介绍如何结合async-http-client与Kafka实现WebSocket消息的持久化配置，确保您的实时应用具备高可用性和数据一致性。💪 ## 为什么需要WebSocket消息持久化？ WebSocket提供了全

其实这个检查提交的动作任然是用调用poll的线程去做的。如果是批量消费的listener：那么此时实际的效果就是spring一次性帮我们poll n条消息回来，我们处理完，listener方法返回时，spring触发commit。单条消费的listener：因为单条消费的逻辑在每次处理完每条消息后都有对应的尝试提交的动作，此时如果达到了时间阈值就会提交。单条消费的listener&批量消费的listener此时的逻辑都是一样的，spring帮我们缓存offset的信息，下次poll之前一起提交。

51,408

社区成员

86,096

社区内容

发帖

与我相关

我的任务

javaspring bootspring cloud 技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章