kafka consumer重新连接后如何获取当前最新数据

qiaotongzxcv 2016-04-01 03:20:29

producer一直生产消息到topic1中，consumer1获取该topic的消息，group.id为client1，该group中只有consumer1这一个消费者，某一时刻关闭这个consumer1，一段时间后重新启动consumer1，其group.id仍旧设置为client1，获取到的消息流是从上次断开的时刻开始的，而中间这段时间产生的消息我不需要，如何让这个consumer1获取到的数据流是producer从consumer1重新启动的这个时刻开始产生的消息，让consumer1获取最新的消息

...全文

3555 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

yr54845 2016-07-30

打赏
举报

回复

我也遇到这个问题，你是怎么解决的啊

背景 kafka的主要功能 kafka核心API 基本术语 Topic Producer Consumer Broker 版本依赖包常用命令参考文章背景最近在公司老大要做一个kafka consumer接收kafka server的message，其实很简单的一个功能，用kafka都有些大材小用了，一般的JMS都可以了。之前没有用过k...

从kafka的0.8.11版本开始，它会将consumer的offset提交给ZooKeeper。然而当offset的数量(consumer数量 * partition的数量)的很多的时候，ZooKeeper的适应性就可能会出现不足。幸运的是，Kafka现在提供了一种理想的机制来存储Consumer的offset。Kafka现在是将Consumer的offset写入到一个分布式持久化的、高可用的t...

与KafkaProducer不同的是，KafkaConsumer不是一个线程安全的类。为了便于分析，我们认为下面介绍的所有操作都是在同一线程中完成的，所以不需要考虑锁的问题。这种设计将实现多线程处理消息的逻辑转移到了调用KafkaConsumer的代码中，可以根据业务逻辑使用不同的实现方式。例如，可以使用“线程封闭”的方式，每个业务线程拥有一个KafkaConsumer对象，这种方式实现简单、快速。还可以使用两个线程池实现“生产者—消费者”模式，解耦消息消费和消息处理的逻辑。

Consumer消费数据流程流程描述 Consumer连接指定的Topic partition所在leader broker，采用pull方式从kafkalogs中获取消息。对于不同的消费模式，会将offset保存在不同的地方官网关于high level API 以及low level API的简介 http://kafka.apache.org/0100/documentation...

文章目录前言Consumer概要Consumer程序开发Consumer常用参数说明消息解序列化多线程处理消费消息源码解析总结前言 KafkaProducer作为生产者发送消息到Kafka，那么自然也就需要从kafka读取消息，这就是KafkaConsumer，通过和Producer使用相同的topic约定来消费指定数据，使用kakfa就是缓冲消息，消费端才是处理消息的中心，数据处理的业务逻辑都...

高性能计算

2,408

社区成员

1,024

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章