社区
Java
帖子详情
kafka的client宕机掉线了。 重启后,怎么取到中间当机那段时间的消息。 auto_offset设置“earliest”, "from begining"
kingmax54212008
2018-10-27 06:31:22
kafka的client宕机掉线了。 重启后,怎么取到中间当机那段时间的消息。 auto_offset设置“earliest”, "from begining",是都不适合的?
具体这个offset怎么设置? 有对应的sample例子么?
如何取到client上次宕机上的对应offset偏移?
...全文
592
2
打赏
收藏
kafka的client宕机掉线了。 重启后,怎么取到中间当机那段时间的消息。 auto_offset设置“earliest”, "from begining"
kafka的client宕机掉线了。 重启后,怎么取到中间当机那段时间的消息。 auto_offset设置“earliest”, "from begining",是都不适合的? 具体这个offset怎么设置? 有对应的sample例子么? 如何取到client上次宕机上的对应offset偏移?
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
2 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
kingmax54212008
2018-10-28
打赏
举报
回复
@dijia478
好像有道理。
有时间,我写个DEMO试验。再回复您 ;-)
dijia478
2018-10-27
打赏
举报
回复
kafka自身是通过offset来确定自己是从哪里开始消费的。服务器宕机期间,offset肯定没有提交过,启动后,本来就是从上一次提交的offset开始消费的,也就是你所说的宕机期间的消息。不用特别设置什么
【分布式学习】
消息
中间
件(MQ)学习:
kafka
1,概念
Kafka
是一种高吞吐量的分布式发布订阅
消息
系统,是观察者模式的一种实现。 1)特性 通过O(1)的磁盘数据结构提供
消息
的持久化,这种结构对于即使数以TB的
消息
存储也能够保持长时间的稳定性能。 高吞吐量 :即使是非常普通的硬件
Kafka
也可以支持每秒数百万的
消息
。 支持通过
Kafka
服务器和消费机集群来分区
消息
。 支持Hadoop并行数据加载。 Broker
Kafka
集群包含一个或............
kafka
一、
Kafka
概述
Kafka
是点对点的方式 1、
消息
队列
消息
队列内部实现原理 (1)点对点模式(一对一,消费者主动拉取数据,
消息
收到后
消息
清除) 点对点模型通常是一个基于拉取或者轮询的
消息
传送模型,这种模型从队列中请求信息,而不是将
消息
推送 到客户端。这个模型的特点是发送到队列的
消息
被一个且只有一个接收者接收处理,即使有多个
消息
监听者 也是如此。 (2)发布/订阅模式(一对多,数据生产后,推送给所有订阅者) 发布订阅模型则是一个基于推送的
消息
传送模型。发布订阅模型可以
Kafka
消息
中间
件(二)(生产与消费全流程)
key.serializer必须
设置
为实现org.apache.
kafka
.common.serialization.Serializer的接口类,
Kafka
的客户端默认提供了Byt
eAr
raySerializer,IntegerSerializer,Str
ing
Serializer,也可以实现自定义的序列化器。可以通过生成者的send方法进行发送。在发送
消息
时,实现
kafka
Client
的Callback方法,可以以异步的方式接收到RecordMetadata,从而获得
消息
的各种属性。
Kafka
消息
队列详解
Kafka
在0.10.0.0版本以前的定位是分布式,分区化的,带备份机制的日志提交服务。而
kafka
在这之前也没有提供数据处理的顾服务。大家的流处理计算主要是还是依赖于Storm,Spark Stream
ing
,Flink等流式处理框架。Storm,SparkStream
ing
,Flink流处理的三驾马车各有各的优势.Storm低延迟,并且在市场中占有一定的地位,目前很多公司仍在使用。Spark Stream
ing
借助Spark的体系优势,活跃的社区,也占有一定的份额。
kafka
基础学习(六):
kafka
代码示例
kafka
代码示例 生成者API在不同版本间无较大变动;消费者(Consumer)提供了两套API 低版本(8.0版本及其以前)API 高版本(8.0版本后)API 两种API的优缺点: 高版本Consumer API 优点: 高级API写起来简单,易用。 不需要自行去管理
offset
,API已经封装好了
offset
这块的东西,会通过zookeeper自行管理 不需要管理分区,副本等情况,系统自动管理 消费者断线后会自动根据上次记录在zookeeper中的
offset
接着消费
消息
。 高版本Cons
Java
51,397
社区成员
85,845
社区内容
发帖
与我相关
我的任务
Java
Java相关技术讨论
复制链接
扫一扫
分享
社区描述
Java相关技术讨论
java
spring boot
spring cloud
技术论坛(原bbs)
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章