社区
Java
帖子详情
Kafka 数据丢失和重复消费问题
伟洪winni
2019-11-26 08:21:20
如何处理 kafka 数据丢失和重复消费问？ 回调函数在消费前和消费用去检查偏移量的变化？？
...全文
528
3
打赏
收藏
Kafka 数据丢失和重复消费问题
如何处理 kafka 数据丢失和重复消费问？ 回调函数在消费前和消费用去检查偏移量的变化？？
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
3 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
伟洪winni
2019-11-29
打赏
举报
回复
伟洪winni
2019-11-28
打赏
举报
回复
伟洪winni
2019-11-27
打赏
举报
回复
关于kafka重复消费的问题你们是怎么解决的？我看网上说引入第三方中间键redis, 每次消费前先判断该消息是否存在Redis, 没有则进行消费， 消费完再将该条记录的唯一标识存入Redis中。 重复消费是因为业务处理完后偏移量修改失败的导致的， 但是引入Redis的也话会出现Redis写失败啊， 问题就没解决啊
【
Kafka
】
Kafka
的
重复
消费
和消息
丢失
问题
而
消费
者从
Kafka
集群中拉取消息进行
消费
，无论是生产者发送消息到
Kafka
集群还是
消费
者从
Kafka
集群中拉取消息进行
消费
，都是容易出现
问题
的，比较典型的就是
消费
端的
重复
消费
问题
、生产端和
消费
端产生的消息
丢失
问题
...
Kafka
的
数据
丢失
和
重复
消费
Kafka
的
数据
丢失
和
重复
消费
遇到
kafka
消息
丢失
和
重复
消费
问题
该如何处理
前段时间在工作中实际遇到了
kafka
消费
的
问题
，通过查找定位并解决了
问题
，做些分享。提示以下是本篇文章正文内容，下面案例可供参考第一次写。。。写得不咋地。。。。
大
数据
篇--
Kafka
数据
丢失
、
重复
与消息顺序保证
文章目录一、
Kafka
如何实现每秒上百万的超高并发写入二、
数据
重复
1.Consumer
重复
消费
数据
：三、
数据
丢失
四、
Kafka
的优化建议1.broker端： 一、
Kafka
如何实现每秒上百万的超高并发写入
Kafka
是高吞吐低延迟的高...
kafka
丢失
和
重复
消费
数据
Kafka
作为当下流行的高并发消息中间件，大量用于
数据
采集，实时处理等场景，我们在享受他的高并发，高可靠时，还是不得不面对可能存在的
问题
，最常见的就是丢包，重发
问题
。1、丢包
问题
：消息推送服务，每天早上，...
Java
50,545
社区成员
85,620
社区内容
发帖
与我相关
我的任务
Java
Java相关技术讨论
复制链接
扫一扫
分享
社区描述
Java相关技术讨论
java
spring boot
spring cloud
技术论坛（原bbs）
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章
发帖
与我相关
我的任务
分享
