1. 我是用java写的代码，部署在tomcat
2. 另一个应用也是用同样的代码，没有出现消息堆积
3. 消息量不大，一分钟不到10条
4. 在这台服务器上基本无法消费，看日志昨晚12点多的时候消费了几条又停了
5. kafka没有出现宕机的情况
6. 本地用同样的consumer组、同样的代码、连接同样的zookeeper，是可以正常消费的，部署到生产环境就不行
刚接触kafka，搞了两天还没找到问题，麻烦各位兄弟帮忙分析一下
-
本版专家分：0结帖率 96.55% -
如题，kafka出现严重的消息堆积，求大伙帮忙看一下，下面对背景做一些说明：
1. 我是用java写的代码，部署在tomcat
2. 另一个应用也是用同样的代码，没有出现消息堆积
3. 消息量不大，一分钟不到10条
4. 在这台服务器上基本无法消费，看日志昨晚12点多的时候消费了几条又停了
5. kafka没有出现宕机的情况
6. 本地用同样的consumer组、同样的代码、连接同样的zookeeper，是可以正常消费的，部署到生产环境就不行
刚接触kafka，搞了两天还没找到问题，麻烦各位兄弟帮忙分析一下展开阅读全文
-
本版专家分：12
-
楼主找到原因或者解决了吗？我也遇到了相同的问题，求分享。
-
本版专家分：0
-
不好意思，刚看到，我的解决了，但是还不知道原因。
我是直接换了一个新的consumer组，然后就能正常消费了
-
本版专家分：10
-
本版专家分：0
-
你好，楼主，换消费组之后这个问题没有在重现过来吗？？？
-
本版专家分：0
-
我测试环境和本地都没有出现，一上生产都出现这个问题，
- kafka消费不到消息原因
今天安装chd6.1安装完里面把组件kafka集成到集群里,集群内仅配置一个broker，但是kafka里的offsets.topic.replication.factor=3 由于一台机器--replication-factor 超过1会报错，在创建topic时我只能赋值 --...
- kafka消费者无法消费异常
今天被一个kafka消费异常折磨了一天，头差点炸了，还好最后解决了它 异常：服务器：record is corrupt（记录损坏）不明原因 有可能磁盘空间不足导致 导致消费者无法正常消费消息 卡在某一个offset 不能继续消费 ...
- kafka踩坑之消费者收不到消息
生产者发送消息，客户端始终消费不到 原因： 客户端版本与服务端不一致 解决： 我这里服务端使用的是:kafka_2.10-0.8.2.1.tgz，客户端原来使用的是0.8.1，需要改为： <dependency> <...
- kafka消费消息失败，原来是配置问题导致
14:46:14 [kafka-producer-network-thread | producer-1] ERROR o.s.k.s.LoggingProducerListener - Exception thrown when sending a message with key='null' and payload='{"depth":1,"direction":"SELL","highes...
- kafka消费者会出现的一些问题和解决办法
原因：kafka的consumer消费数据时首先会从broker里读取一批消息数据进行处理，处理完成后再提交offset。而我们项目中的consumer消费能力比较低，导致取出的一批数据在session.timeout.ms时间内没有处理完成，自动...
- Kafka的坑： 消费者无法消费消息
问题：今天使用Kafka做一个小DEMO，但运行的时候，可以在控制台上看到生产者发送的消息，无法看到消费者在消费消息，但通过命令行可以看到消费者消费的消息。 生产者应该是没有问题的，给出消费者的代码： /** * ...
- kafka如何消费消息
转载自：http://generalcode.cn/archives/255消费者与消费组假设这么个场景：我们从Kafka中读取消息，并且进行检查，最后产生结果数据。我们可以创建一个消费者实例...Kafka消费者是消费组的一部分，当多个消费者形...
- 消息中间件（四）之-kafka重复消费问题
其实kafka的重复消费问题究其底层根本原因就是：已经消费了数据，但是offset没提交(kafka没有或者不知道该数据已经被消费)。 基于这种原因总结以下几个易造成重复消费的配置：原因1：强行kill线程，导致消费后的数据...
- kafka消费者消费消息的流程
1.1消费流程 ...消息代理在将消息推送到消费者后，标记这条消息已经消费，但这种方式无法很好地保证消费被处理。如果要保证消息被处理，消息代理发送完消息后，要设置状态为“已发送”，只要收到消费者的...
- kafka不消费消息
新增一个新的topic，查日子看到消息发送成功，但是没有被消费，检查了代码，发现没有将新topic添加到消费者容器配置中，添加配置信息后就可以消费新topic的消息了。spring.kafka.member.privilege.buy.topic是我新加...
- 解决Kafka重复消费问题
1.问题背景 某服务（用了SpringBoot + spring-kafka）...Kafka消费者有两个配置参数： max.poll.interval.ms 两次poll操作允许的最大时间间隔。单位毫秒。默认值300000（5分钟）。 两次poll超过此时间间隔，Kafk...
- Spring-kafka遇到的消息重复消费问题
问题描述：kafka的某些topic在消费完毕后一段时间，重启唯一消费者，offset会重置为最小offset重新消费，一直导致kafka消费的重复消费问题。 问题产生原因：是offset信息过期导致的。我一直以为消费者保持在线，最新...
- kafka消息消费原理
消费端如何指定消费的分区 通过下面的代码，就可以消费指定该 topic 下的 0 号分区。其他分区的数据就无法接收 // 消费指定分区的时候，不需要再订阅 //kafkaConsumer.subscribe(Collections.singletonList(topic...
- kafka重复消费问题
kafka的consumer消费数据时首先会从broker里读取一批消息数据进行处理，处理完成后再提交offset。而我们项目中的consumer消费能力比较低，导致取出的一批数据在session.timeout.ms时间内没有处理完成，自动提交...
- Kafka中的消息的丢失和重复消费问题
思考：Kafka中的消息会不会丢失或重复消费呢？为什么呢？ 要确定Kafka的消息是否丢失或重复，从两个方面分析入手：消息发送和消息消费 1、消息发送 Kafka消息发送有两种方式：同步（sync）和异步（async），默认是...
- Kafka如何解决消息丢失问题，消费重复问题
Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于...
- Kafka基础-消费者读取消息
1. Kafka消费者概念 1.1 消费者和消费者组 当你只有一个消费者而且生产者发送消息的速率比消费者读取消息的速率要快的时候，处理新消息就会造成延时，显然需要配置多个消费者去读取消息。Kafka的消费者是消费者组...
- kafka消费者无法消费信息
在生产环境部署kafka集群和消费者服务器后，通过logstash向kafka集群发送实时日志，消费者也能正常消费...3：kafka集群有三台服务器，查问题的时候发现，kafka消费者只连接到了一台broker上，不知道这是不是原因所在。
- kafka如何保证消息不丢失不被重复消费
文章目录kafka如何保证消息不丢失不被重复消费消息的发送机制消息的接受机制消息的重复消费如何解决 kafka如何保证消息不丢失不被重复消费 在解决这个问题之前，我们首先梳理一下kafka消息的发送和消费机制。 消息的...
- Kafka 消费者消费消息的顺序性问题
一、确保消费者消费的消息是顺序的，需要把消息存放在同一个topic的同一个分区下： 如：生产者需要按顺序写入数据 1 2 3 4 5 6 ，消费者需要消费顺序也必须为 1 2 3 4 5 6 创建话题： bin/kafka-topics.sh --...