30,001
社区成员
发帖
与我相关
我的任务
分享
需求描述
需要用java代码从同一个kafka集群里面A、B两个topic里面获取数据并处理
问题 两段消费的代码几乎一致,然后本地idea启动代码能成功消费到A的数据,也能消费到B的数据,本地代码消费的kafka集群就是公司测试环境的。
但是神奇的事情来了,打包放在测试环境用linux命令去启动jar包,死活消费不到B的数据。因为公司topicB的数据是从大数据处理后往kafka发送的消息。
于是乎,我尝试着自己新建了一个topic区替换B,然后测试环境能够消费到我发送的消息,然后我又把大数据的程序关了,自己往B发送数据,在测试环境
也能消费到发送的消息(groupId都是换包的时候随机敲的,不存在冲突的问题)
ps:为了方便理解 现总结变量
1、本地代码能成功消费,测试环境无法消费,groupid都不一样,都是随机的
2、topicA能消费,topicB无法消费,从kafka取数据的代码都一致
3、自定义一个新的topic替换topicB能消费到
4、大数据端关闭能够消费到topicB的数据