读取数据重复问题

尐千叶 2020-07-10 03:23:17

N个服务如何保证每个服务拿到的都是不重复的数据
以前我的实现方式是只开一个服务专门去取数据，然后放到队列里，其他服务直接在队列里取
现在想每个服务和取数据服务合并
如何做到这一点呢

...全文

196 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

尐千叶 2020-07-10

打赏
举报

回复

引用 1 楼大雨将至的回复:

可以用id对服务个数取模

不过你这个也是一种方案

尐千叶 2020-07-10

打赏
举报

回复

引用 1 楼大雨将至的回复:

可以用id对服务个数取模

这个是动态的。服务个数不确定，我把服务部署在容器里的

大雨将至 2020-07-10

打赏
举报

回复

可以用id对服务个数取模

http://blog.csdn.net/wuyazhe/archive/2010/05/17/5598945.aspx 博客文章的配套代码。希望能帮助到你。

之前一直遇到kafka数据读取重复的问题，但都通过一些方式去避免了，今天专门去探究了下原因。出现这个问题，一般都是设置kafkaoffset自动提交的时候发生的。原因在于数据处理时间大于max.poll.interval.ms（默认300s），导致offset自动提交失败，以致offset没有提交。重新读取数据的时候又会读取到kafka之前消费但没有提交offset的数据，从而导致读...

前言 2021.10.15 起因是在项目中，我自己习惯都是在拦截器中拿参数、打日志。但是一个接口对接方比较独特，参数都写在 request流里面也是第一次遇到。但是问题是，request 流中的数据，只能被读取一次，现在日志打印读取了，后面 controller 里就没有了。问题复现接口接收数据对象： @Data public class QueryDTO { public String id; public Integer type; } 接口方法： @RestCont

近期笔者在生产环境中使用Flume的hdfssink读取kafkachannel中的数据，然后写到hdfs文件中，出现了数据重复采集的状况，为此，开启了一次Flume数据传输流程的探索。问题现象最先发现问题是在hdfs中发现很多大小一模一样的文件，原本以为到达了Flume的采集能力上限导致只能写这么多数据，结果把文件拉下来进行MD5校验发现所有的文件是一样的，这意味着我们的文件采集重复了，接...

问题背景作业流程是从hive读取数据处理后写入es，一直跑的很正常，突然今天发现部分数据重复了问题排查由于是长期正常运行的作业未发生变更，且排查了上游hive表不存在数据重复问题，首先排除了数据和逻辑问题 spark作业是运行成功的，不存在作业失败重试的问题推测是spark作业内部存在失败重试的问题，于是查看了spark history job的 timeline看到下面这个图表，可以确认是由于11、13节点在写入部分数据后失败了，yarn启动了21、22重新执行导致11、13写入的数据又

56,940

社区成员

56,756

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章