社区
MySQL
帖子详情
读取数据重复问题
尐千叶
2020-07-10 03:23:17
N个服务 如何保证每个服务拿到的都是不重复的数据
以前我的实现方式是只开一个服务专门去取数据,然后放到队列里,其他服务直接在队列里取
现在想每个服务和取数据服务合并
如何做到这一点呢
...全文
196
3
打赏
收藏
读取数据重复问题
N个服务 如何保证每个服务拿到的都是不重复的数据 以前我的实现方式是只开一个服务专门去取数据,然后放到队列里,其他服务直接在队列里取 现在想每个服务和取数据服务合并 如何做到这一点呢
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
3 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
尐千叶
2020-07-10
打赏
举报
回复
引用 1 楼 大雨将至 的回复:
可以用id对服务个数取模
不过你这个也是一种方案
尐千叶
2020-07-10
打赏
举报
回复
引用 1 楼 大雨将至 的回复:
可以用id对服务个数取模
这个是动态的。服务个数不确定,我把服务部署在容器里的
大雨将至
2020-07-10
打赏
举报
回复
可以用id对服务个数取模
c# serialport sample(1)
http://blog.csdn.net/wuyazhe/archive/2010/05/17/5598945.aspx 博客文章的配套代码。希望能帮助到你。
kafka
重复
数据读取原因
之前一直遇到kafka数据读取
重复
的
问题
,但都通过一些方式去避免了,今天专门去探究了下原因。出现这个
问题
,一般都是设置kafkaoffset自动提交的时候发生的。原因在于数据处理时间大于max.poll.interval.ms(默认300s),导致offset自动提交失败,以致offset没有提交。重新
读取数据
的时候又会读取到kafka之前消费但没有提交offset的数据,从而导致读...
重复
读取 request 流数据
前言 2021.10.15 起因是在项目中,我自己习惯都是在拦截器中拿参数、打日志。 但是一个接口对接方比较独特,参数都写在 request流 里面 也是第一次遇到。 但是
问题
是,request 流中的数据,只能被读取一次,现在日志打印读取了,后面 controller 里就没有了。
问题
复现 接口接收数据对象: @Data public class QueryDTO { public String id; public Integer type; } 接口方法: @RestCont
Flume KafkaChannel数据
重复
问题
近期笔者在生产环境中使用Flume的hdfssink读取kafkachannel中的数据,然后写到hdfs文件中,出现了数据
重复
采集的状况,为此,开启了一次Flume数据传输流程的探索。
问题
现象 最先发现
问题
是在hdfs中发现很多大小一模一样的文件,原本以为到达了Flume的采集能力上限导致只能写这么多数据,结果把文件拉下来进行MD5校验发现所有的文件是一样的,这意味着我们的文件采集
重复
了,接...
spark写入es出现部分数据
重复
问题
排查和解决
问题
背景 作业流程是从hive
读取数据
处理后写入es,一直跑的很正常,突然今天发现部分数据
重复
了
问题
排查 由于是长期正常运行的作业未发生变更,且排查了上游hive表不存在数据
重复
问题
,首先排除了数据和逻辑
问题
spark作业是运行成功的,不存在作业失败重试的
问题
推测是spark作业内部存在失败重试的
问题
,于是查看了spark history job的 timeline看到下面这个图表,可以确认是由于11、13节点在写入部分数据后失败了,yarn启动了21、22重新执行导致11、13写入的数据又
MySQL
56,940
社区成员
56,756
社区内容
发帖
与我相关
我的任务
MySQL
MySQL相关内容讨论专区
复制链接
扫一扫
分享
社区描述
MySQL相关内容讨论专区
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章