读取数据重复问题

尐千叶 2020-07-10 03:23:17

N个服务如何保证每个服务拿到的都是不重复的数据
以前我的实现方式是只开一个服务专门去取数据，然后放到队列里，其他服务直接在队列里取
现在想每个服务和取数据服务合并
如何做到这一点呢

...全文

209 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

尐千叶 2020-07-10

打赏
举报

回复

引用 1 楼大雨将至的回复:

可以用id对服务个数取模

不过你这个也是一种方案

尐千叶 2020-07-10

打赏
举报

回复

引用 1 楼大雨将至的回复:

可以用id对服务个数取模

这个是动态的。服务个数不确定，我把服务部署在容器里的

大雨将至 2020-07-10

打赏
举报

回复

可以用id对服务个数取模

- 读取数据：使用`mySerialPort.ReadLine()`或`mySerialPort.ReadExisting()`方法读取串口接收到的数据。 - 写入数据：使用`mySerialPort.WriteLine(data)`或`mySerialPort.Write(data)`方法将数据发送到串口。 4...

对于json这种输入流的数据就会有问题，统一处理如果读取了数据流就会将流进行关闭，这就会导致接下来的业务处理无法读取数据流。封装成这个类就是为了解决需要重复读取输入流的地方就使用这个包装类替换原有的...

但是问题是，request 流中的数据，只能被读取一次，现在日志打印读取了，后面 controller 里就没有了。问题复现接口接收数据对象： @Data public class QueryDTO { public String id; public Integer type; } ...

近期笔者在生产环境中使用Flume的hdfssink读取kafkachannel中的数据，然后写到hdfs文件中，出现了数据重复采集的状况，为此，开启了一次Flume数据传输流程的探索。问题现象最先发现问题是在hdfs中发现很多大小...

综上所述，HDFS的数据读取流程包括客户端发起读取请求、主节点处理请求、客户端获取数据块位置信息、客户端与数据节点建立连接、客户端发送读取请求给数据节点、数据节点读取数据块、客户端接收数据块、客户端处理...

57,064

社区成员

56,760

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章