读取数据重复问题

尐千叶 2020-07-10 03:23:17

N个服务如何保证每个服务拿到的都是不重复的数据
以前我的实现方式是只开一个服务专门去取数据，然后放到队列里，其他服务直接在队列里取
现在想每个服务和取数据服务合并
如何做到这一点呢

...全文

230 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

尐千叶 2020-07-10

打赏
举报

回复

引用 1 楼大雨将至的回复:

可以用id对服务个数取模

不过你这个也是一种方案

尐千叶 2020-07-10

打赏
举报

回复

引用 1 楼大雨将至的回复:

可以用id对服务个数取模

这个是动态的。服务个数不确定，我把服务部署在容器里的

大雨将至 2020-07-10

打赏
举报

回复

可以用id对服务个数取模

服务端开发与MySQL数据库交互时，因数据量大等常需分页读取数据。但分页读取可能出现不同页存在相同数据的问题，主要有同时读写操作和无法准确排序两种情况。本文分析了这两种情况导致数据重复的原因，并给出了相应的解决方案。

本文探讨了使用Redis从Oracle数据库批量读取数据时遇到的重复数据问题，并提供了两种SQL解决方案。一种未加排序，可能导致数据重复或丢失；另一种加入排序，确保数据完整性和一致性。文章还分析了rownum在不同场景下的应用效果。

文章讨论了在Go代码中，由于`iter.Value()`返回指针类型，可能导致切片中所有副本共享同一对象的问题。作者提供了通过复制值来创建独立副本的解决方案，以防止后续修改影响其他副本。

本文探讨多线程的实际应用场景及优势，包括发挥多核CPU效能、防止程序阻塞及简化程序建模等。同时深入剖析多线程创建方式、线程启动机制、不同接口的区别，以及并发控制工具CyclicBarrier和CountDownLatch的对比。

本文详细介绍如何使用Logstash从MySQL读取数据并同步至Elasticsearch，解决数据重复问题，包括单日和多日重复记录，以及多路径输入问题。

57,063

社区成员

56,759

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章