多线程多进程服务的数据队列处理怎么样解决重复读取的问题【很难希望能推荐】
我现在要开发一个多线程的服务来读取数据库表中的队列数据出来进行处理。处理过程中要调用webservice之类的接口,所以处理过程中可能会出错,导致有些数据会处理失败。
另外我这个服务要部署到多台机器同时运行,读取同一个数据库的数据来处理。
现在的疑问就是,怎么保证让每台服务器的服务的每个线程从数据库读取的数据都是不重复的,即数据不被重复读取
表中的数据量非常大,上千万,每天几百万的数量级增加,数据有状态标识,处理过的数据会改变状态