多线程情况下处理重复数据的问题，请高手解答

[aawwmate]

小弟，最近一个项目，遇到一个终端设备，可以同时通过多个代理网关上传数据，数据完全一样，时间间隔很小。
数据内容包含设备ID和设备内容，没有流水号。
请问怎么在服务器端进行处理，对于同一条数据只允许写入一次数据库。
这样的终端有几百个，需要考虑并发压力问题，使用的方法不能太耗服务器资源。请高手提示。

[aawwmate]

没人吗，自己顶一下

[「已注销」]

记录存入数据库，同时记录的哈希值存入map缓存，收到新记录后先计算哈希，先在缓存中判断是否存在

[qybao]

几百个终端，平均每个终端每秒请求多少次？你的服务器端是只有一台服务器还是多台服务器负载均衡？ 可以考虑用N-SQL数据库作缓存，如redis，mongodb，思路如1L所说。