请教数据过滤得问题

yyzhao21 2006-12-31 03:39:54

目前做一个项目，有频繁的数据接收，但对方每次却是一条数据发送2次，所以想要避免这种数据继续向下流动，就在数据分析的时候，把这样的数据过滤掉，数据频率比较大，大概一分钟几千条。目前打算每条数据构建一个字符串，用std::set<string>判断是否重复，但效率比较差。请教各位达人们有什么好的办法吗？小弟谢了先：）

...全文

95 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

qiek 2006-12-31

打赏
举报

回复

只在std::set<string>中存储最近的几条，只在几条中判断，不知是否能满足你的需要

#《5天Python闯关训练营》学习计划#挑战周期：12月16日—12月20日直播安排：开班典礼：12...完成相应的软件安装及环境搭建学习服务：12.16-12.20日为本课正式服务周期期间遇到学习问题可社群请教，群内安排助教老师答疑

场景： 1. 2个数据库在做数据同步的传输，数据库A为 mysql 数据库B 为 sqlserver 2. 每次将数据库A的表table1 同步到数据库B的table2 3. 同步的时候是根据主键GID 为唯一性的判断， GID+时间+ 状态码是更新的判断依据 4. 同步数据的过程中，table 1 是根据查询的时间进行了条件过滤，因此 table 1 的数据行是有控制的问题点：...

HBase为筛选数据提供了一组过滤器，通过这个过滤器可以在HBase中的数据的多个维度(行，列，数据版本)上进行对数据的筛选操作，也就是说过滤器最终能够筛选的数据能够细化到具体的一个存储单元格上(由行键，列明，时间戳定位)。通常来说，通过行键，值来筛选数据的应用场景较多。1. RowFilter：筛选出匹配的所有的行，对于这个过滤器的应用场景，是非常直观的：使用BinaryComparator可以...

我的上一篇文章有讲到，如何使用布隆过滤器来防止内存穿透，但是有一个小问题，就是我将ID添加到布隆过滤器，以此来排除非法ID大量请求，造成内存穿透的问题，可是当我每一次重启项目，布隆过滤器里面的数据就会失效，就会导致我本地有效ID，被拦截无法查询，下面我提供一个简单有效的一个方法，来防止这种情况出现。需要频繁启动的项目估计，估计都是学习，也不会在乎这差这么两三次，不需要频繁启动的项目，也只是增加第一次启动时的时间，所以个人感觉问题并不是很大，如果有更好的方法，也欢迎评论区提出，我虚心请教学习。

文章目录一、长尾理论二、协同过滤介绍1.基于用户的协同过滤算法（User-based CF，简称UserCF）一、长尾理论 wiki链接：https://wiki.mbalib.com/wiki/%E9%95%BF%E5%B0%BE%E7%90%86%E8%AE%BA 长尾头部的商品往往代表了绝大多数用户的需求而长尾中的商品往往代表了一小部分用户的个性化需求。因此如果要通过发掘长尾来提高销售额就必须充分研究用户的个性化兴趣。而这正是个性化推荐系统主要解决的问题。推荐系统通过发掘用户的行为找到用户

18,356

社区成员

64,214

社区内容

发帖

与我相关

我的任务

c++c语言开发语言技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章