mysql百万级别数据去重,现有方法效率很低求指教

oqqNick85557692 oqqNick85557692 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区
自己写了个淘宝商品采集,每天能采集200W以上商品数据,无奈商品id(goods_id)重复率太高。

现在想保留商品重复数据id最低的一行,其余删除。

现有去重方法:
delete from 表名 where id not in (select minid from (select min(id) as minid from qiong_goods group by goods_id) b);


数据量几万的时候还行,超过200W的时候跑了一个多钟。

请大神指教。

...全文

相关推荐

mysql优化小技巧之去除重复项实现方法分析【百万级数据】

本文实例讲述了mysql优化小技巧之去除重复项实现方法。分享给大家供大家参考,具体如下: 说到这个去重,脑仁不禁得一疼,尤其是出具量比较大的时候。毕竟咱不是专业的DB,所以嘞,只能自己弄一下适合自己去重方法了。 首先按照常规首段,使用having函数检查重复项,完事一个一个的删除。不要问我having检测重复项的sql咋写,你懂得哈。。。这个在只有几条重复的时候还可以。要是几千上万条不同数据重复,那咋办。。。 完事呢,咱就考虑了,用having函数查询的时候,原始sql如下: select `name`,count(*) as count from sentence group by `na

weixin_38621624

MySQL数据表合并去重的简单实现方法

场景: 爬取的数据生成数据表,结构与另一个主表相同,需要进行合并+去重 解决:(直接举例) 首先创建两个表pep,pep2,其中pep是主表 CREATE TABLE IF NOT EXISTS `pep/pep2`( `id` INT UNSIGNED AUTO_INCREMENT, `no` VARCHAR(100) NOT NULL, PRIMARY KEY ( `id` ) )ENGINE=InnoDB DEFAULT CHARSET=utf8; 然后向pep中插入两条数据,pep2中插入一条与pep中相同的一条数据 insert into pep(no) values('ab

weixin_38747216

mysql百万级测试数据下载 300W条

资源是.sql文件压缩后上传(文件太大,解压后470多M)。用navicat导入实测用时5分钟,数据量300W条。快速获取百万级真实测试数据。

nydxsy

将MySQL去重操作优化到极致的操作方法

主要介绍了如何将MySQL去重操作优化到极致,本文给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下

weixin_38526751

MySQL 百万级分页优化(Mysql千万级快速分页)

MySQL 百万级分页优化(Mysql千万级快速分页),主要解决大数量级的优化

yhm7989
评论 7
收藏 已收藏
分享
返回顶部
oqqNick85557692
MySQL 57,062 成员 56,759 内容