mysql百万级别数据去重,现有方法效率很低求指教
现在想保留商品重复数据id最低的一行,其余删除。
现有去重方法:
delete from 表名 where id not in (select minid from (select min(id) as minid from qiong_goods group by goods_id) b);
数据量几万的时候还行,超过200W的时候跑了一个多钟。
请大神指教。
相关推荐
mysql优化小技巧之去除重复项实现方法分析【百万级数据】
本文实例讲述了mysql优化小技巧之去除重复项实现方法。分享给大家供大家参考,具体如下: 说到这个去重,脑仁不禁得一疼,尤其是出具量比较大的时候。毕竟咱不是专业的DB,所以嘞,只能自己弄一下适合自己去重方法了。 首先按照常规首段,使用having函数检查重复项,完事一个一个的删除。不要问我having检测重复项的sql咋写,你懂得哈。。。这个在只有几条重复的时候还可以。要是几千上万条不同数据重复,那咋办。。。 完事呢,咱就考虑了,用having函数查询的时候,原始sql如下: select `name`,count(*) as count from sentence group by `na
MySQL数据表合并去重的简单实现方法
场景: 爬取的数据生成数据表,结构与另一个主表相同,需要进行合并+去重 解决:(直接举例) 首先创建两个表pep,pep2,其中pep是主表 CREATE TABLE IF NOT EXISTS `pep/pep2`( `id` INT UNSIGNED AUTO_INCREMENT, `no` VARCHAR(100) NOT NULL, PRIMARY KEY ( `id` ) )ENGINE=InnoDB DEFAULT CHARSET=utf8; 然后向pep中插入两条数据,pep2中插入一条与pep中相同的一条数据 insert into pep(no) values('ab
mysql百万级测试数据下载 300W条
资源是.sql文件压缩后上传(文件太大,解压后470多M)。用navicat导入实测用时5分钟,数据量300W条。快速获取百万级真实测试数据。
将MySQL去重操作优化到极致的操作方法
主要介绍了如何将MySQL去重操作优化到极致,本文给大家介绍的非常详细,具有一定的参考借鉴价值,需要的朋友可以参考下
MySQL 百万级分页优化(Mysql千万级快速分页)
MySQL 百万级分页优化(Mysql千万级快速分页),主要解决大数量级的优化


