求助!千万级MySQL去冗余数据
最近在做一个业务,数据清洗方面的。其中有一个步骤是要对表进行去冗余操作。
数据库是:MySQL5.7。
表引擎用的是:MyISAM。
数据量:两千万。
目前的业务是需要对这张表进行去冗余操作。不是针对某个字段,而是指除了id之外(ID在执行这一不前已经删除)其余字段值都相同。
目前采取的的sql是:
1.create table `table1` as select * from `table0` where 1=2;
insert into tsble1 select distinct * from `table0`
2.craeate table ` table1` as select distinct * from `table0`;
但是,这两个方法在效率上太低了,
第一个方法执行了差不多一天时间。
服务器的内存够,这台服务器就是专门来跑数据的。
第二个方法还在测时间,但估计不会节省多少时间。后面还有几张大数据量的表。求大神给个解决的思路。