怎么删除完全重复的数据啊

2017-10-19 10:36:45 1.1k 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

删除掉mysql数据库某张表中完全重复数据的方法需要处理的表大概包含400万条数据，首次运行php代码之后发现完全重复的数据有很多，原因可能是导入时重复导入某张表(当时一起导入超过30份数据到同一个表可能出错)，也有可能拿到的数据中存在重复数据，因此我萌生了删除掉重复数据只剩一个的想法。在网上没有找到太多的资料，因为我想要删除的是表中内容完全一致的条目而且具有多个主键，而网上只有这里找到了一个删除除了自动编号不同,其他都相同的学生冗余信息的阅读详情

用distinct *from 表行不通，有别的方法吗

...全文

西门子1200与FANUC机器人Profinet通讯近期在做发那科FANUC的通讯，会吧CC-LINK、Profibus-DP、Profinet I/O、DeviceNet、EtherNet/IP这些常用通讯做成文档发上来，大家喜欢的话可以关注注：做对应的通讯，在机器人控制柜都需要安装对应的板卡以及软件功能 PLC项目已经归档，只需要恢复就可以看到。对应Profinet通讯的GSD文件也都在博文最后有连接机器人柜子：R-30IB Mate 机器人主体：M-10IA 12 一、硬件介绍机器人Profinet I/O通讯板卡：... 阅读详情

qq_40656191

MS-SQL Server 34,876 成员 254,635 内容

+ 关注 + 加入社区

切换为时间正序

砸死牛顿的苹果 2017-10-21

打赏
举报

楼上这是最早的版本的写法而且效率稍微低了一些~

日月路明 2017-10-20

打赏
举报

有一个终极解决方法，可以适应所有表的处理，大体上是这样 select distinct * into TempTable from Tablea delete from Tablea 这个有一个小缺陷，如股票有自增字段，需要这样写 set identity_insert Tablea on insert into tablea select * from TempTable set identity_insert Tablea off

繁花尽流年 2017-10-19

打赏
举报

3楼那个就可以，逻辑就是完全一样的数据给他个自增序号，然后保留序号1的记录就行了。

吉普赛的歌版主 2017-10-19

打赏
举报

哦，你要的是完全重复，也差不多吧：

USE tempdb
GO
IF OBJECT_ID('t') IS NOT NULL DROP TABLE t
CREATE TABLE t(
n NVARCHAR(20)	
)
INSERT INTO t (n) VALUES ('1')
INSERT INTO t (n) VALUES ('1')
INSERT INTO t (n) VALUES ('2')
INSERT INTO t (n) VALUES ('2')
INSERT INTO t (n) VALUES ('3')

;WITH cte AS (
SELECT ROW_NUMBER() OVER (PARTITION BY n ORDER BY (select 1)) AS rid,* FROM t	
)
DELETE FROM cte 
WHERE rid!=1

SELECT * FROM t
/*
n
--------------------
1
2
3
*/

吉普赛的歌版主 2017-10-19

打赏
举报

USE tempdb
GO
IF OBJECT_ID('t') IS NOT NULL DROP TABLE t
CREATE TABLE t(
id INT IDENTITY(1,1) PRIMARY KEY,
n NVARCHAR(20)	
)
INSERT INTO t (n) VALUES ('1')
INSERT INTO t (n) VALUES ('1')
INSERT INTO t (n) VALUES ('2')
INSERT INTO t (n) VALUES ('2')
INSERT INTO t (n) VALUES ('3')

;WITH cte AS (
SELECT ROW_NUMBER() OVER (PARTITION BY n ORDER BY id ASC) AS rid,* FROM t	
)
DELETE FROM cte 
WHERE rid!=1

SELECT * FROM t
/*
id          n
----------- --------------------
1           1
3           2
5           3
*/

二月十六版主 2017-10-19

打赏
举报

--测试数据

if not object_id(N'Tempdb..#T') is null

	drop table #T

Go

Create table #T([a] int,[b] int,[c] int)

Insert #T

select 1,1,1 union all

select 2,2,2 union all

select 1,1,1 union all

select 3,3,1 union all

select 1,1,2

Go

--测试数据结束

DELETE  a

FROM    #T a

        JOIN ( SELECT   a ,

                        b ,

                        c

               FROM     #T

               GROUP BY a ,

                        b ,

                        c

               HAVING   COUNT(1) > 1

             ) t ON t.a = a.a

                    AND t.b = a.b

                    AND t.c = a.c

SELECT * FROM #T

砸死牛顿的苹果 2017-10-19

打赏
举报

引用3楼数据,直接派生表进行delete 也可以


USE tempdb
GO
IF OBJECT_ID('t') IS NOT NULL DROP TABLE t
CREATE TABLE t(
n NVARCHAR(20)   
)
INSERT INTO t (n) VALUES ('1')
INSERT INTO t (n) VALUES ('1')
INSERT INTO t (n) VALUES ('2')
INSERT INTO t (n) VALUES ('2')
INSERT INTO t (n) VALUES ('3')

DELETE T 
FROM (SELECT ROW_NUMBER() OVER (PARTITION BY n ORDER BY (select 1)) AS rid,* FROM t)T
WHERE rid>1
 
SELECT * FROM t

日月路明 2017-10-19

打赏
举报

所以说，主键是必须的，否则像这种情况就很麻烦，虽然可以解决，但毕竟很麻烦

怎么删除完全重复的数据啊

相关推荐