怎麽样去除重复的记录

2010-11-22 09:19:25 228 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

各位大虾们

本人现在遇到一个小小的sql问题

原来access数据库没有设定主键

现在我需要把数据数据从access数据库迁移到sql server数据库

并且加上三个主键限制。

INSERT INTO [t_OrderDetail] ([FileName],[StoreCode],[IsVender],[IsUrgence],[Type],[ReceiveDate],[JDE_Code],[MaterialName],[EnUnit],[CnUnit],[OrderNumber],[OriginalNumber],[IncreaseNumber],[DecreaseNumber]) 

 (SELECT a.[FileName],a.[StoreCode],a.[IsVender],a.[IsUrgence],a.[Type],a.[ReceiveDate],a.[JDE_Code],a.[MaterialName],a.[EnUnit],a.[CnUnit],a.[OrderNumber],a.[OriginalNumber],a.[IncreaseNumber],a.[DecreaseNumber] 

 FROM OPENDATASOURCE('Microsoft.Jet.OLEDB.4.0','Data Source="D:\OrderData.mdb"')...[t_OrderDetail] a inner join (SELECT distinct [filename],[receivedate],[JDE_Code] FROM OPENDATASOURCE('Microsoft.Jet.OLEDB.4.0','Data Source="D:\OrderData.mdb"')...[t_OrderDetail] WHERE [filename] <>'' and [receivedate] is not null and [JDE_Code] <>''

 )  b on  a.[filename] = b.[filename] and  a.[receivedate]= b.[receivedate] and  a.[JDE_Code]= b.[JDE_Code] )

filename，receivedate，JDE_Code就是三个主键

我上面的写法只能筛选掉主键为空的记录
在怎么筛选重复数据的时候不知道怎么处理？？？？

...全文

SP12345678902

MS-SQL Server 34,876 成员 254,635 内容

+ 关注 + 加入社区

切换为时间正序

viqn7qdnt 2010-11-22

打赏
举报

[Quote=引用 13 楼 yunmingqu 的回复:]
我在想：
临时表好像不清空也可以啊
自己会清空吧
大虾能不能给出临时表的机制啊
跪谢啊
[/Quote]
#的临时表，断开连接即会清除掉

SP12345678902 2010-11-22

打赏
举报

我在想：
临时表好像不清空也可以啊
自己会清空吧
大虾能不能给出临时表的机制啊
跪谢啊

SP12345678902 2010-11-22

打赏
举报

已经解决
休息的时候来结贴
下面贴出脚本
大虾看看还有需要改进的地方吗







select identity(int,1,1) as autoID, * into #t_OrderDetail_Tmp1 from OPENDATASOURCE('Microsoft.Jet.OLEDB.4.0','Data Source="D:\OrderData.mdb"')...[t_OrderDetail]

select min(autoID) as autoID into #t_OrderDetail_Tmp2 from #t_OrderDetail_Tmp1 group by [filename],[receivedate],[JDE_Code]  





INSERT INTO [t_OrderDetail] ([FileName],[StoreCode],[IsVender],[IsUrgence],[Type],[ReceiveDate],[JDE_Code],[MaterialName],[EnUnit],[CnUnit],[OrderNumber],[OriginalNumber],[IncreaseNumber],[DecreaseNumber]) 

SELECT [FileName],[StoreCode],[IsVender],[IsUrgence],[Type],[ReceiveDate],[JDE_Code],[MaterialName],[EnUnit],[CnUnit],[OrderNumber],[OriginalNumber],[IncreaseNumber],[DecreaseNumber]  from #t_OrderDetail_Tmp1 where autoID in(select autoID from #t_OrderDetail_tmp2)  



if exists (select * from  #t_OrderDetail_Tmp1)

drop table #t_OrderDetail_Tmp1

if exists (select * from  #t_OrderDetail_Tmp2)

drop table #t_OrderDetail_Tmp2

SP12345678902 2010-11-22

打赏
举报

我也是这样想的

那我最后还需要drop临时表的

呵呵，不然会占用内存的

viqn7qdnt 2010-11-22

打赏
举报

[Quote=引用 9 楼 coolingpipe 的回复:]
SQL code

--用过程来写吧，一条语句太复杂

--制造临时表,并生成自动排序列
select identity(int,1,1) as guid,* into #tab from t_OrderDetail where 1 = 2

--插入数据到临时表
INSERT INTO #tab ([FileName],[StoreCode],[IsVender],[IsUrge……
[/Quote]

up
用exists

冷箫轻笛 2010-11-22

打赏
举报



--用过程来写吧，一条语句太复杂



--制造临时表,并生成自动排序列

select identity(int,1,1) as guid,* into #tab from t_OrderDetail where 1 = 2



--插入数据到临时表

INSERT INTO #tab ([FileName],[StoreCode],[IsVender],[IsUrgence],[Type],[ReceiveDate],[JDE_Code],[MaterialName],[EnUnit],[CnUnit],[OrderNumber],[OriginalNumber],[IncreaseNumber],[DecreaseNumber]) 

 (SELECT a.[FileName],a.[StoreCode],a.[IsVender],a.[IsUrgence],a.[Type],a.[ReceiveDate],a.[JDE_Code],a.[MaterialName],a.[EnUnit],a.[CnUnit],a.[OrderNumber],a.[OriginalNumber],a.[IncreaseNumber],a.[DecreaseNumber] 

 FROM OPENDATASOURCE('Microsoft.Jet.OLEDB.4.0','Data Source="D:\OrderData.mdb"')...[t_OrderDetail] a inner join (SELECT distinct [filename],[receivedate],[JDE_Code] FROM OPENDATASOURCE('Microsoft.Jet.OLEDB.4.0','Data Source="D:\OrderData.mdb"')...[t_OrderDetail] WHERE [filename] <>'' and [receivedate] is not null and [JDE_Code] <>''

 )  b on  a.[filename] = b.[filename] and  a.[receivedate]= b.[receivedate] and  a.[JDE_Code]= b.[JDE_Code] )

 

--插入数据到目标表,并取主键重复的纪录中,排序列最大的纪录

INSERT INTO [t_OrderDetail] ([FileName],[StoreCode],[IsVender],[IsUrgence],[Type],[ReceiveDate],[JDE_Code],[MaterialName],[EnUnit],[CnUnit],[OrderNumber],[OriginalNumber],[IncreaseNumber],[DecreaseNumber]) 

select [FileName],[StoreCode],[IsVender],[IsUrgence],[Type],[ReceiveDate],[JDE_Code],[MaterialName],[EnUnit],[CnUnit],[OrderNumber],[OriginalNumber],[IncreaseNumber],[DecreaseNumber]

from #tab a

where not exists(select 1 from #tab where [filename] =a.[filename] and receivedate= a.receivedate and JDE_Code = a.JDE_Code and guid > a.guid)

viqn7qdnt 2010-11-22

打赏
举报

是将新数据插入时判断是否有重复数据，有的则不再插入，没有的插入？

dawugui 2010-11-22

打赏
举报

1、先导入后再删除。
2、查询filename，receivedate，JDE_Code重复的记录
select filename,receivedate,JDE_Code from tb group by filename,receivedate,JDE_Code having count(1) > 1
select m.* from tb m where exists(select 1 from (select filename,receivedate,JDE_Code from tb group by filename,receivedate,JDE_Code having count(1) > 1) n where n.filename = m.filename and n.receivedate = m.receivedate and n.JDE_Code = m.JDE_Code)
3、删除重复数据，假设按照filename,receivedate,JDE_Code有某个ID能区分大小，保留ID最小的。
delete tb from tb m where id not in (select min(id) from tb n where n.filename = m.filename and n.receivedate = m.receivedate and n.JDE_Code = m.JDE_Code)

abuying 2010-11-22

打赏
举报

贴出部分数据来吧，更好分析！

SP12345678902 2010-11-22

打赏
举报

我的表都是创建的时候加上主键的

导入数据是另外一个过程

SP12345678902 2010-11-22

打赏
举报

楼上说的不好。最好一条insert文解决问题

-晴天 2010-11-22

打赏
举报

建议:先导入,再删除重复,再设置主键.

-晴天 2010-11-22

打赏
举报

建议:
先导入,再删除重复,再设置主键.

fellowcheng 2010-11-22

打赏
举报

在大的数据库应用中，经常因为各种原因遇到重复的记录，造成数据的冗余和维护上的不便。

1.用rowid方法

2.用group by方法

3.用distinct方法

1。用rowid方法

据据oracle带的rowid属性，进行判断，是否存在重复,语句如下：
查数据:
select * from table1 a where rowid !=(select max(rowid)
from table1 b where a.name1=b.name1 and a.name2=b.name2......)
删数据：
delete from table1 a where rowid !=(select max(rowid)
from table1 b where a.name1=b.name1 and a.name2=b.name2......)

2.group by方法

查数据:
　　select count(num), max(name) from student --列出重复的记录数，并列出他的name属性
　　group by num
　　having count(num) >1 --按num分组后找出表中num列重复，即出现次数大于一次
删数据：
　　delete from student
　　group by num
　　having count(num) >1
　　这样的话就把所有重复的都删除了。

3.用distinct方法 -对于小的表比较有用

create table table_new as select distinct * from table1 minux
truncate table table1;
insert into table1 select * from table_new;

delete select a.* from FLRK1 a inner join FLRK1 b on a.记录号=b.记录号 and
(a.[ID]=b.[ID] and a.入库日期=b.入库日期 and a.操作时间=b.操作时间)

delete from FLRK1 where 记录号 in
(select min(记录号) from FLRK1 group by 记录号 having count(记录号)>1)

A表结构：

ID RQ SJ C
--------------------------------------------
1 2005-07-14 14:20:50 A1
2 2005-02-15 05:12:23 A1
3 2005-07-14 14:20:50 A1
4 2005-06-16 16:16:16 A2
5 2005-06-16 16:16:16 A2
6 2005-05-18 05:10:35 A3
7 2005-02-15 05:12:23 A1

--------------------------------------------

求SQL语句一条，把表A中　RQ,SJ,C　三个字段有相同的重复记录删除．

得到的结果：

ID RQ SJ C
--------------------------------------------
1 2005-07-14 14:20:50 A1
2 2005-02-15 05:12:23 A1
4 2005-06-16 16:16:16 A2
6 2005-05-18 05:10:35 A3
--------------------------------------------

Delete from A Where ID Not In (Select Min(ID) from A Group By RQ,SJ,C )

Delete a from tb a inner join tb as b on a.fid<b.fid and a.c=b.c and a.rq=b.rq and a.sj=b.sj

delete from A t
where exists(select 1 from A where ID<A.ID and SJ=t.SJ and RQ=t.RQ and C=t.c)

方法一

declare @max integer,@id integer
declare cur_rows cursor local for select 主字段,count(*) from 表名 group by 主字段 having count(*) > 1
open cur_rows
fetch cur_rows into @id,@max
while fetch_status=0
begin
select @max = @max -1
set rowcount @max
delete from 表名 where 主字段 = @id
fetch cur_rows into @id,@max
end
close cur_rows
set rowcount 0

　　方法二

　　有两个意义上的重复记录，一是完全重复的记录，也即所有字段均重复的记录，二是部分关键字段重复的记录，比如Name字段重复，而其他字段不一定重复或都重复可以忽略。

　　1、对于第一种重复，比较容易解决，使用

select distinct * from tableName

　　就可以得到无重复记录的结果集。
　　如果该表需要删除重复的记录（重复记录保留1条），可以按以下方法删除

select distinct * into #Tmp from tableName
drop table tableName
select * into tableName from #Tmp
drop table #Tmp

　　发生这种重复的原因是表设计不周产生的，增加唯一索引列即可解决。

　　2、这类重复问题通常要求保留重复记录中的第一条记录，操作方法如下

　　假设有重复的字段为Name,Address，要求得到这两个字段唯一的结果集

select identity(int,1,1) as autoID, * into #Tmp from tableName
select min(autoID) as autoID into #Tmp2 from #Tmp group by Name,autoID
select * from #Tmp where autoID in(select autoID from #tmp2)

　　最后一个select即得到了Name，Address不重复的结果集（但多了一个autoID字段，实际写时可以写在select子句中省去此列）