34,588
社区成员
发帖
与我相关
我的任务
分享怎麽样去除重复的记录
各位大虾们
本人现在遇到一个小小的sql问题
原来access数据库没有设定主键
现在我需要把数据数据从access数据库迁移到sql server数据库
并且加上三个主键限制。
filename，receivedate，JDE_Code就是三个主键
我上面的写法只能筛选掉主键为空的记录
在怎么筛选重复数据的时候不知道怎么处理？？？？
本人现在遇到一个小小的sql问题
原来access数据库没有设定主键
现在我需要把数据数据从access数据库迁移到sql server数据库
并且加上三个主键限制。
INSERT INTO [t_OrderDetail] ([FileName],[StoreCode],[IsVender],[IsUrgence],[Type],[ReceiveDate],[JDE_Code],[MaterialName],[EnUnit],[CnUnit],[OrderNumber],[OriginalNumber],[IncreaseNumber],[DecreaseNumber])
(SELECT a.[FileName],a.[StoreCode],a.[IsVender],a.[IsUrgence],a.[Type],a.[ReceiveDate],a.[JDE_Code],a.[MaterialName],a.[EnUnit],a.[CnUnit],a.[OrderNumber],a.[OriginalNumber],a.[IncreaseNumber],a.[DecreaseNumber]
FROM OPENDATASOURCE('Microsoft.Jet.OLEDB.4.0','Data Source="D:\OrderData.mdb"')...[t_OrderDetail] a inner join (SELECT distinct [filename],[receivedate],[JDE_Code] FROM OPENDATASOURCE('Microsoft.Jet.OLEDB.4.0','Data Source="D:\OrderData.mdb"')...[t_OrderDetail] WHERE [filename] <>'' and [receivedate] is not null and [JDE_Code] <>''
) b on a.[filename] = b.[filename] and a.[receivedate]= b.[receivedate] and a.[JDE_Code]= b.[JDE_Code] )
filename，receivedate，JDE_Code就是三个主键
我上面的写法只能筛选掉主键为空的记录
在怎么筛选重复数据的时候不知道怎么处理？？？？
...全文
请发表友善的回复…
发表回复
viqn7qdnt 2010-11-22
- 打赏
- 举报
[Quote=引用 13 楼 yunmingqu 的回复:]
我在想：
临时表好像不清空也可以啊
自己会清空吧
大虾能不能给出临时表的机制啊
跪谢啊
[/Quote]
#的临时表，断开连接即会清除掉
我在想：
临时表好像不清空也可以啊
自己会清空吧
大虾能不能给出临时表的机制啊
跪谢啊
[/Quote]
#的临时表，断开连接即会清除掉
SP12345678902 2010-11-22
- 打赏
- 举报
我在想：
临时表好像不清空也可以啊
自己会清空吧
大虾能不能给出临时表的机制啊
跪谢啊
临时表好像不清空也可以啊
自己会清空吧
大虾能不能给出临时表的机制啊
跪谢啊
SP12345678902 2010-11-22
- 打赏
- 举报
已经解决
休息的时候来结贴
下面贴出脚本
大虾看看还有需要改进的地方吗
休息的时候来结贴
下面贴出脚本
大虾看看还有需要改进的地方吗
select identity(int,1,1) as autoID, * into #t_OrderDetail_Tmp1 from OPENDATASOURCE('Microsoft.Jet.OLEDB.4.0','Data Source="D:\OrderData.mdb"')...[t_OrderDetail]
select min(autoID) as autoID into #t_OrderDetail_Tmp2 from #t_OrderDetail_Tmp1 group by [filename],[receivedate],[JDE_Code]
INSERT INTO [t_OrderDetail] ([FileName],[StoreCode],[IsVender],[IsUrgence],[Type],[ReceiveDate],[JDE_Code],[MaterialName],[EnUnit],[CnUnit],[OrderNumber],[OriginalNumber],[IncreaseNumber],[DecreaseNumber])
SELECT [FileName],[StoreCode],[IsVender],[IsUrgence],[Type],[ReceiveDate],[JDE_Code],[MaterialName],[EnUnit],[CnUnit],[OrderNumber],[OriginalNumber],[IncreaseNumber],[DecreaseNumber] from #t_OrderDetail_Tmp1 where autoID in(select autoID from #t_OrderDetail_tmp2)
if exists (select * from #t_OrderDetail_Tmp1)
drop table #t_OrderDetail_Tmp1
if exists (select * from #t_OrderDetail_Tmp2)
drop table #t_OrderDetail_Tmp2
SP12345678902 2010-11-22
- 打赏
- 举报
我也是这样想的
那我最后还需要drop临时表的
呵呵，不然会占用内存的
那我最后还需要drop临时表的
呵呵，不然会占用内存的
viqn7qdnt 2010-11-22
- 打赏
- 举报
[Quote=引用 9 楼 coolingpipe 的回复:]
SQL code
--用过程来写吧，一条语句太复杂
--制造临时表,并生成自动排序列
select identity(int,1,1) as guid,* into #tab from t_OrderDetail where 1 = 2
--插入数据到临时表
INSERT INTO #tab ([FileName],[StoreCode],[IsVender],[IsUrge……
[/Quote]
up
用exists
SQL code
--用过程来写吧，一条语句太复杂
--制造临时表,并生成自动排序列
select identity(int,1,1) as guid,* into #tab from t_OrderDetail where 1 = 2
--插入数据到临时表
INSERT INTO #tab ([FileName],[StoreCode],[IsVender],[IsUrge……
[/Quote]
up
用exists
冷箫轻笛 2010-11-22
- 打赏
- 举报
--用过程来写吧，一条语句太复杂
--制造临时表,并生成自动排序列
select identity(int,1,1) as guid,* into #tab from t_OrderDetail where 1 = 2
--插入数据到临时表
INSERT INTO #tab ([FileName],[StoreCode],[IsVender],[IsUrgence],[Type],[ReceiveDate],[JDE_Code],[MaterialName],[EnUnit],[CnUnit],[OrderNumber],[OriginalNumber],[IncreaseNumber],[DecreaseNumber])
(SELECT a.[FileName],a.[StoreCode],a.[IsVender],a.[IsUrgence],a.[Type],a.[ReceiveDate],a.[JDE_Code],a.[MaterialName],a.[EnUnit],a.[CnUnit],a.[OrderNumber],a.[OriginalNumber],a.[IncreaseNumber],a.[DecreaseNumber]
FROM OPENDATASOURCE('Microsoft.Jet.OLEDB.4.0','Data Source="D:\OrderData.mdb"')...[t_OrderDetail] a inner join (SELECT distinct [filename],[receivedate],[JDE_Code] FROM OPENDATASOURCE('Microsoft.Jet.OLEDB.4.0','Data Source="D:\OrderData.mdb"')...[t_OrderDetail] WHERE [filename] <>'' and [receivedate] is not null and [JDE_Code] <>''
) b on a.[filename] = b.[filename] and a.[receivedate]= b.[receivedate] and a.[JDE_Code]= b.[JDE_Code] )
--插入数据到目标表,并取主键重复的纪录中,排序列最大的纪录
INSERT INTO [t_OrderDetail] ([FileName],[StoreCode],[IsVender],[IsUrgence],[Type],[ReceiveDate],[JDE_Code],[MaterialName],[EnUnit],[CnUnit],[OrderNumber],[OriginalNumber],[IncreaseNumber],[DecreaseNumber])
select [FileName],[StoreCode],[IsVender],[IsUrgence],[Type],[ReceiveDate],[JDE_Code],[MaterialName],[EnUnit],[CnUnit],[OrderNumber],[OriginalNumber],[IncreaseNumber],[DecreaseNumber]
from #tab a
where not exists(select 1 from #tab where [filename] =a.[filename] and receivedate= a.receivedate and JDE_Code = a.JDE_Code and guid > a.guid)
viqn7qdnt 2010-11-22
- 打赏
- 举报
是将新数据插入时判断是否有重复数据，有的则不再插入，没有的插入？
dawugui 2010-11-22
- 打赏
- 举报
1、先导入后再删除。
2、查询filename，receivedate，JDE_Code重复的记录
select filename,receivedate,JDE_Code from tb group by filename,receivedate,JDE_Code having count(1) > 1
select m.* from tb m where exists(select 1 from (select filename,receivedate,JDE_Code from tb group by filename,receivedate,JDE_Code having count(1) > 1) n where n.filename = m.filename and n.receivedate = m.receivedate and n.JDE_Code = m.JDE_Code)
3、删除重复数据，假设按照filename,receivedate,JDE_Code有某个ID能区分大小，保留ID最小的。
delete tb from tb m where id not in (select min(id) from tb n where n.filename = m.filename and n.receivedate = m.receivedate and n.JDE_Code = m.JDE_Code)
2、查询filename，receivedate，JDE_Code重复的记录
select filename,receivedate,JDE_Code from tb group by filename,receivedate,JDE_Code having count(1) > 1
select m.* from tb m where exists(select 1 from (select filename,receivedate,JDE_Code from tb group by filename,receivedate,JDE_Code having count(1) > 1) n where n.filename = m.filename and n.receivedate = m.receivedate and n.JDE_Code = m.JDE_Code)
3、删除重复数据，假设按照filename,receivedate,JDE_Code有某个ID能区分大小，保留ID最小的。
delete tb from tb m where id not in (select min(id) from tb n where n.filename = m.filename and n.receivedate = m.receivedate and n.JDE_Code = m.JDE_Code)
abuying 2010-11-22
- 打赏
- 举报
贴出部分数据来吧，更好分析！
SP12345678902 2010-11-22
- 打赏
- 举报
我的表都是创建的时候加上主键的
导入数据是另外一个过程
导入数据是另外一个过程
SP12345678902 2010-11-22
- 打赏
- 举报
楼上说的不好。最好一条insert文解决问题
-晴天 2010-11-22
- 打赏
- 举报
建议:先导入,再删除重复,再设置主键.
-晴天 2010-11-22
- 打赏
- 举报
建议:
先导入,再删除重复,再设置主键.
先导入,再删除重复,再设置主键.
fellowcheng 2010-11-22
- 打赏
- 举报
在大的数据库应用中，经常因为各种原因遇到重复的记录，造成数据的冗余和维护上的不便。
1.用rowid方法
2.用group by方法
3.用distinct方法
1。用rowid方法
据据oracle带的rowid属性，进行判断，是否存在重复,语句如下：
查数据:
select * from table1 a where rowid !=(select max(rowid)
from table1 b where a.name1=b.name1 and a.name2=b.name2......)
删数据：
delete from table1 a where rowid !=(select max(rowid)
from table1 b where a.name1=b.name1 and a.name2=b.name2......)
2.group by方法
查数据:
select count(num), max(name) from student --列出重复的记录数，并列出他的name属性
group by num
having count(num) >1 --按num分组后找出表中num列重复，即出现次数大于一次
删数据：
delete from student
group by num
having count(num) >1
这样的话就把所有重复的都删除了。
3.用distinct方法 -对于小的表比较有用
create table table_new as select distinct * from table1 minux
truncate table table1;
insert into table1 select * from table_new;
delete select a.* from FLRK1 a inner join FLRK1 b on a.记录号=b.记录号 and
(a.[ID]=b.[ID] and a.入库日期=b.入库日期 and a.操作时间=b.操作时间)
delete from FLRK1 where 记录号 in
(select min(记录号) from FLRK1 group by 记录号 having count(记录号)>1)
A表结构：
ID RQ SJ C
--------------------------------------------
1 2005-07-14 14:20:50 A1
2 2005-02-15 05:12:23 A1
3 2005-07-14 14:20:50 A1
4 2005-06-16 16:16:16 A2
5 2005-06-16 16:16:16 A2
6 2005-05-18 05:10:35 A3
7 2005-02-15 05:12:23 A1
--------------------------------------------
求SQL语句一条，把表A中 RQ,SJ,C 三个字段有相同的重复记录删除．
得到的结果：
ID RQ SJ C
--------------------------------------------
1 2005-07-14 14:20:50 A1
2 2005-02-15 05:12:23 A1
4 2005-06-16 16:16:16 A2
6 2005-05-18 05:10:35 A3
--------------------------------------------
Delete from A Where ID Not In (Select Min(ID) from A Group By RQ,SJ,C )
Delete a from tb a inner join tb as b on a.fid<b.fid and a.c=b.c and a.rq=b.rq and a.sj=b.sj
delete from A t
where exists(select 1 from A where ID<A.ID and SJ=t.SJ and RQ=t.RQ and C=t.c)
方法一
declare @max integer,@id integer
declare cur_rows cursor local for select 主字段,count(*) from 表名 group by 主字段 having count(*) > 1
open cur_rows
fetch cur_rows into @id,@max
while fetch_status=0
begin
select @max = @max -1
set rowcount @max
delete from 表名 where 主字段 = @id
fetch cur_rows into @id,@max
end
close cur_rows
set rowcount 0
方法二
有两个意义上的重复记录，一是完全重复的记录，也即所有字段均重复的记录，二是部分关键字段重复的记录，比如Name字段重复，而其他字段不一定重复或都重复可以忽略。
1、对于第一种重复，比较容易解决，使用
select distinct * from tableName
就可以得到无重复记录的结果集。
如果该表需要删除重复的记录（重复记录保留1条），可以按以下方法删除
select distinct * into #Tmp from tableName
drop table tableName
select * into tableName from #Tmp
drop table #Tmp
发生这种重复的原因是表设计不周产生的，增加唯一索引列即可解决。
2、这类重复问题通常要求保留重复记录中的第一条记录，操作方法如下
假设有重复的字段为Name,Address，要求得到这两个字段唯一的结果集
select identity(int,1,1) as autoID, * into #Tmp from tableName
select min(autoID) as autoID into #Tmp2 from #Tmp group by Name,autoID
select * from #Tmp where autoID in(select autoID from #tmp2)
最后一个select即得到了Name，Address不重复的结果集（但多了一个autoID字段，实际写时可以写在select子句中省去此列）
1.用rowid方法
2.用group by方法
3.用distinct方法
1。用rowid方法
据据oracle带的rowid属性，进行判断，是否存在重复,语句如下：
查数据:
select * from table1 a where rowid !=(select max(rowid)
from table1 b where a.name1=b.name1 and a.name2=b.name2......)
删数据：
delete from table1 a where rowid !=(select max(rowid)
from table1 b where a.name1=b.name1 and a.name2=b.name2......)
2.group by方法
查数据:
select count(num), max(name) from student --列出重复的记录数，并列出他的name属性
group by num
having count(num) >1 --按num分组后找出表中num列重复，即出现次数大于一次
删数据：
delete from student
group by num
having count(num) >1
这样的话就把所有重复的都删除了。
3.用distinct方法 -对于小的表比较有用
create table table_new as select distinct * from table1 minux
truncate table table1;
insert into table1 select * from table_new;
delete select a.* from FLRK1 a inner join FLRK1 b on a.记录号=b.记录号 and
(a.[ID]=b.[ID] and a.入库日期=b.入库日期 and a.操作时间=b.操作时间)
delete from FLRK1 where 记录号 in
(select min(记录号) from FLRK1 group by 记录号 having count(记录号)>1)
A表结构：
ID RQ SJ C
--------------------------------------------
1 2005-07-14 14:20:50 A1
2 2005-02-15 05:12:23 A1
3 2005-07-14 14:20:50 A1
4 2005-06-16 16:16:16 A2
5 2005-06-16 16:16:16 A2
6 2005-05-18 05:10:35 A3
7 2005-02-15 05:12:23 A1
--------------------------------------------
求SQL语句一条，把表A中 RQ,SJ,C 三个字段有相同的重复记录删除．
得到的结果：
ID RQ SJ C
--------------------------------------------
1 2005-07-14 14:20:50 A1
2 2005-02-15 05:12:23 A1
4 2005-06-16 16:16:16 A2
6 2005-05-18 05:10:35 A3
--------------------------------------------
Delete from A Where ID Not In (Select Min(ID) from A Group By RQ,SJ,C )
Delete a from tb a inner join tb as b on a.fid<b.fid and a.c=b.c and a.rq=b.rq and a.sj=b.sj
delete from A t
where exists(select 1 from A where ID<A.ID and SJ=t.SJ and RQ=t.RQ and C=t.c)
方法一
declare @max integer,@id integer
declare cur_rows cursor local for select 主字段,count(*) from 表名 group by 主字段 having count(*) > 1
open cur_rows
fetch cur_rows into @id,@max
while fetch_status=0
begin
select @max = @max -1
set rowcount @max
delete from 表名 where 主字段 = @id
fetch cur_rows into @id,@max
end
close cur_rows
set rowcount 0
方法二
有两个意义上的重复记录，一是完全重复的记录，也即所有字段均重复的记录，二是部分关键字段重复的记录，比如Name字段重复，而其他字段不一定重复或都重复可以忽略。
1、对于第一种重复，比较容易解决，使用
select distinct * from tableName
就可以得到无重复记录的结果集。
如果该表需要删除重复的记录（重复记录保留1条），可以按以下方法删除
select distinct * into #Tmp from tableName
drop table tableName
select * into tableName from #Tmp
drop table #Tmp
发生这种重复的原因是表设计不周产生的，增加唯一索引列即可解决。
2、这类重复问题通常要求保留重复记录中的第一条记录，操作方法如下
假设有重复的字段为Name,Address，要求得到这两个字段唯一的结果集
select identity(int,1,1) as autoID, * into #Tmp from tableName
select min(autoID) as autoID into #Tmp2 from #Tmp group by Name,autoID
select * from #Tmp where autoID in(select autoID from #tmp2)
最后一个select即得到了Name，Address不重复的结果集（但多了一个autoID字段，实际写时可以写在select子句中省去此列）
