海量大数据，重复数据如何高效的删除

oHanson123 2014-03-26 02:43:39

加精

哥哥们，我有事请教
我有一个表超1.5亿条数据，中间有很多很多的重复数据，而且没有建索引和键，你说我有没有办法删除重复的数据。
还是说已经宣布没的救了。

...全文

19209 68 打赏收藏转发到动态举报

写回复

用AI写文章

68 条回复

切换为时间正序

请发表友善的回复…

发表回复

1973Spring 2016-05-17

打赏
举报

请问楼主最后的解决方案是怎么样的？我也是遇到同样的问题：有48个txt文件，每个文件有1000w+用户的数据，单个文件内无重复，但是文件之间存在完全重复的数据，我要怎么快速地删除这些完全重复的数据，并且保留一行就行？

还寝梦佳期 2014-04-19

打赏
举报

有空研究研究一下

hi_web 2014-04-14

打赏
举报

引用 50 楼 oHanson123 的回复:

我原先查其中一条记录发现有重复记录185条，也就是说原先的数据连续重复写入了185次。我的JOB是一天一跑，相当于半年每天都在重复插数据，导致数据表几何增长。值得高兴的是，我用别的电脑去重后，数据表从1.5亿条数据降为332万条。原表占用容量从70G降到了1.4G. 数据库SHINK后，空间从110G降到了16G.

楼主最终的解决方案是什么？可否分享下。

xwj 2014-04-02

打赏
举报

网上有专门工具，找一找

齐齐哈尔丽人妇产医院 2014-03-31

打赏
举报

ccqq3 2014-03-30

打赏
举报

楼主使用的数据库是？？如果是GP数据库是可以做到的

guoshuang60 2014-03-28

打赏
举报

引用 19 楼 oHanson123 的回复:

我打算用下面的脚本执行。现在刚开始跑，我明天上班来看结果。



insert into tb_preparedlist_tmp

	select [OrderID],[PartNo],[Qty],[GRN],[ScanTime],[PreparedBy],[PreparedID],[WorkCell],[BayNum],[Sloc],[Model],[Sets],[UploadBy],[UploadTime],[CheckFlag],[CheckTime],[CheckBy],[QtyUpdateRmk],[FlagGroup],[HostName],[Feeder],[Step],[RuleFlag],[Line_No],NEWID() as Rec_ID
	from Tb_PreparedList 
    where orderid is not null and grn is not null 
	group by [OrderID],[PartNo],[Qty],[GRN],[ScanTime],[PreparedBy],[PreparedID],[WorkCell],[BayNum],[Sloc],[Model],[Sets],[UploadBy],[UploadTime],[CheckFlag],[CheckTime],[CheckBy],[QtyUpdateRmk],[FlagGroup],[HostName],[Feeder],[Step],[RuleFlag],[Line_No]

你这个分组语句肯定效率低。。。。。。。。

xiaoxiangqing 2014-03-28

打赏
举报

这么大的数据，去重要点时间。

my03131302 2014-03-28

打赏
举报

CJ_Company 2014-03-28

打赏
举报

版主给的就是可以的拉我以前遇到都是这么类似的处理情况。其他的操作完全不太合适

oHanson123 2014-03-28

打赏
举报

好了，结贴给分。谢谢哥哥们。

oHanson123 2014-03-28

打赏
举报

国外一哥们也遇到这个问题，以下为引用： I had the same problem a while ago. I was lucky that my first step was to backup the database. I stopped SQL, deleted the MDF and LDF files, restarted SQL and then restored from my backup, and then re-ran my updates (after dropping the indexes that were killing my update query). But ugly way to go ...

發糞塗牆 2014-03-28

打赏
举报

我是说你挂起的那个库》。。。

oHanson123 2014-03-28

打赏
举报

引用 52 楼 DBA_Huangzj 的回复:

那试试停了服务，然后把mdf/ldf文件移走，再启动服务

把文件强制移走，系统数据库不会影响吗？master, msdb,啥的。

oHanson123 2014-03-28

打赏
举报

哥哥们教训的是。

發糞塗牆 2014-03-28

打赏
举报

不头破血流几次，成不了高手

whb147 2014-03-28

打赏
举报

引用 19 楼 oHanson123 的回复:

我打算用下面的脚本执行。现在刚开始跑，我明天上班来看结果。



insert into tb_preparedlist_tmp

	select [OrderID],[PartNo],[Qty],[GRN],[ScanTime],[PreparedBy],[PreparedID],[WorkCell],[BayNum],[Sloc],[Model],[Sets],[UploadBy],[UploadTime],[CheckFlag],[CheckTime],[CheckBy],[QtyUpdateRmk],[FlagGroup],[HostName],[Feeder],[Step],[RuleFlag],[Line_No],NEWID() as Rec_ID
	from Tb_PreparedList 
    where orderid is not null and grn is not null 
	group by [OrderID],[PartNo],[Qty],[GRN],[ScanTime],[PreparedBy],[PreparedID],[WorkCell],[BayNum],[Sloc],[Model],[Sets],[UploadBy],[UploadTime],[CheckFlag],[CheckTime],[CheckBy],[QtyUpdateRmk],[FlagGroup],[HostName],[Feeder],[Step],[RuleFlag],[Line_No]

不死才怪要用 select * into #tb1 from tb

oHanson123 2014-03-28