关于批量比对和插入功能的SQL实现

[shawls]

现在有一个这样的项目:

表:
DATA_INSERT
DATA_BUFF
DATA

DATA_INSERT表内是原始数据
DATA_BUFF表内是缓存数据
DATA表里面是最终数据

数据流程如下:
读文本数据,只要符合格式,写如INSERT表,
读INSERT表,比对BUFF表,如果BUFF表中没有重复,则插入BUFF表
读DATA表,比对DATA表,如果DATA表中没有重复,则插入DATA表


现在的问题是,如何将没有重复的数据批量插入下一个表,我现在是通过.NET开发,一条一条比对,非常慢.
但是我用INSET语句去批量插入,总是不成功,有兄弟有好的帮助么?

[wwwwb]

读文本数据,只要符合格式,写如INSERT表,

读INSERT表,比对BUFF表,如果BUFF表中没有重复,则插入BUFF表
insert into DATA_BUFF
select a.* from DATA_INSERT a
left join DATA_BUFF b on a.id=b.id where b.id is null

读DATA表,比对DATA表,如果DATA表中没有重复,则插入DATA表
Insert into DATA
select a.* from DATA_INSERT a
left join DATA_BUFF b on a.id=b.id where b.id is null

[smartcatiboy]

看不懂，为什么要分3个表？？？

[shawls]

[Quote=引用 1 楼 smartcatiboy 的回复:]
看不懂，为什么要分3个表？？？
[/Quote]

数据要分阶段处理啊,插入是毛坯数据,BUFF是缓冲数据,DATA是常备数据,最终的DATA库可能会达到千万级的数据量

[smartcatiboy]

不知道你是如何比对插入的，代码看看

[ACMAIN_CHM]

读INSERT表,比对BUFF表,如果BUFF表中没有重复,则插入BUFF表

insert into DATA_BUFF select * from DATA_INSERT where id not in (select id from DATA_BUFF);

读DATA表,比对DATA表,如果DATA表中没有重复,则插入DATA表

insert into DATA select * from DATA_BUFF where id not in (select id from DATA);