关于多数据的文本文件导到到大数据量的目的表(结构相同)的效率和排错问题
文件文件A记录有3千,目的表B有100万。
假如结构为:
ID varchar(20) 主键
NAME varchar(100)
SQL导入功能容错率不高,主键有NULL值或主键重复就会中途报错。
现在想通一个临时表(没有主键,结构跟目的表一样),进行过渡。
要做的工作:
1。 把文本文件的数据导入临时表.
2。 删除临时表中对应目的表的主键值为NULL的记录
3。 删除临时表中对应目的表的主键值相同的记录
...其它没想到的,会导至不会导入的情况
最后。 把临时表余下的数据插入目的表
请指教比较有效率的又可以排除出错情况的方案。
有相关代码来讨论更好。