C#读取大TXT导入ORACLE，并查询和原始表的重复数据。

[bntiger]

现在有个千万级数据库，每天都要导入每个TXT 100万条记录，想实现在导入前想判断是否有重复，没有重复才可以批量插入。

我目前利用OracleBulkCopy，可以实现批量的导入。关于重复判断，导入前，如果直接好用数据DATATABLE循环select原始表对比，速度非常的慢；也曾想利用临时表，然后用INTERSECT查询两个表的交集，如果有就说明有重复。但这些办法效率很低。

所以很特提出优化方案，请指正。

[800字以内]

hash 方面可以想办法提速吧？ 没接触过 帮顶

[shoppo0505]

先把全部数据导入数据库的另外一个表，判断重复再数据库层面做

[hiose89]

真巧啊 ，我正好做了个视频 有讲到大数据不重复 对比。
不过视频很长，有兴趣你可以看看
http://v.youku.com/v_show/id_XMTcyNzU2MjEyOA==.html

[hiose89]

帮你试了一下 用hashset 算110 万和100万之间 的重复数 只用了300多毫秒。
而且我的是渣渣笔记本。