对于大量前端数据与后台数据作比较有什么好方法？

[netfeiid]

现在我从EXCEL中获取了几万行数据，并载入到DataTable1中。现在想将这些数据与数据库中的数据做比较，如检查这批数据的某些字段内容是否在数据库已经存在等。。。

现在我的做法是将数据库中需要比较的数据也载入到另一个DataTable2中，然后循环DataTable1的记录行，通过DataTable.Select方法进行检查。感觉数据量大了很慢。

请问大神们遇到此类问题用什么方法比较好又快呢？

[threenewbee]

对连接字段做Hash，比较，算法复杂度可以下降到O(logN)

[netfeiid]

还有没有别的办法呢？

[以专业开发人员为伍]

不要读取数据库表文件，应该直接调用数据库功能来逐一比较，这样才能用到数据库索引。

[netfeiid]

引用 3 楼 sp1234 的回复:

不要读取数据库表文件，应该直接调用数据库功能来逐一比较，这样才能用到数据库索引。

循环当前表记录的字段查询数据库比较吗？ 虽然是用到了索引，但不停的查询。效率高吗？会不会加重数据库的负荷呢？

[sxzxwxf22]

性能要求不是特别高、数据库表数据不是非常大的情况下，可以用内存数据库(SQLite)，把Excel和数据库里面的数据都存到SQlite里，然后正常写SQL语句(如Exists).