读取文件更新数据库（大量数据如何提高效率）

[css_lujing]

读取文件数据，判断该数据在DB里是否存在，存在时更新，不存在时插入，文档的数据和DB结构不一致。有什么好的办法可以提高执行效率

[q107770540]

那就自己定义一个中间结构
从数据库读出数据后 转成中间结构
从文件内读取数据 转成中间结构
进行对比

[css_lujing]

DB里的数据量很大（上千万条数据），文件里是30万件数据左右，取出来转换不太可行啊。

[Coder李海波]

你现在需要多少时间？优化DB的索引结构，另外可以把select update放到一个存储过程中。

[chenmaohua111]

先把文件的数据写入临时表，再用sql 语句批量插入。