34,590
社区成员
发帖
与我相关
我的任务
分享数据库操作量过大，导致程序运行时间长
自己写的一个数据导入系统，从Excel中导入到数据库，由于数据量比较大，而且每次insert之前需要select来查询该条信息是否已经存在，导致数据库操作量过大，整个程序运行时间需要近10分钟。据说是因为没用存储过程的原因，现在在重新写存储过程，不知道有没有其他原因？
...全文
请发表友善的回复…
发表回复
exception92 2014-10-23
- 打赏
- 举报
卖水果的net 版主 2014-10-23
- 打赏
- 举报
先把 Excel 中的数据导入到一张临时表，导入完成后，再用 SQL 语句向你的业务表中写数据，就能快好多。
还在加载中灬 2014-10-23
- 打赏
- 举报
可不可以在导入之前先过滤掉重复的，然后直插入
这样去重只执行一次，不用每次插入都判断有没有重复值
Mr_Nice 2014-10-23
- 打赏
- 举报
可以考虑分两步走，先导入到一个中间表，然后检测哪些数据可以进入常规表。
导入可以考虑使用bulk insert
检测部分可以写成存储过程。
寡亾 2014-10-23
- 打赏
- 举报
建议：
1.源表有自增ID，并且将其导入目的表。
2.每次根据源表ID导入增量部分。
3.可以写简单SP配合while循环，循环从上次源表导入ID+1至MAXID
