从EXCEL导入1W条数据到数据库中执行存储过程,求大神指导!

宋晓华1 2014-09-23 03:46:06

接到个任务,Execl中有1w条数据,将每条数据都获取到然后传入数据库中的一个存储过程我写的。是一个批量插入对应表的存储过程。现在如果插入10000条数据的话系统会崩溃，或者很卡，请问怎么才能把数据分成每次执行100条左右提交到数据库。
存储过程我发个链接。
刚刚工作，第一次发帖求助，大家别喷！^_^http://url.cn/P2AqIe

...全文

248 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

沉默肥牛 2014-09-24

打赏
举报

回复

用SSIS，建一个excel的source和SQL 的destination。。。。。

xdashewan 2014-09-24

打赏
举报

回复

你可以试试管理器自带的excel文件导入功能

需求说明 excel报表导出10w+数据在我们的进出口贸易系统可能由于之前导入的数据量并不多没有对效率有过高的追求。但是到了二次开发版本，我预估导入时Excel 行数会是 10w+ 级别，而往数据库插入的数据量是大于 3n 的，也就是说 10w 行的 Excel，则至少向数据库插入 30w 行数据。一些细节数据导入：导入使用的模板由系统提供，格式是 xlsx (支持 65535+行数据) ，用户按照表头在对应列写入相应的数据。数据校验：数据校验有两种： 2.字段长度、字段正则表达式校验等，内存内校验

因为你所创建的book，Sheet，row，cell等在写入到Excel之前，都是存放在内存中的（这还没有算Excel的一些样式格式等等），可想而知，内存不溢出就有点不科学了！限制了用户的下载数量每次最多只能有四个人同时下载，并且控制每个用户最大的导出数据最多只能是20w，与此同时他们也是使用的JDBC分批导入，但是并没有手动控制事务。2、其次就是往DB里插入，怎么去插入这20w条数据，当然不能一条一条的循环，应该批量插入这20w条数据，同样也不能使用Mybatis的批量插入语，因为效率也低。

大家好，我是不才陈某~今天分享一篇大数据量Excel导入如何优化的文章，非常不错。需求说明项目中有一个 Excel 导入的需求：缴费记录导入由实施 / 用户将别的系统的数据填入我们系统中的 Excel 模板，应用将文件内容读取、校对、转换之后产生欠费数据、票据、票据详情并存储到数据库中。在接手之前可能由于之前导入的数据量并不多没有对效率有过高的追求。但是到了 4.0 版本，预估导入时Excel ...

点击上方[全栈开发者社区]→右上角[...]→[设为星标⭐]需求说明项目中有一个 Excel 导入的需求：缴费记录导入由实施 / 用户将别的系统的数据填入我们系统中的 Excel 模板，...

需求说明项目中有一个 Excel 导入的需求：缴费记录导入由实施 / 用户将别的系统的数据填入我们系统中的 Excel 模板，应用将文件内容读取、校对、转换之后产生欠费数据、票据、票据详情并存储到数据库中。在我接手之前可能由于之前导入的数据量并不多没有对效率有过高的追求。但是到了 4.0 版本，我预估导入时Excel 行数会是 10w+ 级别，而往数据库插入的数据量是大于 3n 的，也就是说 10w 行的 Excel，则至少向数据库插入 30w 行数据。因此优化原来的导入代码是势在必行的。我逐步分析

22,209

社区成员

121,730

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章