社区
疑难问题
帖子详情
从EXCEL导入1W条数据到数据库中执行存储过程,求大神指导!
宋晓华1
2014-09-23 03:46:06
接到个任务,Execl中有1w条数据,将每条数据都获取到然后传入数据库中的一个存储过程我写的。是一个批量插入对应表的存储过程。现在如果插入10000条数据的话系统会崩溃,或者很卡,请问怎么才能把数据分成每次执行100条左右提交到数据库。
存储过程我发个链接。
刚刚工作,第一次发帖求助,大家别喷!^_^http://url.cn/P2AqIe
...全文
249
2
打赏
收藏
从EXCEL导入1W条数据到数据库中执行存储过程,求大神指导!
接到个任务,Execl中有1w条数据,将每条数据都获取到然后传入数据库中的一个存储过程我写的。是一个批量插入对应表的存储过程。现在如果插入10000条数据的话系统会崩溃,或者很卡,请问怎么才能把数据分成每次执行100条左右提交到数据库。 存储过程我发个链接。 刚刚工作,第一次发帖求助,大家别喷!^_^http://url.cn/P2AqIe
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
2 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
沉默肥牛
2014-09-24
打赏
举报
回复
用SSIS,建一个excel的source和SQL 的destination。。。。。
xdashewan
2014-09-24
打赏
举报
回复
你可以试试管理器自带的excel文件导入功能
Mysql 安装实战精讲(
大神
必经之路)
数据
库
(Database)是按照
数据
结构来组织、存储和管理
数据
的仓库。每个
数据
库
都有一个或多个不同的 API 用于创建,访问,管理,搜索和复制所保存的
数据
。我们也可以将
数据
存储在文件
中
,但是在文件
中
读写
数据
速度相对较慢。所以,现在我们使用关系型
数据
库
管理系统(RDBMS)来存储和管理大
数据
量。所谓的关系型
数据
库
,是建立在关系模型基础上的
数据
库
,借助于集合代数等数学概念和方法来处理
数据
库
中
的
数据
。RDBMS 即关系
数据
库
管理系统(Relational Database Management System)的特点:1.
数据
以表格的形式出现2.每行为各种记录名称3.每列为记录名称所对应的
数据
域4.许多的行和列组成一张表单5.若干的表单组成database
性能优化:
Excel
导入
10w
数据
需
求
说明
excel
报表导出10w+
数据
在我们的进出口贸易系统可能由于之前
导入
的
数据
量并不多没有对效率有过高的追
求
。但是到了二次开发版本,我预估
导入
时
Excel
行数会是 10w+ 级别,而往
数据
库
插入的
数据
量是大于 3n 的,也就是说 10w 行的
Excel
,则至少向
数据
库
插入 30w 行
数据
。 一些细节
数据
导入
:
导入
使用的模板由系统提供,格式是 xlsx (支持 65535+行
数据
) ,用户按照表头在对应列写入相应的
数据
。
数据
校验:
数据
校验有两种: 2.字段长度、字段正则表达式校验等,内存内校验
excel
百万
数据
如何
导入
导出?
因为你所创建的book,Sheet,row,cell等在写入到
Excel
之前,都是存放在内存
中
的(这还没有算
Excel
的一些样式格式等等),可想而知,内存不溢出就有点不科学了!限制了用户的下载数量每次最多只能有四个人同时下载,并且控制每个用户最大的导出
数据
最多只能是20w,与此同时他们也是使用的JDBC分批
导入
,但是并没有手动控制事务。2、其次就是往DB里插入,怎么去插入这20w
条
数据
,当然不能一
条
一
条
的循环,应该批量插入这20w
条
数据
,同样也不能使用Mybatis的批量插入语,因为效率也低。
100000行级别
数据
的
Excel
导入
优化之路
大家好,我是不才陈某~今天分享一篇大
数据
量
Excel
导入
如何优化的文章,非常不错。需
求
说明项目
中
有一个
Excel
导入
的需
求
:缴费记录
导入
由实施 / 用户 将别的系统的
数据
填入我们系统
中
的
Excel
模板,应用将文件内容读取、校对、转换之后产生欠费
数据
、票据、票据详情并存储到
数据
库
中
。在接手之前可能由于之前
导入
的
数据
量并不多没有对效率有过高的追
求
。但是到了 4.0 版本,预估
导入
时
Excel
...
10w
条
数据
的
Excel
秒
导入
优化记录!收藏完事儿!
点击上方[全栈开发者社区]→右上角[...]→[设为星标⭐]需
求
说明项目
中
有一个
Excel
导入
的需
求
:缴费记录
导入
由实施 / 用户 将别的系统的
数据
填入我们系统
中
的
Excel
模板,...
疑难问题
22,210
社区成员
121,727
社区内容
发帖
与我相关
我的任务
疑难问题
MS-SQL Server 疑难问题
复制链接
扫一扫
分享
社区描述
MS-SQL Server 疑难问题
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章