社区
MS-SQL Server
帖子详情
数据库操作量过大,导致程序运行时间长
OpenSkyTale
2014-10-23 01:09:50
自己写的一个数据导入系统,从Excel中导入到数据库,由于数据量比较大,而且每次insert之前需要select来查询该条信息是否已经存在,导致数据库操作量过大,整个程序运行时间需要近10分钟。据说是因为没用存储过程的原因,现在在重新写存储过程,不知道有没有其他原因?
...全文
363
5
打赏
收藏
数据库操作量过大,导致程序运行时间长
自己写的一个数据导入系统,从Excel中导入到数据库,由于数据量比较大,而且每次insert之前需要select来查询该条信息是否已经存在,导致数据库操作量过大,整个程序运行时间需要近10分钟。据说是因为没用存储过程的原因,现在在重新写存储过程,不知道有没有其他原因?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
5 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
exception92
2014-10-23
打赏
举报
回复
使用批量拷贝吧,
http://www.cnblogs.com/shikyoh/archive/2011/07/01/2095633.html
卖水果的net
版主
2014-10-23
打赏
举报
回复
先把 Excel 中的数据导入到一张临时表,导入完成后,再用 SQL 语句向你的业务表中写数据,就能快好多。
还在加载中灬
2014-10-23
打赏
举报
回复
可不可以在导入之前先过滤掉重复的,然后直插入 这样去重只执行一次,不用每次插入都判断有没有重复值
Mr_Nice
2014-10-23
打赏
举报
回复
可以考虑分两步走,先导入到一个中间表,然后检测哪些数据可以进入常规表。 导入可以考虑使用bulk insert 检测部分可以写成存储过程。
寡亾
2014-10-23
打赏
举报
回复
建议: 1.源表有自增ID,并且将其导入目的表。 2.每次根据源表ID导入增量部分。 3.可以写简单SP配合while循环,循环从上次源表导入ID+1至MAXID
Oracle
数据库
大事务的数据更改对
数据库
内部的影响
本课程以Oracle 10g
数据库
为基础,来讲解大事务的数据更改在
数据库
内部是如何处理的。 当用户执行一条SQL对
数据库
进行更改
操作
的时候,我们知道数据是从磁盘读取到内存中进行更改
操作
的,那么当这个SQL执行时间很
长
,而且修改数据量非常大,由于内存容量大小的原因,可能在事务没有commit提交的情况下,一些脏数据已经写回到了磁盘中。那么在这种情况下,当用户执行commit提交
操作
,
数据库
是如何处理这些已经写到磁盘的脏数据块的? 本课程就以实验的方式得出数据,来验证以上所提出的问题。
数据库
数据
量过大
导致
运行缓慢的解决方案
1.新建数据表 我们知道最直接最简单的方法就是把该表的数据量变小,那么把表数据变少有什么办法呢?最简单最直接的方法就是再建立一张具有相同结构的数据表,建好表之后,再把不需要经常调用的数据放到该备用表中,当需要查询的时候,再查该表,这种方法虽笨但很直接,我以oracle为例,oracle可以将表进行分区,这是一种好办法,如果在开始创表时分区就好多了,因为如果你想在插入很多数据以后的表中分区,这就复杂...
数据库
大数据量的优化方案
在系统开发的初期以及使用的初期,一般不会太过于在意
数据库
的设计以及sql语句的优化,这就会
导致
系统有可能在日积月累的海量数据下越来越慢直至崩溃,所以以后在系统
数据库
设计之初完备的
数据库
模型的设计是必须的。 优化
数据库
方案 对于
数据库
的的优化此处给出三种优化方案: 1.优化现有mysql
数据库
优点:不影响现有业务,源程序不需要修改代码,成本最低 缺点:有优化瓶颈,数据量过亿就无法继续支撑相应的业务 2.升级
数据库
类型,换一种100%兼容mysql的
数据库
优点:不影响现有业务,源程序不需要修改代码,你几
SQL Server数据量大
导致
的程序死掉
SQL SERVER数据量大
导致
MES程序出现无响应和死掉
数据库
:
数据库
设计(需求,设计,运行,维护)
1,
数据库
设计概述 1.1,
数据库
设计的基本概念
数据库
设计是指对于一个给定的应用环境,构造(设计)优化的
数据库
逻辑模式和物理结构,并据此建立
数据库
及其应用系统,使之能够有效地存储和管理数据,满足各种用户的应用需求,包括信息管理要求和数据
操作
要求。
数据库
设计的目标:是为用户和各种应用系统提供一个信息基础设施和高效率的运行环境 。
数据库
设计的基本任务:是根据用户的信息需求、处理需求和
数据库
的支持环境(包括硬件、
操作
系统和DBMS),设计出
数据库
模式(包括外模式、逻辑模式和内模式)及其典型的应用程
MS-SQL Server
34,590
社区成员
254,589
社区内容
发帖
与我相关
我的任务
MS-SQL Server
MS-SQL Server相关内容讨论专区
复制链接
扫一扫
分享
社区描述
MS-SQL Server相关内容讨论专区
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章