社区
高性能WEB开发
帖子详情
当我将大量的数据插入到数据库的时候,经常会出现服务器超时的错误
yghuaa
2014-03-10 06:25:05
请问要怎么提高这种大数据量的更新插入操作的性能啊,完全没有思路啊,
感觉存储数据的SQL语句都是一样的吧,Insert into
...全文
1063
5
打赏
收藏
当我将大量的数据插入到数据库的时候,经常会出现服务器超时的错误
请问要怎么提高这种大数据量的更新插入操作的性能啊,完全没有思路啊, 感觉存储数据的SQL语句都是一样的吧,Insert into
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
5 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
感同深受
2014-03-15
打赏
举报
回复
正如楼上所说可以批处理,再就是可以使用缓存,先别着急插入到数据库,先吧数据放到内存,或者文件,利用空闲时间插入,但一定要做好日志记录。
MiceRice
2014-03-14
打赏
举报
回复
如三楼所说的各类意见。 首先看看是不是全作为一个事务,从而导致事务规模太大了,这种是不行的。 如果确实需要作为一个事务,先全部弄进某临时表,再一句Insert来做表间数据批量导。 第二个就是单条单条执行Insert效率也低,应该考虑batch批量操作,每个batch也不宜太大。 第三个就是大批量操作不要作为实时业务(用户在界面上点个导入,系统就非要全做完才反馈),而是作为后台任务(用户点击导入后,系统提示已经开始进行导入,请过会儿再来查询导入结果)。 最后就是:如果能用外部工具(SQL Loader等)解决那是最好了。
去旅行吧
2014-03-13
打赏
举报
回复
我也遇到同样的问题
TonyChen19810807
2014-03-13
打赏
举报
回复
这个问题要多方面去讨论。按照上面的思路,如果插入数据过于巨大,那么讲造成数据库回滚栈爆掉。 要解决问题,你首先得说明系统瓶颈是什么。如果是存储的瓶颈,可以考虑过分区,分库。 如果是接入点不能承担负荷,可以考虑加节点。 如果业务允许批量添加,可以在后台用专门的工具,如sqlloader之类的。
slimina
2014-03-10
打赏
举报
回复
开启事务批量insert数据, oracle的话可以100条提交,在出错的地方try{}, 并继续从刚出错的地方继续执行。
基于Go语言大型企业级电商秒杀系统实战教程
利用缓存对写请求:缓存也是可以应对写请求,比如我们可以把
数据
库
中库存
数据
迁移到Redis缓存中,所有减库存操作都在Redis中进行,然后通过后台进程把Redis中的用户秒杀请求同步到
数据
库
中
数据
库
层
数据
库
层是最...
SQL
数据
库
连续
插入
大批量
数据
时
超时
经常
会
处理大批量千万级的
数据
,一直以来都没问题。最近在处理时确出来了经常
超时
,程序跑一段时间就得停下来重启
服务器
,根据几次的调整发现了问题的所在,产生这类问题主要是以下几点所导致: 1、
数据
库
连接未...
如何处理Java开发中的
数据
库
连接
超时
问题
当应用程序试图连接到
数据
库
时,如果连接花费的时间超过了预设的
超时
时间,就
会
出现
连接
超时
错误
。在Java开发中,解决
数据
库
连接
超时
问题可以通过调整连接
超时
时间、使用连接池管理连接以及检查网络和
数据
库
服务器
来...
分批次
插入
mysql:一次性
插入
mysql两万以上
数据
造成
数据
库
假死
项目距离上线的日期越来越近了,需要规范一下
数据
库
中...导入3万
数据
,期间
会
有校验,最后分别
插入
到四张表中,本库
插入
3张表,云平台
插入
一张表,运行到一半的时候就前端页面假死了,最后通过分批
插入
数据
解决问题,以下...
laravel mysql
超时
时间_连接到
数据
库
时Laravel连接
超时
我将应用程序从我的开发机器移动到测试
服务器
。连接到我的本地开发mysql
数据
库
时,一切都按预期工作。尝试连接到我们的测试
服务器
时,请求
超时
45秒后返回500
错误
。连接到
数据
库
时Laravel连接
超时
我测试的
服务器
可以...
高性能WEB开发
25,985
社区成员
4,366
社区内容
发帖
与我相关
我的任务
高性能WEB开发
高性能WEB开发
复制链接
扫一扫
分享
社区描述
高性能WEB开发
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章