插入数据的效率和表的数据多少有关系吗

ajdkjalj 2019-01-10 10:47:42

今天发现往一个表插入数据很慢，就3条数据用了6,7秒，然后我count了一下这个表的行数，有几百万条，这个有什么办法解决吗，这还是只插入3条，那几十条插入的时候那可以想象客户会怎么抱怨了

...全文

403 5 打赏收藏转发到动态举报

写回复

5 条回复

切换为时间正序

请发表友善的回复…

发表回复

唐诗三百首 2019-01-10

打赏
举报

回复

建议检查一下目标表上是否有触发器, 计算列或外键约束.

砸死牛顿的苹果 2019-01-10

打赏
举报

回复

数据库内存上限设置下,留几个G给系统

ajdkjalj 2019-01-10

打赏
举报

回复

我重启了下sqlserver，现在插入效率提高了很多，有没有什么自动化的办法，总不能用一段时间就去重启下数据库吧

砸死牛顿的苹果 2019-01-10

打赏
举报

回复

估计是新插入的数据影响了物理顺序

可以试试重建聚集索引(也可能是你的主键),并修改填充因子为70~90,根据你读写的比例

Csdn技术大神 2019-01-10

打赏
举报

回复

重启数据库多试试就可以了

文章目录一、前言二、批量插入前准备1、插入到数据表的字段2、计算一行字段占用的空间3、在数据里做插入操作的时候，整体时间的分配三、批量插入数据测试1、SQL语句的大小限制2、查看服务器上的参数：3、计算一次能插入的最大行记录4、测试插入数据比对（1）插入11W条数据，按照每次10,600,1000，20000,80000来测试：（2）加大数据量到24w（3）加大测试量到42W5、如果插入的值就是s...

做批量导入的时候有上万条数据需要插入到库里用saveBatch(list)的效率不忍直视插入1000条数据大概需要10s 8000多条数据就直接原地升天解决方法也很简单 rewriteBatchedStatements=true 数据库连接参数配置 rewriteBatchedStatements=true master.jdbc.url=jdbc:mysql://127.0.0.1:3306/outreach_platform?useUnicode=true&characterEncodi

文章目录一、前言二、批量插入前准备1、插入到数据表的字段2、计算一行字段占用的空间3、在数据里做插入操作的时候，整体时间的分配三、批量插入数据测试1、SQL语句的大小限制2、查看服务器上的参数：3、计算一次能插入的最大行记录4、测试插入数据比对（1）插入11W条数据，按照每次10,600,1000，20000,80000来测试：（2）加大数据量到24w（3）加大测试量到42W5、如果插入的值就是s...

一、前言我们在操作大型数据表或者日志文件的时候经常会需要写入数据到数据库，那么最合适的方案就是数据库的批量插入。只是我们在执行批量操作的时候，一次插入多少数据才合适呢？假如需要插入的数据有百万条，那么一次批量插入多少条的时候，效率会高一些呢？这里博主和大家一起探讨下这个问题，应用环境为批量插入数据到临时表。二、批量插入前准备博主本地原本是循环查出来的数据，然后每1000条插入一次，直至完成插入操作。但是为什么要设置1000条呢，实不相瞒，这是因为项目里的其他批量插入都是一次插10...

关于解决大量数据插入操作的效率问题需求分析：大量数据插入数据库，如果按照传统的一条一插入，每次插入都会访问数据库，效率大大降低，解决思路是减少client与数据库的交互次数（以空间换时间），提高数据的查询效率。传统对数据库操作如图1所示。提供方法有以下4个步骤，不提供具体代码，仅仅做思路上的提示。第一：使用JDBC技术的PreparedStatement来操作s...

27,579

社区成员

68,558

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章