mysql插入大量数据的效率问题

悲酥清风 2010-10-15 11:24:59

大家遇到过向MySql中插入大量数据的情况吗？
我才20000条数据，要说也不算大呀，但插入的效率非常低，和SqlServer简直没法比
用SqlServer导入数据20秒，用MySql导入需要6-7分钟
请问是MySql本身的缺陷还是我用的有问题？可是同样的代码啊。

...全文

247 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

CunningBoy 2010-10-15

打赏
举报

回复

你是怎么插入的，代码贴出来看看。

amani11 2010-10-15

打赏
举报

回复

本来数据规模多大，索引情况，记录数据库日志，可能会大大降低速度

没得优化了，考虑INSERT DELAYED 或者 load data infile看看，能不能解决到问题

java实现Excel数据导入到数据库，如果数据库中存在就更新。数据库数据导入到Excel表中。

插入大量数据到MySQL数据库时，执行单条插入语句的开销相对较大，包括网络延迟、每次插入都要进行事务处理和日志记录等。批量插入可以将多条插入语句合并为一条，从而减少网络往返次数和事务开销，提高整体数据插入效率。

最近做性能测试，需要模拟生产环境的数据量，在插入mysql百万、千万级数据的时候发现直接使用插入sql效率极低，百度了一翻，找到几种方式，但用下来还是有很快速的方式，推荐第四种。

MySQL插入数据优化指南：从基础到高效的7种方法摘要：本文介绍了7种MySQL数据插入优化方法，从最简单的逐条插入到最高效的LOAD DATA命令。方法包括：1)基础逐条插入；2)批量VALUES插入；3)分批次事务插入；4)LOAD DATA INFILE文件导入；5)JDBC批量参数优化；6)MyBatis批量处理；7)最高效的LOAD DATA命令。优化建议：优先使用LOAD DATA INFILE，合理设置批量大小（1000-5000条），启用事务管理，配置JDBC批量参数，避免UUID主键。这

在使用某些ORM框架（如MyBatis-Plus）时，可以开启批处理模式，这样可以在同一个数据库连接中执行多个插入操作，减少了连接和关闭数据库连接的开销。：这是一个非常高效的数据加载工具，可以直接从文件中读取数据并批量插入到数据库中，跳过了客户端到服务器的网络传输过程。：如果服务器资源允许，可以设计并行插入策略，利用多线程或多进程同时向数据库写入数据，实现更高的并发性。：使用MySQL的性能监控工具实时监控数据插入过程中的性能瓶颈，并根据监控结果调整插入策略。的配置，因为它限制了单个SQL语句的大小。

21,891

社区成员

140,342

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章