mysql插入大量数据的效率问题

悲酥清风 2010-10-15 11:24:59

大家遇到过向MySql中插入大量数据的情况吗？
我才20000条数据，要说也不算大呀，但插入的效率非常低，和SqlServer简直没法比
用SqlServer导入数据20秒，用MySql导入需要6-7分钟
请问是MySql本身的缺陷还是我用的有问题？可是同样的代码啊。

...全文

230 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

CunningBoy 2010-10-15

打赏
举报

回复

你是怎么插入的，代码贴出来看看。

amani11 2010-10-15

打赏
举报

回复

本来数据规模多大，索引情况，记录数据库日志，可能会大大降低速度

没得优化了，考虑INSERT DELAYED 或者 load data infile看看，能不能解决到问题

java实现Excel数据导入到数据库，如果数据库中存在就更新。数据库数据导入到Excel表中。

插入大量数据到MySQL数据库时，执行单条插入语句的开销相对较大，包括网络延迟、每次插入都要进行事务处理和日志记录等。批量插入可以将多条插入语句合并为一条，从而减少网络往返次数和事务开销，提高整体数据插入效率。

最近做性能测试，需要模拟生产环境的数据量，在插入mysql百万、千万级数据的时候发现直接使用插入sql效率极低，百度了一翻，找到几种方式，但用下来还是有很快速的方式，推荐第四种。

MySQL作为一款广泛应用于各类项目的开源数据库，其性能优化一直是开发者关注的焦点。在MySQL中，插入数据时出现阻塞是一种常见的问题，可能导致数据库响应缓慢，甚至影响整个系统的性能。本文将针对这个问题展开讨论，分析阻塞原因，并提供相应的优化方案。摘要：本文主要介绍了MySQL数据库在插入数据时出现阻塞的常见原因，以及如何查看和优化这些问题。通过分析慢查询日志、优化索引、优化数据类型、批量插入等手段，可以有效地提高MySQL数据库的插入性能。

在使用某些ORM框架（如MyBatis-Plus）时，可以开启批处理模式，这样可以在同一个数据库连接中执行多个插入操作，减少了连接和关闭数据库连接的开销。：这是一个非常高效的数据加载工具，可以直接从文件中读取数据并批量插入到数据库中，跳过了客户端到服务器的网络传输过程。：如果服务器资源允许，可以设计并行插入策略，利用多线程或多进程同时向数据库写入数据，实现更高的并发性。：使用MySQL的性能监控工具实时监控数据插入过程中的性能瓶颈，并根据监控结果调整插入策略。的配置，因为它限制了单个SQL语句的大小。

21,893

社区成员

140,347

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章