社区
MySQL
帖子详情
如何提高mysql插入数据的速度
Michael_Xin_CV
2010-06-06 12:14:29
最近在搞一个数据挖掘的东西,需要把大量的数据不停的插入数据库中,数据的获取速度很快,但是数据库插入的速度有些跟不上,做过这方面优化的朋友请给点意见,谢谢。
...全文
330
3
打赏
收藏
如何提高mysql插入数据的速度
最近在搞一个数据挖掘的东西,需要把大量的数据不停的插入数据库中,数据的获取速度很快,但是数据库插入的速度有些跟不上,做过这方面优化的朋友请给点意见,谢谢。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
3 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
ACMAIN_CHM
2010-06-06
打赏
举报
回复
使用LOAD DATA
取消索引,等数据加载完后再重建索引。
iihero
2010-06-06
打赏
举报
回复
楼上描述的不错啊。
如果是编码实现的话,
先可以不要索引,然后是批量提交.
还可以批量导入
zuoxingyu
2010-06-06
打赏
举报
回复
优化插入的方法:
1:如果同时从同一个客户端插入很多行,使用含多个VALUE的INSERT语句同时插入几行。这比使用单行INSERT语句快(在某些情况下快几倍)。如果你正向一个非空表添加数据,可以调节bulk_insert_buffer_size变量,使数据插入更快。
2:如果你从不同的客户端插入很多行,能通过INSERT DELAYED语句加快速度。
3:当从一个文本文件装载一个表时,使用LOAD DATA INFILE。这通常比使用很多INSERT语句快20倍。
4:锁定表可以加速用多个语句执行的INSERT操作:
LOCK TABLES a WRITE;
INSERT INTO a VALUES (1,23),(2,34),(4,33);
INSERT INTO a VALUES (8,26),(6,29);
UNLOCK TABLES;
这样性能会提高,因为索引缓存区仅在所有INSERT语句完成后刷新到磁盘上一次。一般有多少INSERT语句即有多少索引缓存区刷新。如果能用一个语句插入所有的行,就不需要锁定。
对于事务表,应使用BEGIN和COMMIT代替LOCK TABLES来加快插入。
锁定也将降低多连接测试的整体时间,尽管因为它们等候锁定最大等待时间将上升。
6:为了对LOAD DATA INFILE和INSERT在MyISAM表得到更快的速度,通过增加key_buffer_size系统变量来扩大 键高速缓冲区。
MySQL
DML 语言(
插入
、更新与删除
数据
)
Re:
MySQL
DML 语言(
插入
、更新与删除
数据
)=======================# DML
数据
操作语言 包括动词:INSERT、UPDATE、DELETE 等等 它们分别用于添加、修改和删除表中的行(
数据
) #
插入
、更新与删除
数据
MySQL
中提供了功能丰富的
数据
库管理语句,包括有效地向
数据
库中
插入
数据
的 INSERT 语句,更新
数据
的UPDATE语句以及当
数据
不在使用时删除
数据
的DELETE 语句等。 # 高阶 DML 操作 将查询结果
插入
到新表(相当于表复制功能) 根据另一张表的条件,更改本表记录 根据另一张表的条件,删除本表记录-------------------------------------------------------------
MySQL
优化
插入
数据
速度
在
MySQL
中,向
数据
表
插入
数据
时,索引、唯一性检查、
数据
大小是影响
插入
速度
的主要因素。本节将介绍优化
插入
数据
速度
的几种方法。 根据不同情况,可以分别进行优化。 对于 MyISAM 引擎的表,常见的优化方法如下: 1. 禁用索引 对非空表
插入
数据
时,
MySQL
会根据表的索引对
插入
的记录进行排序。
插入
大量
数据
时,这些排序会降低
插入
数据
的
速度
。为了解决这种情况,可以在
插入
数据
之前先禁用索引,等到
数据
都
插入
完毕后在开启索引。 禁用索引的语句为: ALTER TABLE table_name DISAB
提高
mysql
插入
速度
的方法
导读 作者:杨漆 16年关系型
数据
库管理,从oracle 9i 、10g、11g、12c到
Mysql
5.5、5.6、5.7、8.0 到TiDB获得3个OCP、2个OCM;运维路上不平坦,跌过不少坑、熬过许多夜。把工作笔记整理出来分享给大伙儿,希望帮到大家少走弯路、少熬夜。 干货: 一般情况下
mysql
在百万级
数据
时读取、
插入
、更新
速度
较快,客户体验良好,但到了两千万级以上就会出现很慢 解决案例:将
MySQL
插入
速度
从2000条/分钟
提高
到 12000条/秒。 核心思想: 1、尽量使
数据
库一次性写入Da
如何
提高
mysql
插入
速度
_
mysql
技巧:
提高
插入
数据
(添加记录)的
速度
问题描述: 普通台式机,采集
数据
,表中已经有1000万
数据
量。 采集回来的
数据
插入
表中的时候很慢,每条约100毫秒。 解决方法: 1、加大
mysql
配置中的bulk_insert_buffer_size,这个参数默认为8M bulk_insert_buffer_size=100M 2、改写所有insert语句为insert问题描述:普通台式机,采集
数据
,表中已经有>1000万
数据
量。采集回来...
【
mysql
插入
数据
问题】
MySQL
插入
数据
阻塞问题及优化方案
MySQL
作为一款广泛应用于各类项目的开源
数据
库,其性能优化一直是开发者关注的焦点。在
MySQL
中,
插入
数据
时出现阻塞是一种常见的问题,可能导致
数据
库响应缓慢,甚至影响整个系统的性能。本文将针对这个问题展开讨论,分析阻塞原因,并提供相应的优化方案。摘要:本文主要介绍了
MySQL
数据
库在
插入
数据
时出现阻塞的常见原因,以及如何查看和优化这些问题。通过分析慢查询日志、优化索引、优化
数据
类型、批量
插入
等手段,可以有效地
提高
MySQL
数据
库的
插入
性能。
MySQL
56,687
社区成员
56,710
社区内容
发帖
与我相关
我的任务
MySQL
MySQL相关内容讨论专区
复制链接
扫一扫
分享
社区描述
MySQL相关内容讨论专区
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章