如何提高mysql插入数据的速度

Michael_Xin_CV 2010-06-06 12:14:29

最近在搞一个数据挖掘的东西,需要把大量的数据不停的插入数据库中,数据的获取速度很快,但是数据库插入的速度有些跟不上,做过这方面优化的朋友请给点意见,谢谢。
...全文
330 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
ACMAIN_CHM 2010-06-06
  • 打赏
  • 举报
回复
使用LOAD DATA

取消索引,等数据加载完后再重建索引。
iihero 2010-06-06
  • 打赏
  • 举报
回复
楼上描述的不错啊。
如果是编码实现的话,
先可以不要索引,然后是批量提交.
还可以批量导入
zuoxingyu 2010-06-06
  • 打赏
  • 举报
回复
优化插入的方法:
1:如果同时从同一个客户端插入很多行,使用含多个VALUE的INSERT语句同时插入几行。这比使用单行INSERT语句快(在某些情况下快几倍)。如果你正向一个非空表添加数据,可以调节bulk_insert_buffer_size变量,使数据插入更快。

2:如果你从不同的客户端插入很多行,能通过INSERT DELAYED语句加快速度。

3:当从一个文本文件装载一个表时,使用LOAD DATA INFILE。这通常比使用很多INSERT语句快20倍。

4:锁定表可以加速用多个语句执行的INSERT操作:

LOCK TABLES a WRITE;
INSERT INTO a VALUES (1,23),(2,34),(4,33);
INSERT INTO a VALUES (8,26),(6,29);
UNLOCK TABLES;

这样性能会提高,因为索引缓存区仅在所有INSERT语句完成后刷新到磁盘上一次。一般有多少INSERT语句即有多少索引缓存区刷新。如果能用一个语句插入所有的行,就不需要锁定。

对于事务表,应使用BEGIN和COMMIT代替LOCK TABLES来加快插入。

锁定也将降低多连接测试的整体时间,尽管因为它们等候锁定最大等待时间将上升。

6:为了对LOAD DATA INFILE和INSERT在MyISAM表得到更快的速度,通过增加key_buffer_size系统变量来扩大 键高速缓冲区。

56,687

社区成员

发帖
与我相关
我的任务
社区描述
MySQL相关内容讨论专区
社区管理员
  • MySQL
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧