56,687
社区成员
发帖
与我相关
我的任务
分享把MySQL的插入和更新处理速度发挥到极限
数据库里面有张表，千万到亿级别的数据。
有一个唯一索引和另外几个索引。
这个表主要用来进行插入操作，插入过程中唯一索引重复时进行其他字段的更新。
很少对这个表进行检索。
想请教大家，怎么才能把这个数据库的插入操作速度弄到最大呢？
想到的有：调参数，分区。
可是，参数该怎么调呢。另外，分区能提高插入操作速度吗？
有一个唯一索引和另外几个索引。
这个表主要用来进行插入操作，插入过程中唯一索引重复时进行其他字段的更新。
很少对这个表进行检索。
想请教大家，怎么才能把这个数据库的插入操作速度弄到最大呢？
想到的有：调参数，分区。
可是，参数该怎么调呢。另外，分区能提高插入操作速度吗？
...全文
请发表友善的回复…
发表回复
懒得去死 2013-12-31
- 打赏
- 举报
分区既可以提高插入速度，也可以提高查询速度。 就看怎么分法了。
栗华山 2013-12-30
- 打赏
- 举报
你是对的
jdgdf566 2012-03-13
- 打赏
- 举报
[Quote=引用 12 楼 gsk09 的回复:]
引用 11 楼 iihero 的回复:
那个唯一列判断，最好不要依赖于数据库，在数据整理的时候就应该整理出来。
就是说，在插入之前先检索数据库，看看有没有重复吗？
[/Quote]是否可以考虑使用存储程序？
再就是，最好能够先用页面脚本把数据处理一下，再交给mysql插入。使得mysql不需要做任何判断。
再就是，不一定是一次插入的数据量越大，多次插入总的速度越高。
引用 11 楼 iihero 的回复:
那个唯一列判断，最好不要依赖于数据库，在数据整理的时候就应该整理出来。
就是说，在插入之前先检索数据库，看看有没有重复吗？
[/Quote]是否可以考虑使用存储程序？
再就是，最好能够先用页面脚本把数据处理一下，再交给mysql插入。使得mysql不需要做任何判断。
再就是，不一定是一次插入的数据量越大，多次插入总的速度越高。
gsk09 2012-03-13
- 打赏
- 举报
[Quote=引用 11 楼 iihero 的回复:]
那个唯一列判断，最好不要依赖于数据库，在数据整理的时候就应该整理出来。
[/Quote]
就是说，在插入之前先检索数据库，看看有没有重复吗？
那个唯一列判断，最好不要依赖于数据库，在数据整理的时候就应该整理出来。
[/Quote]
就是说，在插入之前先检索数据库，看看有没有重复吗？
liuxinran819 2012-03-13
- 打赏
- 举报
我觉得这里插入性能的瓶颈在于唯一键的判断，这需要对唯一键进行扫描。
如果是MyISAM，可以考虑尽量增大键缓存，使扫描尽快完成。
如果是InnoDB，可以考虑增大缓冲池的尺寸。
如果是MyISAM，可以考虑尽量增大键缓存，使扫描尽快完成。
如果是InnoDB，可以考虑增大缓冲池的尺寸。
一起混吧 2012-02-29
- 打赏
- 举报
分区能提高查询速度。插入再分区的感觉还繁琐一些。
不知道你说的调用系统参数是什么意思？
不知道你说的调用系统参数是什么意思？
gsk09 2012-02-29
- 打赏
- 举报
[Quote=引用 1 楼 acmain_chm 的回复:]
分区不能提高插入速度，但可以提高某些特定的查询速度。
[/Quote]
你好，我觉得还是先不考虑分区了。
对于像我这样的需求情况，该怎么调整系统参数呢。
能给个参考例子吗？
先谢谢了。
分区不能提高插入速度，但可以提高某些特定的查询速度。
[/Quote]
你好，我觉得还是先不考虑分区了。
对于像我这样的需求情况，该怎么调整系统参数呢。
能给个参考例子吗？
先谢谢了。
gsk09 2012-02-29
- 打赏
- 举报
[Quote=引用 1 楼 acmain_chm 的回复:]
分区不能提高插入速度，但可以提高某些特定的查询速度。
[/Quote]
另外，分区是不是某种程度上会降低插入速度呢。
分区不能提高插入速度，但可以提高某些特定的查询速度。
[/Quote]
另外，分区是不是某种程度上会降低插入速度呢。
gsk09 2012-02-29
- 打赏
- 举报
[Quote=引用 1 楼 acmain_chm 的回复:]
分区不能提高插入速度，但可以提高某些特定的查询速度。
[/Quote]
嗯。我也查了不少介绍分区的资料。但是都在谈论分区提高查询速度，没有看到有说分区
能提高插入速度的。
----也就是说，我这个应该放弃分区的想法了。
分区不能提高插入速度，但可以提高某些特定的查询速度。
[/Quote]
嗯。我也查了不少介绍分区的资料。但是都在谈论分区提高查询速度，没有看到有说分区
能提高插入速度的。
----也就是说，我这个应该放弃分区的想法了。
ACMAIN_CHM 2012-02-29
- 打赏
- 举报
分区不能提高插入速度，但可以提高某些特定的查询速度。
iihero 2012-02-29
- 打赏
- 举报
那个唯一列判断，最好不要依赖于数据库，在数据整理的时候就应该整理出来。
Rotel-刘志东 2012-02-29
- 打赏
- 举报
分区是不能提高插入速度的，而是能提高查询速度的。
珠海-天堂 2012-02-29
- 打赏
- 举报
分区是会影响插入效率的。她插入时还得判断插到哪个分区里面，多了一步操作了。
gsk09 2012-02-29
- 打赏
- 举报
[Quote=引用 6 楼 zuoxingyu2012 的回复:]
1：把单个插入合并成批量插……
[/Quote]
你好，谢谢回复。
1.
我现在用的就是load data from file方法。
原来用的MYISAM表，但是发现数据上千万以后再进行十万以上的插入时，速度明显下降(或者说是忽快忽慢不稳定)，所以后来换成了InnoDB。我稍后再换回去好好试试。
2.
由于有一个唯一列要判断，现在还不知道该怎么进行并行处理。
3.
分表有时候可以提供查询速度，但是对于这样的插入操作，是不是会反而更慢呢。
1：把单个插入合并成批量插……
[/Quote]
你好，谢谢回复。
1.
我现在用的就是load data from file方法。
原来用的MYISAM表，但是发现数据上千万以后再进行十万以上的插入时，速度明显下降(或者说是忽快忽慢不稳定)，所以后来换成了InnoDB。我稍后再换回去好好试试。
2.
由于有一个唯一列要判断，现在还不知道该怎么进行并行处理。
3.
分表有时候可以提供查询速度，但是对于这样的插入操作，是不是会反而更慢呢。
珠海-天堂 2012-02-29
- 打赏
- 举报
系统参数方面
1：insert_buffer_size
2: innodb_flush_log_at_trx_commit
3: innodb_file_per_table=1
4: sync_binlog
1：insert_buffer_size
2: innodb_flush_log_at_trx_commit
3: innodb_file_per_table=1
4: sync_binlog
珠海-天堂 2012-02-29
- 打赏
- 举报
[Quote=引用楼主 gsk09 的回复:]
数据库里面有张表，千万到亿级别的数据。
有一个唯一索引和另外几个索引。
这个表主要用来进行插入操作，插入过程中唯一索引重复时进行其他字段的更新。
很少对这个表进行检索。
想请教大家，怎么才能把这个数据库的插入操作速度弄到最大呢？
想到的有：调参数，分区。
可是，参数该怎么调呢。另外，分区能提高插入操作速度吗？
[/Quote]
1：把单个插入合并成批量插入
insert into a values(...) --> insert into a values(..),(..),(...)
2: 把插入改成load data from file -->可以提高20倍
3：在插入前disable key,插入后再enable key.
4: 把表类型改成MYISAM，在插入时少一些事务的额外操作，也能提高效率。
5：分表，程序处理，进行并发插入。
数据库里面有张表，千万到亿级别的数据。
有一个唯一索引和另外几个索引。
这个表主要用来进行插入操作，插入过程中唯一索引重复时进行其他字段的更新。
很少对这个表进行检索。
想请教大家，怎么才能把这个数据库的插入操作速度弄到最大呢？
想到的有：调参数，分区。
可是，参数该怎么调呢。另外，分区能提高插入操作速度吗？
[/Quote]
1：把单个插入合并成批量插入
insert into a values(...) --> insert into a values(..),(..),(...)
2: 把插入改成load data from file -->可以提高20倍
3：在插入前disable key,插入后再enable key.
4: 把表类型改成MYISAM，在插入时少一些事务的额外操作，也能提高效率。
5：分表，程序处理，进行并发插入。
