56,679
社区成员
发帖
与我相关
我的任务
分享如何提高数据的插入效率呢？
对于一个记录表，随着记录的增多，可能记录到达上千万条记录，如何在查询和插入中平衡其中的效率呢？
我知道，索引能够优化查询速度，但对于插入时，由于要建立索引以及更新索引，这样会影响到插入数据的效率，请问下，有和办法进行折中呢》
我知道，索引能够优化查询速度，但对于插入时，由于要建立索引以及更新索引，这样会影响到插入数据的效率，请问下，有和办法进行折中呢》
...全文
请发表友善的回复…
发表回复
codeMyLife 2014-09-26
- 打赏
- 举报
分表分区多磁盘，禁止自动提交，使用MYISAM引擎，优化SQL语句，优化缓存配置，大批量插入。
或者直接从文件加载。
gaofei8704 2014-09-24
- 打赏
- 举报
个人有一下几个建议：
1、表分区：
当表数据量过大，做逻辑数据分割，可以极大的提高单一的写和读应用速度，在5.1版本后已经全面支持
2、做cold/hit表：
做物理切割，单节点物理切割有两个方法：
1）、将冷数据完全移入cold表（很多情况下叫历史表），常用数据放入hit表
2）、同结构字表：tb_index(数据映射表)，tb_1（实体1）,tb_2……查询时用通过多线程查找拼接
3、分布式存储：
完全的物理切分，多节点散列式存储，通过DB路由或table路由
实施难度有低到高，给我分后咋们详细说
chengchow2001 2014-09-23
- 打赏
- 举报
mysql 手册中有介绍，通常这种表，插入数据的时候可以先将索引删除，插入完毕添加索引
mysql终究是读数据多，所以索引还是必须的
aqbeyond 2014-09-19
- 打赏
- 举报
建议
1，优化索引，将不常用的字段的索引去掉；
2，看看是不是log太多，清一下log；
3，分区处理，或者将表逻辑分割成N个新表。
yoxibaga 2014-09-18
- 打赏
- 举报
恩， 查了一些资料，读写分离，数据库分区都能做到
LOVE-漂泊 2014-09-16
- 打赏
- 举报
存储过程，和批量提交
zhu19774279 2014-09-15
- 打赏
- 举报
读写分离呢？
牵着你的手 2014-09-15
- 打赏
- 举报
千万条应该很快的，除非几亿
rucypli 2014-09-12
- 打赏
- 举报
没有索引的查询会让你崩溃的
ACMAIN_CHM 2014-09-12
- 打赏
- 举报
从平衡上来说没有任何好的办法，必须牺牲某一项才行。
建议还是从硬件上想点办法，直接使用更快的计算机
