mysql 每天5W条数据增量，如何优化

chenzhidenghao 2013-07-23 11:28:55
面试的时候问到 mysql 每天5W条数据增量，如何优化 有3年的数据了
...全文
328 4 打赏 收藏 转发到动态 举报
写回复
用AI写文章
4 条回复
切换为时间正序
请发表友善的回复…
发表回复
无聊是无知 2015-09-02
  • 打赏
  • 举报
 回复
怎么优化？第一件事情，先把之前的dba和架构师先给开了。 妈蛋，都三年了，少说也积累了几千万记录了，才想优化。
chenzhidenghao 2013-07-23
  • 打赏
  • 举报
 回复
引用 1 楼 ACMAIN_CHM 的回复:
分区表。 .
不会，能给点资料么？
ACMAIN_CHM 2013-07-23
  • 打赏
  • 举报
 回复
分区表。 .
ACMAIN_CHM 2013-07-23
  • 打赏
  • 举报
 回复
MYSQL官方提供了免费手册中有详细介绍。
Java面试八股之MySQL数据库每天5万以上的增量数据，预计运维5年怎么优化
配置优化: 调整my.cnf配置文件中的参数，如innodb_buffer_pool_size，innodb_log_file_size等。水平扩展: 使用分布式数据库解决方案或集群，如MySQL Cluster或Galera Cluster，以支持更高的并发和更大的数据量。读写分离: 实施主从复制，将写操作集中在主数据库，读操作分布到从数据库，减轻单一数据库的压力。优化JOIN操作: 确保参与JOIN的列被正确索引，使用合适的JOIN类型。合理设计索引: 根据查询模式创建必要的索引，避免过度索引。
MySQL 数据库，一天一万条以上的增量，怎么优化（未完）
bulk_insert_buffer_size参数相对增大———用于存放insert语句的缓存空间，增大可以提高insert的速度 对于insert频率较大的表，可以适当删除不常用的索引，可以减少对表索引维护的开销 在业务允许的情况下，也就是说不需要事物机制，建议用myisam引擎，相比较而言，myisam比innodb的批量插入要快很多，当然还有archive引擎，不过这个引擎很少用
MySQL数据库，每天100万以上的增量，该如何优化？
每天入库100W数据也不是问题，入库还不大会体现出耗时问题。 主要还是要考虑入库后，在数据统计运算上面的问题，单台SERVER的话，无非还是处理好分表、索引、关联查询、MYSQL配置优化等。 每天1亿+的话可以考虑使用:mysql cluster、hadoop等。 如果按这种进度，数据量很快就上亿。说实话这样的基础就算读写分离，mysql集群等等可...
Canal增量订阅MySQL数据同步工具
阿里巴巴开源的工具canal:，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费.基本原理就是:canal伪装成为mysql的一个【slave从节点】订阅master的binlog, 解析binlog拿到更新后的数据，拿到更新后的数据之后， 一般会将数据推送到MQ(例如Kafka、RabbitMQ等)中间件， 之后我们再通过消费MQ拿到增量更新数据进行业务处理.
mysql数据库，一天五万条以上的增量怎么优化
a. 设计良好的数据库结构，允许部分数据冗余，尽量避免join查询，提高效率。 b. 选择合适的表字段数据类型和存储引擎，适当的添加索引。 c. mysql库主从读写分离。 d. 找规律分表，减少单表中的数据量提高查询速度。 e. 添加缓存机制，比如memcached，apc等。 f. 不经常改动的页面，生成静态页面。 g. 书写高效率的SQL。比如 SELECT * FROM TAB...
MySQL

57,064

社区成员

56,760

社区内容

发帖
与我相关
我的任务
社区描述
MySQL相关内容讨论专区
社区管理员
  • MySQL
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章