56,940
社区成员
发帖
与我相关
我的任务
分享求mysql大数据量的解决方案
有这么一种场景，燃气表，每分钟会采集一条数据进数据库，有数以万计的表，一年的数据量有1T左右，如果单台服务器，一年还可以，3、5年就不能胜任了，无论是磁盘空间还是读写压力，这时候，如何来做扩容？有没有什么牛B的方案，直接增加几台服务器，能线性的提示性能？同时空间也线性增长？
...全文
请发表友善的回复…
发表回复
u010920967 2020-01-20
- 打赏
- 举报
老哥,,1分钟一条属于很少的数据量的好不好,一年也就525,600条记录,算你有一百个字段,撑死数据量2GB
attilax 2018-02-25
- 打赏
- 举报
Atitit 大数据量方案 基于mysql数据库
1. 为什么继续使用mysql的理由 2
1.1. 支持sql 简单易用 可读性。。软件是给人读的优先于机器 2
1.2. 支持join连接与 分组汇集 方便做数据分析 统计 2
1.3. 与可视化报表工具方便连接 sql是标准化的，支持外围组件多 2
1.4. Mysql gui工具好用 2
1.5. 资料众多 2
2. 使用Archive 存储引擎 性能提升一个数量级 2
3. 表分区 二级分区 2
4. 使用ssd 立即提升一个数量级 3
5. 做集群读写 3
6. 多机分库 最终手段 少于20台机器轻易不要使用此方法 3
1.为什么继续使用mysql的理由
1.1.支持sql 简单易用 可读性。。软件是给人读的优先于机器
1.2.支持join连接与 分组汇集 方便做数据分析 统计
1.3.与可视化报表工具方便连接 sql是标准化的，支持外围组件多
1.4. Mysql gui工具好用
1.5.资料众多
2.使用Archive 存储引擎 性能提升一个数量级
Archive ：非常适合存储大量的独立的，作为历史记录的数据。因为它们不经常被读取。Archive拥有高效的插入速度，但其对查询的支持相对较差
正如其名称所示，Archive非常适合存储归档数据，如日志信息。它只支持INSERT和SELECT操作，其设计的主要目的是提供高速的插入和压缩功能。
3.表分区 二级分区
分区文件可以部署在不同的磁盘上，性能提升刷刷的，
4.使用ssd 立即提升一个数量级
Sql操作都是iops较多，刷刷的非常适合。。
5.做集群读写
6.多机分库 最终手段 少于20台机器轻易不要使用此方法
一旦涉及统计需要遍历多节点。。需要修改程序
分库按照年度分即可
karderax 2018-02-24
- 打赏
- 举报
这两天了解下TiDB，感觉很不错，正式平台需要的东西，近阶段首选。谢谢！
karderax 2018-02-23
- 打赏
- 举报
要实现你说的这些方式，一般会用到哪些技术，怎么实现？请详细指点
karderax 2018-02-23
- 打赏
- 举报
MYSQL是多年前用过，最新发展状况不太熟悉了，那天看了个帖子，说tiDB，没太在意，不知道成熟度如何，部署是否复杂，安全性、稳定性如何，请详细聊聊
rucypli 2018-02-23
- 打赏
- 举报
mongodb的shard方案
或者tidb
看样子你熟悉mysql，推荐用tidb，完美兼容mysql
ckc 2018-02-23
- 打赏
- 举报
1年1t数据量不算太大，磁盘空间应该没什么压力吧，写的数据量是稳定的，感觉应该也问题不大，如果是因为应用经常要读历史数据什么造成的压力，可以把数据复制到多台服务器，读的时候分散到不同的服务器，压力就可控了。
如果不同的表的数据不需要同时读取分析，就是说读数据的时候一般只对单一的表读取，那可以根据表的序号啥的进行分段，比如每5000个表对应一个服务器，这样就不会有性能问题了。
