求教一个海量数据的存储设计方案

feng2 2018-12-28 09:43:43
1、单表数据规模 10亿;
2、系统的用户规模很小,几乎不存在并发业务;
3、业务以分析为主,单次业务使用的数据规模100万。

从成本和复杂度考虑,打算放弃分库方案;
目前方案是使用表分区来设计,采用表分区将数据规模降低到1千万,再结合读写分离方案提升性能;

朋友们有没有类似案例,有更好的方案或建议。
...全文
518 5 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
5 条回复
切换为时间正序
请发表友善的回复…
发表回复
字节律动 2019-09-25
  • 打赏
  • 举报
回复
很好奇 大佬最终如何实现的,
feng2 2019-01-03
  • 打赏
  • 举报
回复
引用 2 楼 吉普赛的歌 的回复:
这个表的数据量是固定的吗?
如果不固定, 每天新增多少?
如果分区, 按什么来分?

“单次业务使用的数据规模100万”
是根据什么在筛选?



每次业务分析的操作用到的数据,大概是100万
feng2 2019-01-03
  • 打赏
  • 举报
回复
引用 1 楼 二月十六 的回复:
使用过mycat,是一个mysql数据库集群中间件,不知道楼主研究过这个没有,是否适合楼主的场景


看过mycat,感觉用不上
我这个系统业务的QPS和TPS要求都很低,就是数据量比较大,每月的数据增量在5000万
吉普赛的歌 2018-12-29
  • 打赏
  • 举报
回复
这个表的数据量是固定的吗? 如果不固定, 每天新增多少? 如果分区, 按什么来分? “单次业务使用的数据规模100万” 是根据什么在筛选?
二月十六 2018-12-29
  • 打赏
  • 举报
回复
使用过mycat,是一个mysql数据库集群中间件,不知道楼主研究过这个没有,是否适合楼主的场景

56,940

社区成员

发帖
与我相关
我的任务
社区描述
MySQL相关内容讨论专区
社区管理员
  • MySQL
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧