社区
MS-SQL Server
帖子详情
讨论大表分库分表,后期带来的问题
别闹cc
2016-03-22 02:21:00
现实状况只有一台服务器
需求:一张数据记录表 一个月数据可能达到 5000W,每月数据量差不多,需要时刻查询逻辑,插入操作
现在考虑分库分表 ,按月横向分表 (按年分库,按月分表)
如果分库分表,不知道后期带来的 逻辑关联 分页,排序 怎么处理?
做过的的人,能否详细讲解下?
...全文
455
9
打赏
收藏
讨论大表分库分表,后期带来的问题
现实状况只有一台服务器 需求:一张数据记录表 一个月数据可能达到 5000W,每月数据量差不多,需要时刻查询逻辑,插入操作 现在考虑分库分表 ,按月横向分表 (按年分库,按月分表) 如果分库分表,不知道后期带来的 逻辑关联 分页,排序 怎么处理? 做过的的人,能否详细讲解下?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
9 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
薛定谔的DBA
2016-03-23
打赏
举报
回复
可以按年分库,没必要分表,分区就行。 关于分页,对于取前多少后多少的最值取法,可以在每个表中分页取出,再将取出的重新排序分页。 取中间段的数据,那就是优化了: 有效索引 字段类型尽量小 不加锁处理 nolock,readpast cpu/并发处理 表分区 内存 快速磁盘 ……
好记忆不如烂笔头abc
2016-03-23
打赏
举报
回复
用分区表就足够了。 分表也可以。 最后用视图关联即可。
卖水果的net
版主
2016-03-22
打赏
举报
回复
实时查询不大现实,建议把常用的查询结果放到小表中(比如:一个查询对应一个小表),每天定时更新这些小表,查询速度就快了。 同时保留实时查询的功能,告诉用户这样很慢;
HyperWang
2016-03-22
打赏
举报
回复
说分区表的不影响SQL的写法,做分库是指多database么?
HyperWang
2016-03-22
打赏
举报
回复
什么版本的sql server?
spiritofdragon
2016-03-22
打赏
举报
回复
分库分表,就得自己写框架(逻辑关联 分页,排序),这是必然的。实时数据和历史数据分开查询,才有性能可能性,必须牺牲用户体验,别客户想怎么查就怎么查,要想你怎么查不会崩溃。另,记得用分区表哦。
jmx123456789
2016-03-22
打赏
举报
回复
没做过。。。 5000W/月 这种数据通常用来做统计报表的吧 列表展示应该没啥意义吧。 比较死板的做法就是。根据业务自己写算法。。。。
xdashewan
2016-03-22
打赏
举报
回复
5000w的数据,你还要对其分页显示?难以想象,哪怕一天都有好几百万,这数据分页出来谁看。这种数据按编号或按分钟拉个几百条还能看看,或者拉汇总还有用,拉太多数据没啥意义的
阳泉酒家小当家
2016-03-22
打赏
举报
回复
这个主要就是看你的业务需要,就是你说的 查询,你是怎么查的,是按照月查,还是按照年查询,还是按照其他的维度来查。 1、1年数据5亿,数据量还是挺大的,是的考虑分库,分表,而且还是一台服务器,有点单薄。 2、我觉得还得考虑,历史数据怎么处理,比如3年前的数据如何处理。 3、另外,数据量这么大,数据库的备份会很慢,这个也需要考虑。
玩转MySQL:如何在高并发大流量情况下正确
分库分表
海量数据
话归正题,
分库分表
这个概念基本上碰过数据库的小伙伴都有听说过,但很多小伙伴对这块具体该如何落地并不清楚,因此接下来这篇会先阐述MySQL
分库分表
的方法论,以及详细讲解
分库分表
后产生的后患
问题
,但在此之前先送上一句话,请牢记:不要为了
分库分表
而
分库分表
!!引入SOA架构中的一句话:架构不是一蹶而起的,而是慢慢演进的。只有真正需要
分库分表
来解决
问题
时,才去真正的做拆分,否则会导致很多不必要的麻烦产生,
Mysql
分库分表
概念与实践(映射关系表&基因法以及扩容方案)
将一个库的数据拆分到多个相同的库中,访问的时候访问一个库把一个表的数据放到多个表中,操作对应的某个表就行本文主要描述了我们进行水平
分库分表
设计时的一些常见方案。我们在进行
分库分表
设计时,可以选择例如范围分表,Hash 分表,路由表,或者一致性 Hash 分表等各种方案。进行选择时需要充分考虑到后续的扩容可持续性,最大数据偏斜率等因素。
Mysql数据库
分库分表
问题
+引发
问题
+中间件对比分析
详细说明了mysql
分库分表
的各种
问题
:怎么分表、常见中间件优缺点、如何扩容等
亿级
大表
分库分表
实战总结(万字干货,实战复盘)
分库分表
的文章网上非常多,但是大多内容比较零散,以讲解知识点为主,没有完整地说明一个
大表
的切分、新架构设计、上线的完整过程。 因此,我结合去年做的一个大型
分库分表
项目,来复盘一下完整的
分库分表
从架构设计 到 发布上线的实战总结。 图片 1.前言 为什么需要做
分库分表
。这个相信大家多少都有所了解。 海量数据的存储和访问成为了MySQL数据库的瓶颈
问题
,日益增长的业务数据,无疑对MySQL数据库造成了相当大的负载,同时对于系统的稳定性和扩展性提出很高的要求。 而且单台服务器的资源(CPU、磁盘、
分库分表
,我只说一次
随着互联网的高速发展,很多公司的单表数据量在短短几年甚至几个月就达到了系统瓶颈。这时候为了解决单表的查询性能,需要应用上
分库分表
。而由于一开始的设计
问题
,和对
分库分表
方案的思考不全面,很容易引起
后期
扩展与维护的灾难。作为一位合格的程序员,无论公司当前是否有需要用到
分库分表
,我们都有必要了解整体的设计与方案,以备不时之需。 为什么需要
分库分表
当单表的数据量过大时,对于表结构的修改,会引起长时间的锁等待,进而撑爆线程数。 单表数据量过大,会导致b+树的层级变高,大于3层后甚至会影响索引的查询性能 同库
MS-SQL Server
34,575
社区成员
254,583
社区内容
发帖
与我相关
我的任务
MS-SQL Server
MS-SQL Server相关内容讨论专区
复制链接
扫一扫
分享
社区描述
MS-SQL Server相关内容讨论专区
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章