请教大数据分表分数据库的问题

LWLIFE 2017-09-21 10:49:17
业务数据比较多,每天可能会有几十W的数据,这样长期下去单表压力比较大,现在想根据日期来进行拆表,200W左右的数据应该就会有影响了,所以想请教一下:
1拆表能节省多少时间?
2一个数据库拆多少表合适?
3表太多了是否需要拆库?
...全文
466 6 打赏 收藏 转发到动态 举报
写回复
用AI写文章
6 条回复
切换为时间正序
请发表友善的回复…
发表回复
ZXYperseverance 2018-03-13
  • 打赏
  • 举报
回复
首先考虑可以分区,把表中的数据按时间分到不同的区,这样可以提高查询效率。 如果拆表,首先可以日期分类进行拆表,选择合适的日期拆表,把常用的字段创建索引。 或者根据具体的业务类型进行拆表。
LWLIFE 2018-02-22
  • 打赏
  • 举报
回复
引用 4 楼 zjcxc 的回复:
拆库通常是要考虑的,一个库中太多的表管理起来也麻烦 拆表对天大数据通常来说是必须考虑的,性能的提升取决于你的查询和处理方法 比如,如果你拆表了,查最近一年的数据 如果还是通过一个 UNION ALL 所有表的视图(或者类似的方法)去查,那么效率提升有限 但如果你直接根据条件锁定只查最近一年的表,那么,那么对于 10 年的数据量来说,你只需要查 1/10 的数据,这个的性能提升是非常可观的
谢谢,应该是你最后说的,如果拆表,会根据条件只锁定几个表的,如果时间长了表拆多了是不是了也要考虑建个新库?这个一个库多少表合适?
rucypli 2017-09-21
  • 打赏
  • 举报
回复
先考虑查询慢的问题是否可以通过优化sql来解决
lifewell1 2017-09-21
  • 打赏
  • 举报
回复
几十万数据还好吧 ,不用分表,加入索引 然后按照月份分期就好 我这边有高达每天上亿的数据才分表的
zjcxc 2017-09-21
  • 打赏
  • 举报
回复
拆库通常是要考虑的,一个库中太多的表管理起来也麻烦 拆表对天大数据通常来说是必须考虑的,性能的提升取决于你的查询和处理方法 比如,如果你拆表了,查最近一年的数据 如果还是通过一个 UNION ALL 所有表的视图(或者类似的方法)去查,那么效率提升有限 但如果你直接根据条件锁定只查最近一年的表,那么,那么对于 10 年的数据量来说,你只需要查 1/10 的数据,这个的性能提升是非常可观的
LWLIFE 2017-09-21
  • 打赏
  • 举报
回复
引用 1 楼 rucypli 的回复:
先考虑查询慢的问题是否可以通过优化sql来解决
谢谢回复,这个优化考虑过,但现在的量确实太大了才考虑分表的
1.项目代码均经过功能验证ok,确保稳定可靠运行。欢迎下载体验!下载完使用问题请私信沟通。 2.主要针对各个计算机相关专业,包括计算机科学、信息安全、数据科学与大数据技术、人工智能、通信、物联网等领域的在校学生、专业教师、企业员工。 3.项目具有丰富的拓展空间,不仅可作为入门进阶,也可直接作为毕设、课程设计、大作业、初期项目立项演示等用途。 4.当然也鼓励大家基于此进行二次开发。在使用过程中,如有问题或建议,请及时沟通。 5.期待你能在项目中找到乐趣和灵感,也欢迎你的享和反馈! 【资源说明】 C#开发基于FreeSql多库布式事务、跨库查询、跨库页查询、跨库增删改等功能实现源码+项目说明+sln.zip **前言** 话说2021年开始了一个基于ASP.NET Core 微服务的项目,谈到微服务 多库环境下 布式事务、这些问题都是逃不开的,于是首先从ORM开始调研,需要考虑到一些重要的因素 **功能强大、支持多种数据库(并且行为一致,防止出现换库的情况)、支持** 等等,这时候第一时间就想到了 [FreeSql](https://github.com/dotnetcore/FreeSql) ,FreeSql的架构设计非常好,每一种支持的数据库都有对应的Provider实现 做到行为一致,而且支持CodeFirst和DbFirst,FreeSql也有比较简单切有效的方案,本人也经常向FreeSql的作者叶老板请教学习,非常佩服他的技术与人品,也非常感谢他能做出这么好的ORM框架。 **布式事务** 既然库了 布式事务怎么处理,说到布式事务 常见的解决方案有TCC/SAGA/消息队列最终一致性,在.NET生态中有基于消息队列实现的布式事务 [CAP](https://github.com/dotnetcore/CAP) ,TCC和SAGA调研了很久没有发现有比较成熟的实现,那么就决定使用`CAP(最终一致性事务)` 由于项目持续的改版,业务的实时性变得越来越高,基于消息队列的这种最终一致性或者说异步事务的方案 越来越不适合我们的项目,这时候就需要同步的事务方案,TCC/SAGE又没有太好的解决方案(我真的没有找到。。),于是想着自己设计一个,基于FreeSql实现事务管理器。 想要的效果:和单库事务一样,出现错误回滚 但是问题来了 多库呢?不同的数据库呢? * 在多库事务的开启时,每个库管理开启自己的事务 * 如果某一个库事务开启后的操作出现异常,则回滚全部数据库事务 * 在多库事务提交时,每个库的事务统一提交 * 记录日志,第一个执行Common的数据库称之为主库,会自动创建一个日志表,用于记录多库事务的信息、执行的SQL、业务模块 用于人工介入或者事务补偿 * 如果主库(第一个库)Common成功后,其他某一个库可能由于网络原因、数据库宕机 无法Common事务,导致数据不一致,这时候要根据日志进行事务补偿或者人工介入,例如 存在三个库(订单库、物流库、商品库) 订单库就是主库(会记录日志) 在Common事务时,如果订单库(主库)Common失败,则(订单库、物流库、商品库)事务全部回滚,如果`订单库`(主库)Common成功,但是`物流库`由于其他原因无法Common成功 则会被日志记录并跳过,然后再去Common `商品库` 以及其他库.. **跨库查询/跨库页查询** 通过时间片定位、事件委托、页算法实现跨库页查询 1.appsettings.json配置 2.初始化数据库 3.获取IFreeSql操作对象 5.跨库页查询 6. 跨库增删改 7.跨库并行查询(不页) 8.跨库ToOne查询 9.跨库Any查询 10.布式事务、多库事务

56,678

社区成员

发帖
与我相关
我的任务
社区描述
MySQL相关内容讨论专区
社区管理员
  • MySQL
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧