社区
MySQL
帖子详情
分库分表——已有表如何分?
JeeGem
2018-04-03 05:30:39
目前公司库最大数据量在2千万,明显影响性能了。于是让我搞搞架构,做个分库分表的。
已经写了demo,测试没啥问题。
那么关键问题来了。对于这一张张1千万、2千万的表,按照100万为一个表,我用什么工具去分呢?
还是手动拷贝前面100万,第二个100万,第三个100????
感谢各位老铁,很多年不玩CSDN,老账号都没了,积分也没有多少。。。
...全文
1779
10
打赏
收藏
分库分表——已有表如何分?
目前公司库最大数据量在2千万,明显影响性能了。于是让我搞搞架构,做个分库分表的。 已经写了demo,测试没啥问题。 那么关键问题来了。对于这一张张1千万、2千万的表,按照100万为一个表,我用什么工具去分呢? 还是手动拷贝前面100万,第二个100万,第三个100???? 感谢各位老铁,很多年不玩CSDN,老账号都没了,积分也没有多少。。。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
10 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
AHUA1001
2018-10-12
打赏
举报
回复
为什么不直接用数据库自带的分区功能,何必这么麻烦呢,但是不管怎么分,都有先搞清楚,用什么字段分。
kimsung
2018-10-12
打赏
举报
回复
如果表不多, 用partition吧。 表多了, 就只能insert into new_table from old_table limit的方式了。
yangb71881
2018-10-09
打赏
举报
回复
创建分区表 --> exchange --> 创建普通表 --> exchange 写成脚本的方式
叶落千尘
2018-09-19
打赏
举报
回复
分区表可以做过渡使用。 如果想实现分表的话: 1、取主键的哈希值,在原有表上增加一个列,这个列为你要插入哪张表的表明列 2、存储过程批量插入到新表里 create procedure xx() begin end
weixin_40579234
2018-07-26
打赏
举报
回复
写个函数呗。
o前男友o
2018-04-11
打赏
举报
回复
看你分库分表规则,按照范围、哈希?,通过select,insert分哇
JeeGem
2018-04-05
打赏
举报
回复
引用 2 楼 roy_88 的回复:
创建分区表--导出原表数据-->新表名称改为原表名-->插入数据
这个一看不行的呀。。。
因为比如2千万。分在10个库,每个库分200万数据。目前200多张表了。。。手动肯定不行。。。 我用java写了个程序。逻辑在楼上 用其他语言也一样,或者写存储过程、脚本等等都可以。
JeeGem
2018-04-05
打赏
举报
回复
已经解决: 对于几百张表需要每个月新建一次:create table newTableName like oldTableName. 数据:insert insert into newTbleName values() select * from oldTableName limit m,n;
中国风
2018-04-04
打赏
举报
回复
创建分区表--导出原表数据-->新表名称改为原表名-->插入数据
zjcxc
2018-04-04
打赏
举报
回复
insert + delete 吧
唯品会架构是如何实现重构的
本文来自于csdn,文章详细介绍唯品会订单库重构——采用
分
库
分
表
策略对原订单库
表
进行拆
分
的总结。随着唯品会业务的快速发展,订单量的不断增长,原有的订单存储架构已经不能满足公司的发展了,特别是在大促高峰期,原订单库已经成为抢购瓶颈,已经严重制约公司的发展。唯品会旧订单库包含几十张订单相关
表
,旧订单库是典型的一主多从架构;主库容量已接近服务器物理空间上限,同时也已经达到MySQL的处理上限,很快将无法再处理新增订单。订单相关
表
都已经是超大
表
,最大
表
的数据量已经是几十亿,数据库处理能力已经到了极限;单库包含多个超大
表
,占用的硬盘空间已经接近了服务器的硬盘极限,很快将无空间可用;单一服务器处理能力是有
分
库
分
表
——MyCat
MyCat一、海量存储问题1.背景描述2.
分
库
分
表
①什么是
分
库
分
表
②
分
库
分
表
的方式a.垂直
分
库b.垂直
分
表
c.水平
分
库d.水平
分
表
3.如何实现
分
库
分
表
二、MyCat1.什么是MyCat2.MyCat支持的数据库3.MyCat 概念说明①MyCat的
分
片策略4.MyCat的下载和安装①安装环境②MyCat安装5.MyCat核心配置①scheam.xml配置②server.xml配置a.user标签b.连接MyCat③rule.xml配置a. tableRule标签b.function标签④常用的
分
片规则6.M
Java
分
库
分
表
——Mango 初体验
Java
分
库
分
表
——Mango 初体验Java
分
库
分
表
——Mango 初体验一、Mango 简介二、SpringBoot 集成 Mango2.1 获取 Mango2.2 配置 xml2.3
分
库、
分
表
规则配置2.4 Dao 层配置2.5 测试三、总结 Java
分
库
分
表
——Mango 初体验 众所周知,随着系统的使用,数据库数据量不断上升,当单
表
数据量达到1000W以后,很多数据库操作都会...
Mysql
分
库
分
表
实战(一)——一文搞懂Mysql数据库
分
库
分
表
由于业务需要,需要对Mysql数据库进行
分
库
分
表
,故而最近一直在整理
分
库
分
表
的相关知识,现手上的工作也告一段落了,抽空将自己最近的学习结果转化为博文,
分
享给大家,本博文打算做成一个系列的,首先是
分
库
分
表
的理论知识的了解,其次是基于Java编程语言的
分
库
分
表
的框架的开发,最后是
分
库
分
表
的编制。让大家不仅仅从理论上了解mysql的
分
库
分
表
,通过代码来更深层次的了解,理论是如何落地到实践的。最后非常感...
你
分
库
分
表
的姿势对么?——详谈水平
分
库
分
表
前期业务数据量级不大,流量较低的时候,我们无需
分
库
分
表
,也不建议
分
库
分
表
。但是一旦我们要对业务进行
分
库
分
表
设计时,就一定要考虑到
分
库
分
表
方案的可持续性。那何为可持续性?其实就是:业务数据量级和业务流量未来进一步升高达到新的量级的时候,我们的
分
库
分
表
方案可以持续使用。一个通俗的案例,假定当前我们
分
库
分
表
的方案为10库100
表
,那么未来某个时间点,若10个库仍然无法应对用户的流量压力,或者10个库的磁盘使用即将达到物理上限时,我们的方案能够进行平滑扩容。
MySQL
56,679
社区成员
56,709
社区内容
发帖
与我相关
我的任务
MySQL
MySQL相关内容讨论专区
复制链接
扫一扫
分享
社区描述
MySQL相关内容讨论专区
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章